トークン
LLM が入出力を扱う最小単位。英語で約 4 文字、日本語で約 1〜 2 文字が 1 トークンに相当する。
トークンは LLM の課金・コンテキスト制限の計算単位で、英語はおよそ「4 文字 = 1 トークン」、日本語や中国語は「1〜 2 文字 = 1 トークン」とやや高コストです。SumTube が日本語動画向けに最適化する際は、このトークン経済を前提にトランスクリプトのサイズ判定を行います。
LLM が入出力を扱う最小単位。英語で約 4 文字、日本語で約 1〜 2 文字が 1 トークンに相当する。
トークンは LLM の課金・コンテキスト制限の計算単位で、英語はおよそ「4 文字 = 1 トークン」、日本語や中国語は「1〜 2 文字 = 1 トークン」とやや高コストです。SumTube が日本語動画向けに最適化する際は、このトークン経済を前提にトランスクリプトのサイズ判定を行います。