プロンプトキャッシング
LLM に渡すプロンプトの共通部分をキャッシュし、2 回目以降の推論コストと遅延を大幅に下げる機能。
プロンプトキャッシングは Anthropic・Google・OpenAI が 2024 年以降続々と提供した機能で、固定部分 (システムプロンプト・ツール定義・長い参考資料) のキャッシュヒット時にはトークンコストが 10 分の 1 程度まで下がります。SumTube の要約システムプロンプトは 1,500 トークン超の「キャッシュ可能」設計で、繰り返し利用で単価が急落する構造になっています。