トークンとは、LLMがテキストを処理する最小単位で、利用料金と文章量の両方の勘定単位になる。日本語はおおむね1〜2文字で1トークンとして数えられ、英語の単語とは異なる区切り方になる。コンテキストの上限もこの単位で表される。
解説
Claude Codeでの実務では、長いファイルを読み込む、会話を長く続ける、大量の出力をさせるといった行為がすべてトークンの消費につながる。処理量が増えれば料金と応答時間の両方に影響する。
初心者が誤解しやすいのは、トークンを文字数と同じ感覚で数えてしまうことである。日本語は文字ごとの区切られ方が英語と異なり、同じ文章量でも言語によってトークン数が変わる。
実務では、不要なファイルの全文読み込みを避ける、出力を必要な範囲に絞る、調査をサブエージェントに任せて要約だけを受け取るといった工夫でトークンの消費を抑える運用がとられる。