このページで分かること
- トークンの意味
- 初心者向けのたとえ
- 関連するGPT・生成AI用語
- 使う時の注意点
トークンの意味
トークンは日本語の1文字や英単語と完全に同じではなく、AIが文章を分けて扱うための単位です。入力した文章にも、AIが返す文章にもトークンが使われます。長い文章を入れすぎたり長い回答を求めたりすると、途中で切れたり扱える量の上限に近づいたりします。
初心者向けのたとえ
荷物の重さではなく、箱の数で送料を見るようなイメージです。文章も「何文字か」だけではなく、AIが内部で分けた単位の量として扱われることがあります。
使う場面と向かない場面
| 場面 | 考え方 |
|---|---|
| 理解に向いている場面 | トークンという言葉をニュース、サービス画面、AI関連の記事で見かけた時に、何を指しているのか整理する入口になります。 |
| 実践前に確認したい場面 | ChatGPT、Codex、API、AIツールを使う前に、関連する用語と注意点を知っておくと安全に試しやすくなります。 |
| 向かない場面 | 料金、提供状況、画面仕様、法的判断、医療判断などをこのページだけで決める使い方には向きません。提供元情報や専門家の確認が必要です。 |
関連する用語
| 用語 | 関連ページ | 関係 |
|---|---|---|
| コンテキストウィンドウ | コンテキストウィンドウ | AIが一度に見られる範囲 |
| GPTモデル | GPTモデル | モデルごとの扱える量や特徴 |
| プロンプト | プロンプト | 入力する指示文 |
GPTガイドでの位置づけ
このページは、gptguide.jp の用語解説ページです。具体的なChatGPTの操作例は chatgptguide.jp、CodexやGitHubを使った実務例は codexguide.jp に分け、このページではトークンの意味、関連語、注意点を初心者向けに整理しています。
日本語はトークンを多く使う
同じ内容でも、書かれている言語によって消費するトークン数が変わります。日本語は英語に比べて、1文字あたりのトークン消費が多くなる傾向があります。
| 英語 | 日本語 | |
|---|---|---|
| 1トークンの目安 | おおよそ単語1つ、または単語の一部 | 1〜2文字程度になることが多い |
| 同じ内容を書いた時 | 少ないトークンで収まりやすい | より多くのトークンを消費しやすい |
この違いが影響するのは、長い文章を一度に渡す場面です。英語なら収まる分量でも、日本語では上限に達することがあります。長文を扱う時は、分割して渡すか、要点を絞ってから渡すと安定します。
トークンを意識した方がよい場面
普段の利用では、トークン数を細かく気にする必要はありません。ただし次の場面では意識すると役立ちます。
- 長い資料を丸ごと渡す時:上限を超えると、途中が読まれないまま処理されることがあります。
- 会話が長く続いた時:やり取りが積み重なると、古い部分が扱われなくなる場合があります。話題が変わる時は新しく始める方が確実です。
- 従量課金で使う時:入力と出力の量が費用に直結します。無駄に長い指示を毎回送っていないか見直す価値があります。
- 同じ内容を繰り返し送っている時:定型の前置きが毎回入っていると、その分が積み上がります。
逆に、短い質問や日常的な相談では、トークン数を気にする実益はほとんどありません。長文を扱う時と、費用が発生する使い方をする時だけ意識するという切り分けで十分です。
空白と大文字も数え方に関係する
2026年11月18日時点の公式ヘルプでは、トークンは文字、単語の一部、単語全体、句読点などを表す単位と説明されています。同じ語でも綴り、大文字と小文字、周囲の文章、先頭の空白により分割が変わる場合があります。英語で1トークンが約4文字、100トークンが約75語という値は目安で、ほかの言語の文字数へそのまま適用する換算式ではありません。同じ文章でもモデルとエンコーディングによってトークン数が異なり、トークンIDの例もすべてのモデルで共通とは限りません。Tokenizerは文章の分割を見る手段、tiktokenは対象モデルに合うエンコーディングを使ってプログラムで数える手段として紹介されています。
出典:OpenAI『Understanding and counting tokens』(2026年11月18日確認)https://help.openai.com/en/articles/4936856-understanding-and-counting-tokens
本文の数とリクエスト全体の数
2026年11月18日時点の公式ヘルプでは、文章だけのトークン数には、APIへ送るリクエストの全要素が含まれるとは限らないと説明されています。メッセージの構造、ツール、スキーマ、画像、ファイルも全体の入力数に影響する要素です。Responsesの入力数を数えるAPIは、メッセージ、画像、ファイル、ツール、会話などに対応し、役割や境界などの構造用のトークンも含む方式です。ただし入力を数えても、生成される出力の量まで予測するものではありません。実際の処理後にはusageの情報が確認先です。Chat Completionsではprompt_tokensとcompletion_tokens、Responsesではinput_tokensとoutput_tokensという異なる項目名が使われると案内されています。
出典:OpenAI『Understanding and counting tokens』(2026年11月18日確認)https://help.openai.com/en/articles/4936856-understanding-and-counting-tokens
推論トークンと短い回答の処理量
2026年11月18日時点のOpenAI公式資料では、推論モデルが内部で使うトークンは、回答の文章として見えなくてもコンテキストの領域を使い、出力として課金されると説明されています。Responsesのmax_output_tokensは、見える回答だけでなく推論や表示されない整形用のトークンも含め、生成する量を制限する設定です。usageのoutput_tokens_detailsにあるreasoning_tokensで、推論に使われた数を確認できる例が示されています。生成が設定値やコンテキストの限界に達すると、statusがincomplete、理由がmax_output_tokensとなる場合があります。表示する文章が出る前に限界へ達する場合もあるため、画面上の回答の長さと処理全体の出力量は同じではありません。
出典:OpenAI『Reasoning models』(2026年11月18日確認)https://platform.openai.com/docs/guides/reasoning
キャッシュで再利用される入力の範囲
2026年11月18日時点のOpenAI公式資料では、Prompt cachingはプロンプトの先頭から続く一致部分を再利用する仕組みです。キャッシュにある文章と同じ語が含まれるだけでなく、対象となる先頭部分と検索の区切りが合う必要があります。途中の内容や関連する設定が変わると、その変更より後の先頭部分は同じキャッシュと一致しなくなります。ツールの名前、説明、スキーマ、並び順なども関連する設定として挙げられています。キャッシュ対象となる最小の長さはモデルや設定で異なり、別モデルへ変える際には同じ条件とは扱えません。会話の圧縮は過去の文脈を短い表現へ置き換えるため、再利用の割合に影響する処理です。入力総数を減らすことと、キャッシュの割合を増やすことは別の指標として説明されています。
出典:OpenAI『Prompt caching』(2026年11月18日確認)https://platform.openai.com/docs/guides/prompt-caching
よくある質問
トークンは文字数と同じですか?
同じではありません。日本語や英語、記号の混ざり方によって数え方が変わることがあります。
トークンは入力だけに使われますか?
入力と出力の両方に関係します。長い指示と長い回答の両方が処理量に影響します。
初心者はトークンを細かく覚える必要がありますか?
最初は「長文には上限や処理量がある」と理解できれば十分です。