LLM トークナイザー比較
LLM トークナイザー比較は、同じテキストが ChatGPT ・ Claude ・ Gemini でそれぞれ何トークンになるかを横並びで表示するツールです。すべて正確な数です。テキストを一度貼り付け、ベンダーごとにモデルを選ぶだけで違いがすぐに分かります。
トークナイザーを比較する意味
各モデルファミリーはテキストのトークン化の仕方が異なります。同じプロンプトでも、たとえば ChatGPT で100、 Claude で120、 Gemini で110トークン、ということが起こります。トークン単位で課金され、モデルごとにコンテキスト上限があるため、この違いはコストと1リクエストに収まる量に直結します。実際のテキストで比較するのが確実です。
各カウントの求め方
| ベンダー | カウント方法 | 精度 |
|---|---|---|
| ChatGPT （ OpenAI ） | 公開の tiktoken エンコーディング（ブラウザ内） | 正確 |
| Claude （ Anthropic ） | 公式 count_tokens API | 正確 |
| Gemini （ Google ） | 公式 countTokens API | 正確 |
Claude と Gemini に近道はありません。現行のトークナイザーが非公開のため、正確な数は各ベンダーの API から得る必要があります。
比較の手順
- テキストを貼り付け・入力します。
- ベンダーごとに1モデルを選びます（ OpenAI のエンコーディング、 Claude モデル、 Gemini モデル）。
- トークン数を比較 を押すと、3者が横並びで表示され、相対バーと「文字/トークン」が確認できます。
例
短い英語の段落は3ベンダーで数%以内に収まることが多く、コードや非英語テキストは差が広がりやすいです。相対バーで差が一目で分かります。
制限事項
- 無料のログインが必要です（ Claude と Gemini のカウントに公式 API を使用）。クレジットはかかりません。
- 比較は選択したモデルそのものに対して行われます。トークン数はモデル世代で変わることがあります。
- トークンごとの可視化が必要な場合は（ OpenAI のトークナイザーは公開されているため） ChatGPT トークナイザーをご利用ください。 Claude と Gemini はカウントのみを提供します。
