Gemini トークナイザー

Gemini トークナイザーは、 Google の Gemini モデルでテキストが使う正確なトークン数を、 Google 公式の countTokens API で数えるツールです。テキストを貼り付けてモデルを選ぶだけで、概算ではなく正確な数が得られます。

Gemini に GPT のトークナイザーを使えないのはなぜ？

Gemini は OpenAI とも Anthropic とも異なる独自のトークナイザーを使います。tiktoken（ GPT のトークナイザー）で数えると数が合わず、 Google はクライアント側の Gemini トークナイザーを公開していません。正確なのは Google 公式の countTokens だけで、本ツールはそれを呼び出します。

Gemini のトークン数を数える手順

1. テキストを貼り付け・入力します。
2. 対象の Gemini モデルを選びます。
3. トークン数を数える を押すと、そのモデルでの正確な数が表示されます。

対応 Gemini モデル

モデル一覧は config 駆動で、コード変更なしに Gemini モデルを追加できます。

例

The quick brown fox jumps over the lazy dog. は Gemini でおよそ 10トークン です。日本語や長文はトークンが多くなります。ライブ表示の「文字/トークン」で自分のテキストの目安を確認できます。

制限事項

• 無料のログインが必要です。トークンを数えるのにクレジットはかかりません。
• トークンごとの色分け内訳は表示されません。 Google のトークナイザーは非公開のため、正確な数のみを返します。トークンの可視化が必要な場合は ChatGPT トークナイザーをご利用ください。
• トークン数はモデルごとに異なります。モデルを切り替えて比較できます。