LLM-Tokenizer vergleichen

LLM-Tokenizer vergleichen zeigt Ihnen, wie viele Token derselbe Text auf ChatGPT, Claude und Gemini kostet, nebeneinander und mit jeweils exakter Zahl. Fügen Sie den Text einmal ein, wählen Sie ein Modell pro Anbieter und sehen Sie die Unterschiede sofort.

Warum Tokenizer vergleichen?

Jede Modellfamilie tokenisiert Text unterschiedlich, sodass derselbe Prompt zum Beispiel 100 Token auf ChatGPT, 120 auf Claude und 110 auf Gemini haben kann. Da Sie pro Token bezahlen und jedes Modell eine Kontextgrenze hat, wirken sich diese Unterschiede direkt auf die Kosten aus und darauf, wie viel in eine Anfrage passt. Sie mit Ihrem tatsächlichen Text zu vergleichen, ist die einzige verlässliche Möglichkeit.

Wie die Zählungen entstehen

Für Claude und Gemini gibt es keine Abkürzung: Ihre modernen Tokenizer sind nicht öffentlich, daher muss eine exakte Zählung von der API des jeweiligen Anbieters kommen.

So vergleichen Sie

1. Fügen Sie Ihren Text ein oder geben Sie ihn ein.
2. Wählen Sie ein Modell pro Anbieter (eine OpenAI-Kodierung, ein Claude-Modell, ein Gemini-Modell).
3. Wählen Sie Token vergleichen, um alle drei nebeneinander zu sehen, mit einem relativen Balken und den Zeichen pro Token für jedes Modell.

Beispiel

Ein kurzer englischer Absatz liegt bei allen drei Anbietern oft innerhalb weniger Prozent, während Code oder nicht-englischer Text stärker abweichen kann. Die relativen Balken machen den Unterschied auf einen Blick sichtbar.

Einschränkungen

• Eine kostenlose Anmeldung ist erforderlich (die Zählungen von Claude und Gemini nutzen deren offizielle APIs); es fallen keine Credit-Kosten an.
• Der Vergleich gilt für die konkret ausgewählten Modelle — die Token-Anzahl kann sich zwischen Modellgenerationen ändern.
• Sie brauchen eine Aufschlüsselung pro Token? Nutzen Sie den ChatGPT-Tokenizer (der Tokenizer von OpenAI ist offen); Claude und Gemini stellen nur Zählungen bereit.