Compare tokenizadores de LLM
O Compare tokenizadores de LLM mostra quantos tokens o mesmo texto custa no ChatGPT, no Claude e no Gemini, lado a lado, com cada contagem precisa. Cole o texto uma vez, escolha um modelo por fornecedor e veja as diferenças na hora.
Por que comparar tokenizadores?
Cada família de modelos tokeniza o texto de forma diferente, então o mesmo prompt pode ter, por exemplo, 100 tokens no ChatGPT, 120 no Claude e 110 no Gemini. Como você paga por token e cada modelo tem um limite de contexto, essas diferenças afetam diretamente o custo e quanto cabe em uma requisição. Compará-los com o seu texto real é a única forma de saber.
Como as contagens são geradas
| Fornecedor | Como é contado | Precisão |
|---|---|---|
| ChatGPT (OpenAI) | Codificação pública tiktoken, no seu navegador | Exato |
| Claude (Anthropic) | API oficial count_tokens | Exato |
| Gemini (Google) | API oficial countTokens | Exato |
Não há atalho para Claude e Gemini: seus tokenizadores modernos não são públicos, então uma contagem precisa precisa vir da API de cada fornecedor.
Como comparar
- Cole ou digite o seu texto.
- Escolha um modelo por fornecedor (uma codificação da OpenAI, um modelo Claude, um modelo Gemini).
- Selecione Comparar tokens para ver os três lado a lado, com uma barra relativa e os caracteres por token de cada um.
Exemplo
Um parágrafo curto em inglês costuma ficar dentro de poucos por cento entre os três fornecedores, enquanto código ou texto em outro idioma pode divergir mais. As barras relativas deixam a diferença óbvia num relance.
Limitações
- É necessário um login gratuito (as contagens de Claude e Gemini usam as APIs oficiais deles); não há custo em créditos.
- A comparação é para os modelos específicos que você seleciona: a contagem de tokens pode mudar entre gerações de modelos.
- Precisa de uma visualização por token? Use o tokenizador do ChatGPT (o tokenizador da OpenAI é aberto); Claude e Gemini expõem apenas as contagens.
