O que é esta calculadora de significância A/B?
Uma calculadora gratuita baseada em navegador que informa se a diferença entre duas taxas de conversão é real ou apenas ruído. Insira os visitantes e as conversões de cada variante e ela calcula ambas as taxas de conversão, o uplift relativo, o valor-p, sua confiança e um veredito claro — significativo ou não — no nível de confiança que você escolher. Tudo roda localmente no seu navegador, então seus dados nunca são enviados.
Metodologia e suposições
Usamos um teste z de duas proporções bicaudal com erro padrão combinado — o método padrão para comparar duas taxas de conversão. A estatística z é (taxaB − taxaA) ÷ erro padrão combinado e o valor-p vem da distribuição normal padrão. Um resultado é considerado significativo quando o valor-p fica abaixo de (1 − confiança).
- O resultado de cada visitante é independente (um novo visitante, atribuído aleatoriamente).
- A amostra é grande o suficiente — uma regra prática é ~10+ sucessos e ~10+ falhas por grupo.
- Não espie repetidamente para parar cedo — defina o tamanho da amostra com antecedência para evitar falsos positivos.
Como usar
- Insira visitantes e conversões para a variante A (controle) e B (variante).
- Escolha seu nível de confiança (90% / 95% / 99%).
- Leia o veredito, o uplift, o valor-p e a confiança à direita.
Casos de uso comuns
- Decidir se uma nova landing page realmente supera a antiga.
- Verificar um teste de linha de assunto de e-mail ou de criativo de anúncio antes de lançá-lo.
- Evitar lançar uma mudança que só pareceu melhor por acaso.
