A/Bテスト有意差計算ツールとは
2つのコンバージョン率の差が「本物」か「ただの偶然」かを判定する、無料・ブラウザ完結の計算ツールです。各パターンの訪問者数とコンバージョン数を入力すると、両方のコンバージョン率、改善率、p値、信頼度、そして選んだ信頼水準での「有意かどうか」の明確な結論を計算します。すべての処理はブラウザ内で行われ、入力した数値が外部に送信されることはありません。
計算方法と前提条件
2つのコンバージョン率を比較する標準的な手法である「2標本z検定（プールした標準誤差）」の両側検定を使います。z値は (率B − 率A) ÷ プールした標準誤差 で求め、p値は標準正規分布から算出します。p値が「1 − 信頼水準」を下回ったときに有意と判定します。
- 各訪問者の結果は独立している（無作為に振り分けられた別々の訪問者）。
- サンプルが十分にある（目安として各群で成功・失敗がそれぞれ10件以上）。
- 途中で繰り返し判定して早期終了しない（偽陽性を避けるため、サンプル数は事前に決める）。
使い方
- A（基準）とB（テスト）の訪問者数・コンバージョン数を入力します。
- 信頼水準（90% / 95% / 99%）を選びます。
- 右側で判定・改善率・p値・信頼度を確認します。
こんなときに便利です
- 新しいLPが本当に旧版より優れているか判断したいとき。
- メール件名や広告クリエイティブのテスト結果を本番展開前に確認したいとき。
- 偶然よく見えただけの変更を誤って採用しないようにしたいとき。