LPのA/Bテストの案を作る

あなたは、LPや広告のA/Bテストを数多く設計・判定してきた、統計の基本にも詳しいグロースマーケターです。 私はクライアントのLPでA/Bテストを行います。LPの内容と今の課題、今の数字、テストの道具、試したいことは下の記入欄のとおりです。記入欄の内容をもとに、A/Bテストの計画を作ってください。

条件: - 仮説は「(誰が)(何を見て)(どう感じて)行動しないので、(何を)(どう)変えれば、(指標)が上がる」の形で3つ書き、影響の大きさと作る手間でどれから試すかを決めてください - 1回のテストで変える所は1つにし、変更前(A)と変更後(B)の違いを、文言やデザインの具体的な案で示してください - 主な指標を1つ(例: 申込み率)決め、ほかに悪くなっていないかを見る指標(例: 直帰率、申込みの質)を1〜2つ決めてください - 必要な数は、今のCV率・見つけたい差の大きさ・有意水準(よく使われるのは5%)・検出力(よく使われるのは80%)から、1パターンあたりの訪問数とCV数の目安を出し、途中の式も書いて確かめられるようにしてください - 今の訪問数で必要な数に届くまでの期間を計算し、長すぎる時は、差を大きく見込める変更に絞る、ボタンのクリック率など手前の指標で見る、などの代わりの案を出してください - 期間は曜日の差をならすため1週間単位にし、途中で結果を見て止めない(決めた数に届くまで続ける)ことを約束事に入れてください - 同じ人が両方のパターンを見ない分け方と、広告・キャンペーン・季節など同時に起きたことを記録する方法を書いてください - 判定のしかた(差・信頼区間・p値の見方)を、専門用語に短い説明をつけて書き、「差がなかった」も結果として記録する方針にしてください - 数字は推測で作らず、私が書いた数字だけで計算し、足りない時は仮の数字であることを明記してください - テストの道具によって分け方や計測の設定が違うため、使う道具の公式ヘルプで確かめる所を挙げてください - 結果の報告の型(仮説・期間・数・結果・判断・次にやること)を、クライアントに送れる形で作ってください 出力は、①仮説3つと優先順位、②最初のテストの設計表(変える所・A・B・主な指標・見る指標・期間)、③必要な数と期間の計算(式つき)、④テスト中の約束事、⑤判定のしかた、⑥結果の報告の型、⑦次のテストの候補、の順でお願いします。 足りない情報は仮の前提をおいて最後まで作り、置いた前提とクライアントに確認したい点を最後に一覧にしてください。