ユースケース
合成参加者に対してシミュレーション実験を実行し、実トラフィックに出す前に、勝者、信用区間つきのバリアント別転換率、リフトを得ます。
概要
ライブのA/Bテストは正直ですが、遅くて高くつきます。実トラフィックが必要で、十分に集まるのを待ち、その間ずっと弱いバリアントが静かに訪問者を浪費します。結論が出ないまま終わることも多く、いずれにせよ露出は使ってしまっています。
Polyhyleなら、実験を先に合成参加者に対して実行できます。各自があなたのバリアントを採点し、行動する一つを選び、結果は信用区間つきのバリアント別転換率、勝者、間違った場合の期待コストとして返ります。ローンチ前に候補を絞り、ライブテストでは走らせる価値のある候補だけを走らせます。
Polyhyle内部
公開テストの前に、アクセス申請コンバージョン向けのランディングページ3案を比較。
ライブ実験と同じように、実行予定のバリアントとトラフィック配分を定義します。
各合成参加者がバリアントを採点し、行動する一つを選び、決め手を説明します。
選択は95%の信用区間とサンプルサイズを備えたバリアント別の転換率になり、結果自体が信頼度を持ちます。
勝ちバリアント、次点に対するリフト、間違った場合の期待損失が、訪問者を一人も使う前に得られます。
シミュレーション詳細
勝者
Bリフト
+25.8%有意性
94%まずバリアントBをライブで実行し、Cはエンタープライズトラフィック向けのチャレンジャーとして残し、Aはテスト量を消費する前に外します。
30日間のシミュレーション期間
得られるシグナル
まずバリアントBをライブで実行し、Cはエンタープライズトラフィック向けのチャレンジャーとして残し、Aはテスト量を消費する前に外します。
なぜシミュレートするか
バリアントを選ぶ通常のやり方は、すべてを本番で走らせて有意性を待つことです。それは弱いと疑う選択肢に実トラフィックをかけ、数週間待ち、誰もが認める以上の頻度で結論が出ずに終わることを意味します。
先にシミュレートすれば、コストがかかる前に明らかな敗者を取り除けます。走らせる価値のある2〜3の候補と、有力な勝者の読みを持って本番テストに入れるので、実験は短く、安く、決着がつきやすくなります。
プライベートベータ