製品実験への定性的アプローチ
2023年11月20日
※これはMouseflowからの翻訳転載です。配信元または著者の許可を得て配信しています。
Product Experimentation Framework: a Qualitative Approach to Product Development
製品実験は、目隠しをして迷宮を探索しているように感じることがあります。プロダクトマネージャーは、何を実験すべきかに関する不確実性、意思決定のジレンマ、テスト結果の解釈という複雑なタスクに取り組んでいます。
データ駆動型の製品実験を、はるかに少ない労力で、より確実に作成して実行できると言ったらどうでしょうか？ユーザー行動分析に基づいた5段階の製品実験フレームワークを使用してそれを行う方法について説明します。
製品実験とは？ 製品実験は、製品チームが変更や更新に関する情報に基づいた意思決定を行うために使用する、体系的でデータ駆動型のアプローチです。これには、製品または機能の2つ以上のバリエーションを比較して、特定の目標を達成する上でどちらが優れているかを判断することが含まれます。 また、製品実験は、ユーザーインターフェイスデザインの変更のテスト、新機能の追加、価格戦略の最適化、ユーザー行動に関する仮説の検証など、製品関連の幅広い意思決定に使用できます。 つまり、本質的に製品実験とは、製品変更に伴うリスクを最小限に抑えながら、ユーザーエクスペリエンスを向上させることです。 製品実験の効果的なプロセスを構築するために、組織は製品実験フレームワークに依存しています。 |
製品実験フレームワークとは？
製品実験のフレームワークは、製品開発チームが製品実験を計画、実施、分析する際に従う、構造化された一連のガイドラインです。
強固な製品実験フレームワークにより、
- 実験プロセスを合理化し、
- その有効性を向上させ、
- 実験全体で一貫性を確保します。
製品実験フレームワークは適応性があり、製品の仕様や製品チームのニーズに基づいて製品ごとに異なる場合があります。これは、実験を実施し、経験的証拠に基づいて製品開発を最適化するためのロードマップとして機能します。
効果的な製品実験の枠組みを5つのステップで設定するには？
ここでは、プロダクトマネージャーが強固な製品実験のフレームワークを構築するのに役立つ5つのステップをご紹介します。
1.仮説とユーザーの成果を定義する
まず、特定の製品変更または機能追加の影響に関する予想を正確に表す仮説を定義します。 ただし、この仮説は具体的かつ定量化できるものでなければなりません。 「ユーザーエンゲージメントが向上する」などの漠然とした予測ではなく、「機能Xの可視性を高めるとユーザーエンゲージメントが15%向上する」といった測定可能な記述を目指してください。
次に、ユーザーの成果を定義します。 これらは、変更の結果としてユーザーが体験すると予想されるメリットを表しています。 次のような質問をしてください。この新機能はユーザーにとって具体的にどのような問題に対処するのか？当社の製品を使って、全体的なエクスペリエンスをどのように向上させるのか？
ここでは、仮説を生成する際にどこから始めるべきかについて、いくつかのアイデアを示します。
- ユーザー行動分析：ユーザーがWebサイトをどのように操作しているかを確認し、どのような変更がユーザーのエクスペリエンスを向上させる可能性があるか仮説を立てます。
たとえば、Webサイトのセッションリプレイを確認すると、アカウントの作成を促されたために見込み客が離脱していることに気付くかもしれません。Dripの統計によると、ユーザーの34%がこの理由でカートを放棄しています。 - フィードバックチャネル：カスタマーサポートチームに相談するなど、さまざまなフィードバックチャネルの利用を検討してください。支払いに関する問い合わせなど、頻繁に処理している質問を確認します。たとえば、イギリスを拠点とする顧客が、なぜ価格が米ドルとユーロでしか表示されないのか疑問に思っている場合は、ポンドも含めるように調整し、顧客がさらに満足するかどうかを確認することができます。
- 直感と想像力を働かせましょう：直感に従うこと悪いことではありません。したがって、目を引くものや考えさせられるものを観察してください。そして、「これは何が原因なのだろう？」と探求心を持ちましょう。あなたの想像力が、適切な仮説を導き出すかもしれません。ただし、次の段階に進む前に、仮説を裏付ける証拠集めに時間をかけてください。
2.実験戦略の計画
仮説とユーザーの成果が準備できたら、それらを具体的なアクションプランに変更します。
まず、製品でテストしたい具体的な変更を特定しましょう。コンバージョン率、平均注文金額、ユーザー維持率などの主要指標に対する潜在的な影響に基づいて、これらの機能の優先順位を付けます。ここで、ICEスコアリング（インパクト、信頼性、容易性）が役立ちます。
ICEスコアリングは、プロダクトマネージャーが最適な製品機能を選択するために使用する機能の優先順位付け戦略です。これら3つの値を1から10のスケールで評価し、いずれかの値を重視しすぎないようにします。したがって、ここでの目標は、フィーチャーバンクを以下の表のようにすることです。
| 機能 | インパクト | 信頼性 | 使いやすさ | ICEスコアリング |
| モバイルアプリの再設計 | 6 | 6 | 7 | 252 |
| ワンクリックでのチェックアウト | 9 | 8 | 8 | 576 |
| 製品検索の改善 | 8 | 7 | 8 | 448 |
| 決算ゲートウェイのアップデート | 7 | 6 | 7 | 294 |
| ライブチャットサポート | 7 | 7 | 7 | 343 |
上記の例で見ると、ICEスコアが最も高い上位2つの製品機能は「ワンクリックでのチェックアウト」と「製品検索の改善」です。製品チームの次のステップでは、通常、利用可能なリソース、タイムライン、および潜在的な依存関係を考慮して、これらの優先度の高い機能の開発を計画することが含まれます。
ICEスコアのシンプルな式は次の通りです：ICEスコア = インパクト * 信頼性 * 容易性
それでは、これらのカテゴリが意味することを詳しく見ていきましょう。
- インパクト：この機能がビジネスの目標達成にどれだけ役立つかを検討してください。それはゲームチェンジャーでしょうか、それともちょっとした調整でしょうか？
- 信頼度：プロジェクトが望ましい効果を達成することをどの程度確信していますか？それは安全な賭けですか、それともうまくいかない可能性があるのか？どのくらい危険ですか？
- 容易性：この機能を実現するのは本当に簡単ですか、それとも本当に苦労することになりますか？高いスコアはそれが容易であることを示し、低いスコアは手を汚さなければならないことを意味します（数字が大きいほど複雑さが低くなるので、必ずしも直感的ではありません。その点に留意してください）。
次に、実験の範囲と詳細を定義します。
実験範囲の定義
実権範囲とは、仮説と結果に具体性を加えたものです。
- 実験期間
実験はどのくらいの期間行われますか？ - ターゲットユーザーセグメント
どのユーザーセグメントがこの実験に参加しますか？たとえば、新規ユーザーかリピーターか？または両方か？ - バリエーション（AとB）
バリエーションA（コントロールグループ）とバリエーションB（実験グループ）の違いは何ですか？
なぜこれらの特定のバリエーションが実験に選ばれたのですか？
たとえば、eコマースビジネス向けにパーソナライズされた製品の推奨をテストしているとしましょう。この場合、推奨事項の基準と推奨ウィジェットのデザインを具体的に指定する必要があります。
3.関連する指標の選択
さて、楽しい部分に入りましょう。製品実験を測定するための適切な指標を選択します。しかし、ここにひねりがあります。それは見かけほど単純ではありません。実際、間違った指標を使うことは、多くの製品チームにとって最も一般的な落とし穴です。
ここでの黄金律は、選択した指標が実験の目標と一致している必要があります。
eコマースの例を続けて、カート放棄を減らすために新しいチェックアウトプロセスをテストしていると仮定すると、「カート放棄率」や「コンバージョン率」のような指標は非常に関連性が高いでしょう。
実験中のユーザーの相互作用と行動を追跡するデータ収集メカニズムを設定します。
eコマースの設定では、Mouseflowはチェックアウトプロセス中のユーザーの苦労を示す視覚的なセッション記録を提供し、問題点や改善すべき点を検出するのに役立ちます。
主要指標が主な焦点ですが、追加のコンテキストを提供できるため、副次指標も検討することをお勧めします。 これらの指標は、変更の広範な影響を理解するのに役立ちます。 たとえば、「コンバージョン率」とともに「平均注文額」を追跡し、より高いコンバージョンが低額の購入によって引き起こされていないことを確認します。
4.A/Bテストの実施
実験の準備が整ったので、実行しましょう！このフェーズでは、プロダクトマネージャーがA/Bテスト プロセスを実行して、変更または機能の影響を評価します。
A/Bテストには、明確なコントロールグループ（A）と提案された変更を含むトリートメントグループ（B）が含まれるようにします。コントロールグループは、比較のためのベースラインとして変化がないことが理想的です。
A/Bテストに必要なサンプルサイズを計算してください。 サンプルサイズは統計的に有意であることが不可欠です。これは、合理的な信頼度でコントロールグループとトリートメントグループ間の有意差を、妥当な信頼度で検出するのに十分な大きさでなければなりません。
十分なデータを収集するには、テストを適切な期間実行する必要があります。 季節性やトラフィック パターンなど、結果に影響を与える可能性のある要因も考慮しましょう。テスト期間とサンプルサイズを理解するのに役立つツールがあります。 たとえば、OptimizelyのA/Bテストサンプルサイズ計算ツールを使用できます。
テスト中の変更の影響を分離するために、テスト中は外部変数を一定に保ちます。したがって、一度に1つずつ変更を行うと、データが歪むことなく、何が起こっているのかを把握しやすくなります。たとえば、サイト速度の向上がeコマースの売上に与える影響をテストする場合、テスト期間中にWebサイトに他の大きな変更が加えられていないことを確認してください。
A/Bテストを実行するには、A/Bテストツールが必要になります。たとえば、次のリストから1つを選択できます。
- Optimizely
- Convert
- Kameleoon
これらのツールは、サンプルサイズや統計的有意性を決定する前段階の計算にも役立ちます。
最初のA/Bテストの結果が明確な結果をもたらさない場合、または変更の影響が限定的な場合は、反復テストを検討してください。得られた洞察に基づいて実験を改善し、さらに最適化するために追加テストを実行します。
新製品フィルターのA/Bテストでコンバージョン率が大幅に改善されなかったとしましょう。落胆せずにフィルターデザインを調整し、フォローアップテストを実行してください。
| “テストを実行し、そこから学び、顧客理論と仮説を改善します。フォローアップテストを実行し、そこから学び、仮説を改善します。フォローアップテストの実行など。” 出典：CXL |
Mouseflowなどのツールは、KameleoonのようなA/Bテストプラットフォームと統合することで、テストプロセスを強化する強力な機能を提供します。
MouseflowとKameleoonの統合により、A/Bテストのバリエーションを詳細に把握することが可能です。たとえば、セッション記録をバリエーションごとにフィルタリングして、ユーザーが製品の各バージョンとどのように相互作用するかを簡単に観察できます。この詳細な洞察は、特定の変化に応じたユーザーの行動や好みを理解するのに特に役立ちます。
KameleoonとMouseflowの統合を使用して、A/Bテストのバリエーションに基づくコンバージョンファネルのパフォーマンスを追跡することも可能です。各バリエーションでコンバージョンファネル内のユーザー行動がどのように変化するかを監視できます。
5.結果の分析と仮説の検証
製品実験戦略を構築する最終段階として、実験結果からトップレベルの洞察を引き出します。
主な目的は、A/Bテストの段階で収集されたデータを分析することです。これには、定量的指標、統計的有意性、およびユーザーの行動パターンを深く掘り下げることが含まれます。
多くの場合、統計的有意性が最初のチェックポイントとなります。これは、コントロールグループとトリートメントグループ間で観察された違いが、偶然によるものか、それとも変更の影響を実際に反映しているのかを判断するのに役立ちます。しかし、統計的有意性だけではすべてを語ることはできません。
ここで、実際的な重要性、つまり効果の大きさが重要になります。これは、調査結果が現実世界にどのような影響を与えるかに関わる概念です。変更が統計的に有意であるかどうかだけでなく、製品やユーザーエクスペリエンスの観点から、その変更がどれほど意味があるかを評価することでもあります。
変更がユーザー行動にどのような影響を与えるかを考えてください。それは本当にユーザーの製品との関わり方に大きな変化をもたらすのでしょうか、それとも単に標準からの一時的な逸脱にすぎないのでしょうか？
私が言いたいのは、プロダクトマネージャーとしてのあなたの役割は、統計的有意性を認識することにとどまらないということです。それよりも、実験結果の実際的な重要性を評価することが重要です。
製品実験における行動分析の役割
従来の指標では何が変化したかを教えてくれますが、重要な理由についてはわからないことが多いです。
おそらく、クリックスルー率（CTR）が増加したり、直帰率が低下したり、ユーザーエンゲージメントが急上昇したりしているのではないでしょうか。しかし、これらの変更の背景にある理由を考える必要があります。ここで行動分析が最前線となり、データに基づいた意思決定への道を開きます。
行動分析学は理由を提供するだけでなく、指標の関連性を評価するのにも役立ちます。さらに、行動分析はユーザージャーニーのボトルネックを示すことも可能です。ユーザーが進歩を妨げるハードルに直面している場所を正確に教えてくれます。これらの洞察を武器に、プロダクトマネージャーは実験やA/Bテストをより戦略的に計画できるようになります。
行動分析の最も強力な側面の1つは、意思決定に自信を与える能力です。したがって、プロダクトマネージャーは仮定に頼るのではなく、具体的なユーザーデータに基づいて仮説を立てることができます。