こんにちは、メディア事業本部のエンジニアの 
id:skozawa です。
普段の業務では、女性向けキュレーションサービス LUCRA（ルクラ）のデータ分析やロジック開発をしています。
先日行われたData Driven Developer Meetup #1で仮説検証とABテストについてLTをしてきたので、その内容について簡単に書きたいと思います。
Gunosyでは、プロダクトを改善するために、新しい機能の追加や、UIの変更、記事リスト配信ロジックの変更など、日々、様々な仮説検証を行っています。 記事の質や季節要因などのプロダクト改善とは異なる影響を排除して、効果を検証するために仮説検証ではABテストを採用しています。 この記事では、LUCRA開発チームでの仮説検証の流れを事例として紹介します。
仮説検証
仮説検証の流れは以下の通りです。
以下では、先日リリースしたLUCRAのメディアのフォロー機能の改善を例に説明していきます。
仮説を立てる
プロダクト改善のための仮説をたてます。 LUCRA開発チームでは、それぞれの施策に施策オーナーと呼ばれる、その施策に対して責任を持つ人が割り当てられ、価値仮説シート に基づいて仮説をたてます。 施策オーナーは以前はエンジニアが担当していましたが、より多くのメンバーがプロダクト改善に関われるように、最近ではマーケやプロモ、デザイナーなど、エンジニア以外も担当しています。
例えば、フォロー機能改善の場合、LUCRAにはメディアのフォロー機能があるものの、メディアごとの記事を見れる画面がないなど、機能として不十分な点がありました。そこで、以下のような価値仮説をたてました。
指標を決める
次に、仮説を検証するための指標を決めます。 プロダクトの主要な指標と機能改善の効果を把握するための指標を用意します。
フォロー機能改善では、プロダクトの主要な指標である継続率や記事クリック数などと、機能の効果を把握するために、メディアのフォロー数やフォロータブでの記事クリック数などを指標として定めました。
ログの設計
新しい機能の開発の場合など、新しい行動が生まれる場合には、ログの設計をします。 ログの設計は主にサーバ、クライアントのエンジニアが行い、分析エンジニアが指標とともにレビューしています。 分析エンジニアは主に以下を確認します。
- 指標を確認するためのログが正しく設計されているか
- より深い仮説の効果検証のための指標の洗い出しとログの過不足の確認
フォロー機能改善では、メディアのフォローログやフォロータブでのクリックログがきちんと設計されているかを確認します。
ABテスト対象ユーザの選定
ABテストの対象割合と、実際に割り当てるユーザを選定します。 以前はユーザIDを割った値を利用していたのですが、複数のテストが同時に走っている場合、テストの割り当てに偏りが生じてしまうという問題がありました。 そのため、最近では、ユーザIDのハッシュ値を利用した割り当てを行なっています。 詳しくは、以下の記事を参照してください。
実装、リリース
実際に機能を開発し、リリースします。 以下が先日リリースしたフォロータブ機能です。
集計
効果検証のために、指標の数値を集計をします。 Gunosyでは指標の管理、可視化にredashを利用しています。 ABテストで主要な指標をみるためのダッシュボードをあらかじめ作ってあるため、集計作業自体は数分で完了します。 データサイズが大きくなると、集計に時間がかかるため、中間テーブルを生成するなどの工夫も行なっています。 また、集計時には効果検証に十分なサンプルサイズとなっているかも確認します。
可否決定
集計結果に基づき分析、仮説検証をし、次のアクション（ABテストの拡大、棄却、さらなる追加分析など）を決めます。 以前は分析エンジニアが集計と分析の両方を担当していましたが、最近では、集計は分析エンジニアが行いますが、分析自体は施策オーナーが主体となって行うようにして、分析エンジニアは分析のサポートをするような形にしています。 まだ始めたばかりの取り組みなので、成果はこれからですが、以下のような効果を期待して行っています。
- 各メンバーへの分析知見の共有
- プロダクト改善に対してより多くのメンバーが数字に基づいて議論できるように
- 仮説検証の全体を施策オーナーが担当することで、より深い分析やアイデア出しに繋がるように
www.slideshare.net
おわりに
Gunosyで取り組んでいる仮説検証として、LUCRAでの事例を紹介しました。 プロダクトはもちろん、開発体制や仮説検証についても日々改善を行なっています。 Gunosyでは共にプロダクト開発を行ってくれるメンバーを募集しています。 プロダクト開発、データ分析に興味がありましたら、気軽にランチでもいきましょう。
