AIを導入すれば改善する、成果が発生する･･････そう考えている人は多い。
たしかに、AIは業務効率化や意思決定支援に使える有力な手段だ。今後、DX部門の主たる作業になっていくのはデジタライゼーションを越えて、AIを用いたRPAなどになっていくだろう。
しかし、単にAIを使うだけでは大きな効果は見込めない。それどころか、原因はなんなのかがわからないまま問題がゴチャつく可能性もある。
今回扱うのは、まさしくこの「AIを頼ったら逆におかしなことになった」という案件だ。
購買履歴や閲覧履歴を使い、ユーザーごとに商品を提案するAI推薦を導入。しかしその後、離脱率は５％増加し、CVRは10％低下した。特に目立ったのが、新規ユーザーに対する不適切な推薦による悪影響だ。
マーケティング部から提示された相談は、「AIを改善するべきか」というものだった。
一見すると、推薦精度を上げれば解決する問題に見える。ユーザーの興味に合う商品を出せるように、データを増やし、モデルを調整する。AI推薦の改善としては自然な発想だ。
ただし、ここでは２つの問題を分けなければならない。
- １：AI導入後に数値が悪化したことと、AIが数値を悪化させたことは同じではない
- ２：仮にAI推薦が悪化の原因だったとしても、それが純粋な精度不足とは限らない
１については、導入と同時期に別の施策や環境変化があれば、原因はほかにあるかもしれない。
２については、十分なデータがない新規ユーザーに対して、そもそも個人推薦を行うべきだったのかという疑問がある。
推薦する場所やタイミング、表示の強さに問題はなかったのか。「あなたへのおすすめ」という表現に見合うだけの根拠を、サービスは持っていたのか。
今回見直すべきなのは、AIが商品を当てる能力だけではない。どの程度の根拠があれば、サービスはユーザーを理解したものとして振る舞っていいのかという設計だ。
本記事ではこれについてどう考えるべきか、ECサイトにAI推薦を導入した結果、離脱率とCVRが悪化したという架空の相談事例を扱い、ケーススタディとして紐解いていく。
問題は「AIの精度不足」か？
AIや推薦システムは、ユーザーについてほとんど情報がなくても何らかの候補を返せる。新規ユーザーのわずかな閲覧履歴から類似商品を選ぶことも、属性や全体傾向を使って関心がありそうな商品を並べることもできる。
しかし、候補を出力できることは、それを個人推薦として提示していいことを意味しない。
ここでは、少なくとも３つの段階が混同されている。
- １：データから何らかの推測ができること
- ２：一定の確度でその人の嗜好を推定できること
- ３：その推定を「あなたへのおすすめ」として扱うこと
現行設計では、最初の段階で何らかの候補が生成されると、そのまま第３段階のUIへ接続されていた可能性がある。つまり、AIの推定確度にかかわらず、画面上ではサービスがユーザーを理解しているかのように振る舞っていた。
なんとなく選んだもの、誤タップしたもの･･････これらをデータとして扱い、レコメンドを行う。これは機能しているのだろうか。
興味のない商品が表示されるだけなら、ユーザーにとってはノイズで済むかもしれない。だが、それが「あなたへのおすすめ」として大きく表示されれば意味が変わる。このラベルは単なる商品紹介ではなく、「私たちはあなたの関心を理解している」というサービス側の表明になるからだ。
そのため、内容が外れていれば影響は商品選択を邪魔するだけではない。自分を誤解されているという違和感を生み、推薦機能全体への不信にもつながりうる。
問題はAIが外したことではなく、確信がない状態でも確信があるように提示したことだ。
では、誤推薦を避けるためには十分な履歴が集まるまですべての推薦を停止するべきなのか。
そうではない。ユーザーについて分かっていないなら、分かっていない状態でも役立つ推薦へ切り替えればいい。
すべての推薦を「パーソナライズ」と呼ばない
「おすすめ」と表示される商品には、異なる根拠と役割を持つものが混在している。
たとえば、サイト全体の売れ筋、閲覧中の商品に近い商品、過去の購入履歴から選ばれた商品は、いずれもユーザーの選択を助ける候補になりうる。しかし、この３つをすべてパーソナライズとして扱うと、どのデータを使い、何を支援しようとしているのかが曖昧になる。
本ケースでは、推薦を「一般推薦」「文脈推薦」「個人最適化」の３つに分けて考える。
一般推薦は、個人データではなく集団の傾向を使う。
売れ筋、閲覧数上位、カテゴリの定番、初回購入者に選ばれやすい商品などが該当する。ここでの目的は、その人の嗜好を当てることではない。商品群の全体像や、最初に検討しやすい選択肢を示し、サイト内の探索を助けることだ。
文脈推薦は、現在の閲覧や検索、表示中の商品といった、その場で確認できる情報を使う。
類似商品、同じ用途や価格帯の商品、一緒に比較される商品などを提示し、現在進行中の意思決定を支援する。「誰であるか」は分からなくても、「いま何を検討しているか」が分かれば成立する推薦だ。
個人最適化は、過去の購入履歴や継続的な行動履歴を使う。
購入傾向に近い商品、再購入時期が近い商品、継続して閲覧しているカテゴリの新商品など、そのユーザー固有の需要や嗜好を推定して提示する。ここが一般的に言われる「パーソナライズ」だ。
この３つは精度の高低だけで並ぶものではない。使う根拠と、果たす役割が違う。したがって、新規ユーザーに必要なのは「精度の低い個人最適化」ではなく、「個人データを必要としない別種の推薦」だ。
この区別を設けると、「AIを使うか、推薦をやめるか」という二者択一から離れられる。分かっている情報の範囲に合わせ、推薦の目的そのものを切り替えるのだ。
ユーザー理解の成熟度に応じて切り替える
推薦方式を決める際、会員か非会員か、購入回数が何回かという単一の条件だけでは不十分だ。見るべきなのは、保有データ量、行動の一貫性、データの鮮度、現在の購買文脈、そして推定の確信度だ。
これらをもとに、推薦を３つの段階へ分ける。
段階１：探索を支援する
初回訪問者や新規ユーザーは、サービス側がその人を理解していないだけでなく、ユーザー自身もサイトの商品群やカテゴリ構造を理解していない可能性がある。
この段階で優先すべきなのは、ユーザーを当てることではない。選択肢の全体像をつかみ、探索の起点を見つけてもらうことだ。
そこで、よく売れている商品、カテゴリ別の定番、最近よく見られている商品、初回購入者に選ばれやすい商品などを提示する。必要であれば、別カテゴリへ移動できる導線も設ける。
表示も「人気の商品」「このカテゴリの定番」「最近よく見られています」のように、推薦の根拠と一致させる。「あなたへのおすすめ」とは表示しない。個人を理解していないことを欠点として隠すのではなく、分かっている集団傾向を使って探索を助ける。
段階２：現在の文脈を支援する
閲覧商品や検索条件が蓄積すると、長期的な嗜好までは分からなくても、現在何を検討しているかは見えてくる。
この段階では、類似商品、同じ用途の商品、同価格帯の商品、合わせて比較される商品、互換性や関連性のある商品を提示する。目的は、選択肢を増やすことそのものではなく、比較と検討を助けることだ。
表示は「この商品と比較されています」「同じ用途の商品」「関連する商品」とする。ここでも、現在の行動から分かる範囲を超えて、ユーザーの人物像まで推定したようには見せない。
段階３：個人最適化を行う
購入履歴や継続的な行動が蓄積し、そこに一定の一貫性が確認できれば、過去データから固有の嗜好や需要を推定できるようになる。
この段階では、購入傾向に近い商品、買い替えや補充の候補、よく見るカテゴリの新商品、過去に購入した商品と相性のよい商品などを提示する。再購入や商品発見、継続利用を助けることが目的だ。
表示にも「閲覧履歴に基づくおすすめ」「以前購入した商品に関連して」「よく見るカテゴリの商品」のように根拠を添えられる。一般推薦を個人推薦に見せるのではなく、実際に使った情報と主張を一致させる。
ただし、ユーザーを一度この段階に分類したら、常に個人最適化を行っていいわけではない。
既存ユーザーであっても、普段とは異なる買い物をすることがあるからだ。
たとえばギフト、家族用の商品、仕事用の備品、季節限定の需要、一時的な関心などは、過去の人物像と現在の購買目的が一致しない代表的な場面だ。購入履歴が豊富であるほど、かえって過去の嗜好を強く当てはめてしまう危険もある。
したがって、判断軸は「この人をどれだけ知っているか」だけではない。「今回の買い物をどれだけ理解できているか」も必要だ。
データ量が増えたから個人推薦を始めるのではなく、過去データと現在の行動が一定の整合性を持つときに、初めて個人推薦の強度を上げられる。
AIが原因かを検証してから改善を行う
ここまでの設計は、AI推薦に問題があった場合の改善仮説だ。忘れてはならないのが、実装へ進む前に、数値悪化との因果関係を確認することだ。
というのも、そもそも離脱率とCVRがAI導入後に悪化したという時系列だけでは、AIが原因だとは断定できない。
同じ時期に流入チャネルや広告施策、価格、在庫、配送条件、ほかのUIが変わっていないかを確認する必要がある。季節性や新規ユーザー比率の変化も、全体値を動かす要因になるだろう。
次に、悪化がどのユーザー群へ集中しているかを見る。新規ユーザー、非ログインユーザー、購入経験が一度だけのユーザー、継続購入者、長期利用者を分ければ、データ不足のユーザーに固有の問題なのか、推薦機能全体の問題なのかを切り分けられる。
さらに、トップページ、商品詳細、カート、購入完了画面、再訪時など、推薦が表示される接点ごとの変化も見る。同じ商品を提案しても、検討中に補助情報として出す場合と、決済直前に主要導線を遮って出す場合では、体験への影響が違うからだ。
ここで推薦された商品が外れていたとしても、原因をアルゴリズムだけに求めることはできない。正しい商品であっても、提示するタイミングと強度が不適切だった可能性が残る。
問題は必ずしも１つの要因だけで決定づけられるわけではない。だから、現象に関係しそうなものを決め打ちせず、探る必要がある。
さて、同様に、「興味のない商品が表示された」という１つの不満も、少なくとも４種類の失敗に分けられる。
推定の失敗は、嗜好の誤認、一時的な閲覧やギフト購入の誤解、古い履歴の利用などで起きる。
商品選定の失敗は、購入済みの商品、合わない価格帯、在庫や配送条件の悪い商品、用途の異なる商品を選んだ場合に起きる。
タイミングの失敗は、購入直後に追加購入を迫る、検討初期に選択肢を増やしすぎる、決済直前に別商品へ誘導するといったものだ。
UIの失敗は、表示面積が大きい、ポップアップが行動を遮る、同じ推薦が繰り返される、非表示にできない、根拠が薄いのに「あなた向け」と断定するといった形で現れる。
失敗の種類が違えば、対処も変わる。推定の失敗ならデータやロジックを修正し、タイミングの失敗なら表示する接点を変える。UIの失敗なら表示強度を下げ、目的そのものが不適切なら推薦の役割から再定義する。
仮説を絞った後は、推薦なしの対照群を設け、推薦方式、表示位置、表示強度を一度に変更せず個別に比較する。ここまでが検証だ。
推薦精度だけを改善しても、表示場所やタイミング、UIの強さによる不快感は解消できない。だからこそ、数値悪化をユーザー群と接点に分け、現象を失敗の種類まで分解してから改善へ進む必要があるのだ。
AIを使う価値を事業成果で検証する
ただ、そもそも論として、AIを使うこと自体に価値があるのかを考えたい。
個人最適化の精度を上げて推薦欄のクリック率が改善しても、人気商品や現在の閲覧に基づく文脈推薦のほうが低い運用コストで高いCVRを生む可能性は普通にある。AIが前提になるとこういう代替案を見落としてしまう。
そこで、比較を行う。
- 推薦を表示しない場合
- 人気商品を表示する場合
- 現在の閲覧や検索に基づく文脈推薦
- 過去履歴に基づく個人最適化
- 個人最適化の表示位置や強度を下げた場合
結果は全ユーザーの平均だけで判断しない。新規ユーザー、行動データの少ないユーザー、継続利用者、高頻度購入者では、推薦が果たせる役割も推定の根拠も違うからだ。
新規ユーザーには、根拠の薄い個人最適化よりも、人気商品や現在の閲覧文脈に基づく推薦のほうが、離脱を抑えながら購入を支援できる可能性がある。一方、十分な購入履歴と一貫した行動がある継続利用者には、個人最適化が再購入や商品発見に寄与する可能性がある。
もちろん、これは実装前の仮説でしかない。セグメントごとの比較によって確かめるのが前提だ。
購入完了後のポップアップを弱めた場合、短期的な追加購入率は下がるかもしれない。しかし、購入後の安心感や完了感が改善すれば、再訪率や再購入率にはプラスに働く可能性がある。短期の売上だけを見れば悪化、長期の顧客関係まで見れば改善という結果もありうる。
ここで注意したいのが、推薦機能単体の成果と、サイト全体の成果は一致しないことだ。
推薦商品が多くクリックされても、ユーザーが本来購入する予定だった商品から離れ、サイト全体のCVRが下がれば、推薦欄としては成功していても事業としては失敗だ。反対に、推薦クリック率が下がっても、購入完了率や再購入率が上がるなら、購買体験としては改善している可能性がある。
したがって、KPIは以下。推薦商品のクリック率だけでなく、サイト全体の購入完了率や離脱率を確認、さらに施策の目的に応じて、再訪率、再購入率、顧客単価などを加える。クリック率を否定して別の固定KPIへ置き換えるのではなく、推薦KPIを全体KPIの下位に置く。
AIパーソナライズの成果は、AIを改善した前後だけでは判断できない。
推薦なし、一般推薦、文脈推薦と比較し、ユーザーの意思決定を妨げず、サイト全体と長期的な事業成果に貢献したかを確認して、初めてAIを使う合理性を評価できる。
AIパーソナライズを使うべき条件
結局、問うべきなのは、AIを導入するべきかという二択ではない。どの顧客段階で、どの行動を促すために、どの程度の個人最適化を行うのか、だ。
AIパーソナライズを正当化するには、少なくとも５つの条件がある。
第１に、ユーザーの選択コストを下げられること。
商品数が多く、ユーザーだけでは候補を絞りにくいなら、推薦は意思決定を支援できる。一方、選択肢が少ない場合や購入目的が明確な場合は、推薦を追加することで迷いや離脱を増やす可能性がある。推薦の価値は、表示数やクリック数ではなく、選びやすさを改善できるかで決まる。
第２に、推定に十分な根拠があること。
履歴が存在するだけでは足りない。データ量、行動の一貫性、鮮度、現在の購買文脈との整合性を確認し、一時的な行動や本人以外のための購入である可能性も考慮する。根拠が不足するなら、一般推薦か文脈推薦へ切り替える。
第３に、誤推薦の損失を制御できること。
推薦は必ず外れる可能性を持つ。だからこそ、確信度が低い場合は補助領域へ置く、「あなたへのおすすめ」と断定しない、非表示や修正を可能にする、主要な購買導線を遮らないといった設計が必要になる。外さないことだけでなく、外したときに購買と信頼へ与える損失を小さくできるかを問う。
第４に、より単純な推薦より成果がよいこと。
AIパーソナライズには、開発、運用、データ管理、検証のコストがかかる。売れ筋、カテゴリの定番、閲覧中の商品に近い商品、運用担当者による推薦と同等以下の成果であれば、AIを使う合理性は弱い。AIでなければ解きにくい問題があり、より低コストな手法を上回る場合に投資対象となる。
第５に、長期的な成果まで評価できること。
追加購入が増えても、離脱や不信感によって再訪と継続購入が減れば、事業全体では失敗である。購入完了率だけでなく、再訪率、再購入率、顧客単価、返品率、顧客生涯価値などを目的に応じて追い、短期と長期を分けて判断する。
そして、この条件を満たすかどうかは事業目的によっても変わる。
初回購入率を高めたいなら、新規ユーザーに根拠の薄い個人最適化を行うより、定番商品や選び方、カテゴリ構造を示すほうが目的に合う可能性がある。
クロスセルが目的なら、過去の人物像よりも、現在見ている商品や購入した商品との補完関係を重視する。
再購入率を高めたいなら、需要の周期や嗜好を推定できる既存顧客へ個人最適化を集中させる。
つまり、AIパーソナライズは、すべてのユーザーに等しく適用する機能ではない。
だからこそ、とりあえずのAI導入ではなく、活用範囲と意図を明確にしなければ大きな成果は生まれない。
良いパーソナライズ設計とは、すべてのユーザーを無理に個別化することではない。分かっている範囲に合わせて推薦の目的と表現を変え、理解していないユーザーを理解したように扱わないことなのだ。
ランダム記事（表示できない場合はページを再読み込みしてください）