商品が合っていても不合格。VisaがAIに課した買い物試験

Visa Researchは、テレビやノートパソコンなどを買う15の課題に、12社の22モデルを挑ませた。各課題を3回ずつ、計990回試した結果、合格は57.2%。試験は模擬市場で行われ、客役も別のAIが務める。商品を選ぶか、購入を見送るかを決めたところで終わり、実際の決済や注文は行わない。

公開されたテレビの課題では、客は家族が使う65インチのテレビを探している。家族の動画をどの形式で撮っているか、ゲームにどんな性能が必要かまでは、最初に話さない。家族に確認してほしいと促すと、客役AIがその結果を返し、条件を絞るための情報が出てくる。サイズと予算だけを合わせて選ぶと、必要な機能を見落とす。

採点では、商品が全条件を満たすことに加え、その条件を会話の中で確認できたかを見る。適合する商品が市場になければ、必要な確認をしたうえで買わない判断も正解になる。逆に、適合する商品があるのに「ない」と伝えて購入を見送らせれば失敗だ。

不合格だった試行の54%は、客が商品を選ぶところまで進んでいた。条件に合わない商品を選んだ場合に加え、必要な条件を聞き出さないまま選んだ場合も、この中に含まれる。

結果は、繰り返し試すとさらに厳しくなる。同じモデルで同じ課題を3回試し、全て合格した組み合わせは34.2%。全22モデルと15課題を組み合わせた330組のうち、113組にとどまった。一度うまく選べたモデルが、同じ課題で失敗する場合もあった。

客との対話で商品の条件を探る試験には先例がある。2024年の研究「ChatShop」も、最初の依頼から商品の細かな条件を隠し、AIが質問して絞り込む方式だった。今回のVisaは、必要な情報を聞き出したかも合否に織り込み、22モデルの成績と、同じ課題を繰り返した際の安定性を公表した。

ただし、15課題のうち詳しく公開されているのは1課題で、残りは非公開だ。試験を設計し、結果を出したのはVisa自身である。模擬客を実際の人間の購買会話に合わせて調整することも、白書では今後の計画に置かれている。57.2%という合格率は、この模擬市場と採点条件の下での数字だ。現実の客に任せてもらえるかどうかは、まだ別の検証が要る。