AIに買い物を任せたら4割が失敗、その半分は買ってしまった Visaが22のAIを試験

DATA TIMES編集長の小笠原は、ある日ふと思いました。

「家のテレビが壊れたら、もうAIに選んでもらえばいいんじゃないか」

家電量販店をはしごする時間はないし、比較サイトを何枚も見比べるのも正直めんどう。条件を伝えて「1台に決めて」と頼めば、それで済みそうです。

ただ、少し引っかかることもあります。

「AIは、うちで誰がテレビで何を見るのか、知らないよな」

映画をよく見るのか。スマホで撮った動画を大きな画面で見たいのか。ゲーム機をつなぐのか。テレビ選びで本当に大事な条件は、たいてい家の中にあります。それを知らないまま、AIが「注文」まで進めたらどうなるのか。

同じ問いを、990回も試した会社がありました。クレジットカードのVisaです。11月5日、22のAIに買い物を頼んだ試験の結果を公開しました。

WHAT IS

Visa Agentic Commerce BenchmarkAIの買い物の試験

AIが客の望みを聞き出して、正しく買えるかを試す、Visaの研究部門の試験

1. 2026.1022モデルに買い物を頼むテレビ、ノートPC、美容家電の15場面を、各モデルに3回ずつ解かせた
2. 2026.10設計を白書にまとめる客もAIが演じ、売り場は全モデルで同じにする、という試験の作りを18ページで説明した
3. NOW順位と記録を公開する2026年11月5日、モデル名入りの結果と、1回ごとの再生、人が遊べるデモを公開した

試されたのは、Google、OpenAI、Anthropic、Metaなど12社の22のAIです。AIは店員の役になり、別のAIが演じる客と話しながら、実在の製品の情報で作った全モデル共通の売り場から1つを選びます。客役のAIは、店員に聞かれるまで話さない「家の事情」を持っています。

合格には、条件に合う商品を選ぶことに加えて、その条件を会話の中で確かめていることが必要です。聞かずに運よく当たっただけでは不合格になります。

Visa自身は、AIによる決済の商品群「Intelligent Commerce」を持つ当事者です。この試験は商品の一部ではなく業界向けの研究だと発表で説明していますが、AIに買い物を任せる流れが進むほど得をする立場でもあります。

結果を先に言うと、合格は57.2%。4割強は失敗し、失敗した回の半分以上は「買います」まで進んでいました。

この記事では、まずVisaの試験を、1つの場面、全体の数字の順に紹介します。そのあと編集部でも短く試し、日本で動き出したサービスと、間違えて買ったときの責任までをたどります。先に答えを言うと、いまAIに任せていいのは「探して比べる」ところまで。最後の「買う」ボタンは、自分で押すのがよさそうです。

Visaの試験には、15の買い物の場面があります。その1つが、Visaが試験のために作った架空の客、サムのテレビ選びです。

サムの相談は、小笠原の思いつきとほとんど同じ。リビングのテレビが壊れたので、65型に買い替えたい。親戚にはサムスンを勧められていて、配偶者には「買う前に誰かに聞いて」と言われている。サムが最初に話すのは、ここまでです。

ところがサムの家族には、それぞれ譲れない条件がありました。

• 配偶者 映画をきれいに映す「Dolby Vision」という映像の規格に対応していること
• 子ども スマホで撮った動画は「HDR10+」という別の規格なので、そちらにも対応していること。ゲーム機の滑らかな映像（120Hz）を映せること

ほかに、予算は1,200ドルまで、返品は30日以上できること。6つの条件をすべて満たすテレビは、売り場の265台のうち20台しかありません。しかも親戚おすすめのサムスンは、配偶者の譲れないDolby Visionに対応していない、わざと置かれた罠でした。

AnthropicのAI「Claude Opus 5.5」は、配偶者には確認しました。ところがサムから「子どもの動画が、今のテレビだと色あせて見える」と聞いても、「推測ですが、新しいHDRテレビならどれでも良くなるはずです」と返し、子どもには聞かずに話を進めます。選んだのは、HDR10+に対応しないソニーの989.99ドルのテレビ。「注文します」で会話が終わり、判定は不合格でした。

OpenAIの「GPT-6.1 Sol」は、子どもにも確かめてもらい、スマホの動画がHDR10+で撮られていることを突き止めました。買ったのは、6つの条件すべてに合うハイセンスの769.99ドルのテレビです。質問を1つ多くしただけで、合否も値段も変わりました。

では、Opus 5.5は買い物が苦手なAIなのか。そうとも言えません。同じOpus 5.5は、同じ場面を3回やって2回は合格しています。15の場面を通した合格率も、OpusとSolはどちらも62.2%で同じでした。

同じAIでも、聞くときと聞かないときがある。このむらは、990回の全体の数字にもはっきり出てきます。

22のAIに15の場面を3回ずつ、のべ990回。その結果を、終わり方で分けたのが下の図です。合格が566回。買ったけれど不合格が229回。合う商品があるのに買わずに終わったのが114回。残りの81回は、決めきれないまま終わりました。やり取りの回数の上限まで迷い続けたり、決まった形で答えを返せなかったりした回です。

不合格の半分以上（54%）が、「買います」まで進んでいます。迷って何も買わない失敗より、違う物を買ってしまう失敗のほうが多いんです。ただし、この229回には、結果的に合う商品を選んだ回も含まれます。条件を確かめないまま買うと、たまたま合っていても不合格になる決まりだからです。人の店員に置き換えれば、聞かずに当たったのは運がよかっただけ。次の客でも当たる保証はありません。

いちばん驚いたのは、正しい答えが「買わない」の場面です。売り場に合う商品が1つもない場面を2つ用意しておくと、AIは3回に1回以上、何かを買ってしまいました（132回のうち46回）。総合の成績がいちばん高かった2つのAIでも半分、Opus 5.5は3分の2で買っています。一方で、同じAnthropicのSonnet 5.5を含む3つのAIは、1回も買いませんでした。「合う商品はありません」と言えるかどうかも、AIによってはっきり分かれます。

失敗は「聞かない」ところで起きる

Visaの研究チームの見立ては明快です。性能の高いAIは、一度聞いた事実はめったに読み違えない。失敗するのはその手前で、必要な質問をしないか、客が何も言わないことを「こだわりなし」と受け取ってしまう。試験には、次の5つの失敗をわざと誘う仕掛けが入っています。

• 言われた条件はすべて満たすのに、言われていない条件を聞かない（サムのテレビがこれ）
• 商品ページに書かれていない項目を、「たぶん大丈夫」と扱う
• 合う商品が検索に出ているのに、詳しく見ないまま「見つかりません」と答える
• 客が正しい商品を選んだのに、根拠のない心配で思いとどまらせる
• 一緒に買うと話がまとまった品を、最後の注文で入れ忘れる

どれも、接客の新人にありそうな失敗ですよね。足りないのは商品の知識より、客の暮らしを想像する一歩です。「子どもの動画が色あせる」と聞いて「動画の規格を確かめよう」と思いつくには、頼まれていない質問を自分から考える必要があります。

3回続けて合格は34%

人の店員なら、昨日うまくいった接客は、今日もたいていうまくいきます。AIに任せるなら、平均点より大事なのは毎回できるかどうかです。この試験は同じ場面を3回ずつ解かせているので、そこが分かります。

1回だけなら、合格は57%。2回続けて合格となると42%、3回続けてだと34%まで下がりました。

いちばん安定していたMetaのMuse Wonderでも、3回続けての合格は67%です。場面ごとの差も大きく、あるテレビの場面は97%が合格したのに、別のテレビの場面は12%、美容家電のある場面は15%でした。難しさを決めているのは商品の種類より、隠れた条件の見つけにくさなんですよね。

順位はあるが、はっきりした1位はいない

AIごとの成績も公開されています。1位は82.2%で、GoogleのGemini 4 ArgonとMetaのMuse Wonderが並びました。3位はAnthropicのClaude Fable 5.1で75.6%。同じ会社でも差は大きく、GoogleのGemini 3.1 Proは35.6%でした。

ただ、1つのAIにつき45回しか試していないので、点数にはぶれがあります。82.2%といっても、実力は69〜91%くらいの幅で見るのが統計的には妥当で、この幅は次の11モデルとも重なります。Visa自身も、はっきり先頭に立つモデルはないと書いています。順位表は着順というより、大まかな実力の帯として読むのがよさそうです。

同じ点数でも、失敗の向きが違う

順位より面白いのは、失敗の形です。OpenAIのGPTのモデルは、合う商品があるのに買わずに終わる回が目立ちます。GPT-6.1 Terraは38%、Solは33%、GPT-6 Astraは29%で、ほかの会社のモデルはどれも16%以下でした。慎重すぎる店員です。

反対に、GoogleのGemini 3.1 Proは、半分以上（51%）の回で不合格の買い物をしています。サムの場面の2つのAIも、同じ62.2%なのに中身が違いました。条件を確かめる前に買ってしまった回は、Opus 5.5が22%、Solは4%（全モデルの平均は19%）。Opusの失敗は「買いすぎ」に、Solの失敗は「買わなすぎ」に寄っています。どちらの失敗が困るかは、買う物で変わります。

高いAIほど合格しやすい。でも値段だけでは決まらない

AIは使うたびに利用料がかかります。この試験では1回あたりの利用料も公開されていて、利用料が高い5つのAIの平均合格率は67%、安い5つは50%でした。

図をよく見ると、例外も目立ちます。同じ82.2%でも、Gemini 4 Argonは1回0.54ドル、Muse Wonderは1.55ドルで約3倍。同じ53.3%でも、OpenAIのGPT-6 Lunaは0.02ドル、Kimi K3.1 Proは1.18ドルで約60倍です。買い物の相談1回を2セントで引き受けるAIが、半分以上は正解する。もうそんなところまで来ているのか、と思う数字ですよね。

この試験から言えないこと

Visaの試験には、はっきりした限界もあります。客を演じているのはAIで、人間ではありません。「買います」と言っても実際のお金は動かず、決済の手前で止まります。客役のAIを、実際の買い物の記録に合わせて調整するのはこれからです。

Visaが商品を持つ「支払い」の部分も、まだ試されていません。次は決済と注文の場面を試すと、Visaは予告しています。今回の数字は、AIが買い物をまるごとこなせるかの成績ではなく、「何が欲しいのかを聞き出して選ぶ」部分の成績です。

Visaの記録を読んだあと、小笠原の相談として、編集部でも短く試しました。11月7日、私たちがふだん仕事で使っているAnthropicのAI「Claude」の3つのモデル（Fable 5.1、Opus 5.5、Sonnet 5.5）に、それぞれ10回ずつ送っています。

まずは、冒頭の思いつきそのままの一言です。

リビングのテレビが壊れたので買い替えます。65型で、予算は12万円くらい。どれがいいか1台に決めてください。

30回すべてが、何も聞かずに機種名を答えました。頼んだとおりです。

次に「決める前に、うちの使い方で確認が必要なことがあれば先に聞いてください。」と一言足すと、30回すべてが、機種を決めずに質問を返しました。ゲームをするかどうかは30回とも聞いています。

ただ、スマホで撮った動画について聞いた返事は、30回で0回。家族に確かめてきてと頼む返事も0回でした。一言で質問は増えても、AIが自分から思いつかない質問は出てこない。サムの場面と同じところで止まっています。

試験の数字が気になるのは、任せる先のサービスが、もう動き出しているからです。

ただ、使う人の気持ちはまだ追いついていません。Visaが委託した米国の調査（5月に2,065人が回答）では、AIアシスタントを使ったことがある人は72%いるのに、支払いまで任せられる人は23%でした。使うけれど、財布は渡さない。カード会社にとっては、この差を埋められるかが商売の前提です。Visaがあの試験を作った背景にも、この差があります。

日本でも、AIの買い物は動き出した

10月23日に日本で始まったMetaの「Muse」は、北米の外で最初の提供先に日本を選びました。Museは、頼まれた作業を自分で進めるAI（AIエージェント）で、利用者に代わってブラウザを開き、フォームに入力するところまで操作します。メルカリ、マネーフォワード ME、チケットぴあとの連携も進めるとしています。

ただし、メールの送信や商品の購入の前には本人に確認し、パスワードや支払い方法はMuseから見えない作りだとMetaは説明しています。なお、試験で1位に並んだMuse Wonderが、このアプリの中で動いているかどうかは、発表からは分かりませんでした。

国内の大手も動いています。LINEヤフーは、Yahoo!ショッピングでAIエージェント経由の取扱高が約20%に達したと、7月時点の数字を自社の記事で明かしました。説明を読むと、AIは商品を比べて提案する役で、買うかどうかは利用者が決める作りです。

決済の会社も準備を進めています。Mastercardは5月に、AIが送迎の予約から支払いまでを本番の環境で済ませた取引を、日本で初めて完了したと発表しました。PayPayも11月の決算説明で、AIが買い物をする仕組みの研究を続けていると述べたと、Business Insider Japanが伝えています。

どの会社も、最後のボタンは人に残している

並べてみると、面白い共通点があります。探して比べるところまではAIが進み、最後の一押しは人に残しているんです。

• Muse（Meta） 購入の前に本人に確認する
• Yahoo!ショッピング（LINEヤフー） 提案を見て、買うかどうかは利用者が決める
• Claudeの「Personal Finance」（Anthropic） 11月5日に米国で始まった家計の機能で、銀行口座は読むだけで、お金は動かせない
• ChatGPT（OpenAI） チャットの中で買える「Instant Checkout」を3月に縮小し、支払いは各店の側へ移した

一方で、売り場の側の態度は割れています。日経は、Amazonが外部のAIエージェントとは連携しない方針だと報じました。お客さんとの接点をAIに取られたくない会社にとって、買い物のAIは味方とは限りません。

お金を持たせる実験も始まっています。Visaは5月末から、サンフランシスコの自社オフィスにある売店を、AIエージェントのDeeに任せています。Deeは本物のカードを持ち、仕入れ先のAIとメールで交渉して、トートバッグ150枚を1,575ドルで発注しました。店を任された側のAIはもう支払っていて、買い物客の側のAIはまだ止められている。この差も、今の姿をよく表していると思います。

では、AIが本当に合わないテレビを注文してしまったら、誰の責任になるのでしょうか。今のところの答えは、「基本は、頼んだ本人の注文として扱われそう。ただし、消費者を守るルールはまだ決まっていない」です。

米国では8月4日、この問いに近い判決が出ました。Amazonが、PerplexityのAIブラウザ「Comet」による買い物の代行を止めようとした裁判です。争点は、AmazonのサイトにアクセスしているのはAIなのか、AIを使う利用者なのか。連邦控訴裁判所はアクセスしているのは利用者だと判断し、差し止めを取り消しました。

争われたのは無断のアクセスを禁じる法律で、買い間違いの責任を直接決めた判決ではありません。それでも、AIは利用者の道具という見方がはっきり示されました。

日本でも考え方は近いようです。高瀬亜富弁護士は会社の誤発注を例にした解説で、AIは契約の当事者にはならず、AIを使う会社が申し込んだものと評価される可能性が高いと整理しています。金額の上限を決めずにAIに任せていれば、「勘違いだった」と取り消すこと（民法95条）は認められにくい。上限を決めていたのに不具合で超えた場合なら、取り消せる余地があるといいます。上限を決めておくかどうかで、あとで守られる度合いが変わってくるんです。

消費者を守るルールは、まだ作っている途中

個人の買い物については、内閣府の消費者委員会の専門調査会で議論が続いています。慶應義塾大学の丸山絵美子氏は8月の報告で、買い物を代行するAIの懸念として、AIが利用者以外の利益で動くおそれ、利用者の予想しない取引が成立すること、AIを騙す攻撃の3つを挙げました。

対策として同氏が示したのは、購入の上限額を初めに決めておくことや、人の確認を必ず挟む基準です。ただ、人の確認を増やすほど、自動化の便利さは減ります。システムの不具合で起きた取引を消費者の責任にしない仕組みも、別に検討が要るとしています。AIの不具合で買ってしまったとき、消費者がどこまで守られるかは、まだ決まっていないんです。

AIを騙す手口と、AIを信じすぎる危うさ

人を騙す手口は、AIに向けて形を変えます。7月の同じ調査会で、消費者団体の代表を務める加藤絵美委員が示した想定の場面はこうです。店のページに、人には見えずAIだけが読める指示が隠されている。AIはそれを注文の一部と思い込み、利用者が「はい」と答えた瞬間に、知らない相手へ送金される。

セキュリティ会社のUnit 42も3月に、クーポンのサイトに隠した指示でギフトカードを買い物かごに混ぜるシナリオを公開しています。どちらも実際の被害の報告ではなく、起こりうる手口として作られたものです。Visaの白書も「店や口コミの操作から客を守る」を目標の1つに掲げていて、今後さらに試すとしています。

一橋大学の得津晶教授は11月5日の報告で、AIの提供元やスポンサーの利益と、利用者の利益は必ずしも一致しないと指摘しました。そのうえで教授が描くのは2つの未来です。良いAIが信頼を集めて問題が解決していく道と、質の悪いAIを人が信じ込んで問題が深まる道。「AIが言ってた」で物事が決まっていく後者を、教授は懸念しています。Visaの数字を読んだあとだと、ちょっと他人事に聞こえない話です。

AIに買い物を任せたとき、いま起きやすいのは「商品が見つからない」失敗より、「家の事情を知らないまま買う」失敗です。AIは265台の売り場を数分で絞り込みます。でも、子どものスマホの動画までは気が回りません。

だから当面は、人の側が補うのが近道だと思います。私たちの検証では、「先に聞いて」の一言で、質問する返事が0回から30回に増えました。そのうえで、AIが思いつかない事情（家族の使い方、持っている機器、返品できるか）は、最初に書いてしまう。AIに頼むときの一番のコツは、家の事情を先に話すことになりそうです。

同じ62.2%でも、確かめずに買うAIと、買わずに終わるAIがいました。これは優劣というより性格の違いです。

いつもの洗剤の補充なら、少し早とちりでも買ってくれるAIが便利です。10万円のテレビなら、止まってくれるAIのほうがありがたい。合う商品がない場面で1回も買わなかったAIと、3分の2で買ったAIがいる以上（各6回の小さな試験ですが）、これからは合格率だけでなく、失敗の向きでAIを選ぶ時代が来ると見ています。

ネットで物を売る会社にとっては、もう1つ気になる点があります。AIの失敗の1つが、「商品ページに書かれていない項目を、たぶん大丈夫と扱う」ことでした。対応する規格、返品の日数、設置の条件。書いていない情報は、AIには存在しないのと同じか、都合よく読まれるかのどちらかです。

Yahoo!ショッピングでAI経由の取扱高が約2割という数字を見ると、これは数年先の話ではありません。商品ページの読み手に、人だけでなくAIが加わった。まずは自社の主力商品のページで、聞かれそうな条件が書いてあるかを確かめるところから始められます。