Visa Agentic Commerce Benchmark — 全球首个AI购物代理标准化评测22个模型42.8%失败率(11-05发布)

3天前更新 16 0 0

Visa 11月5日发布Agentic Commerce Benchmark:22个AI模型来自12家实验室接受15个购物场景标准化测试,总通过率57.2%,最佳Gemini和Muse约82%、Claude 76%、OpenAI 64%。54%的失败运行仍完成购买——代理推荐了不符合需求的商品或未…

收录时间:
2026-11-12
Visa Agentic Commerce Benchmark — 全球首个AI购物代理标准化评测22个模型42.8%失败率(11-05发布)Visa Agentic Commerce Benchmark — 全球首个AI购物代理标准化评测22个模型42.8%失败率(11-05发布)

AI 代理会买东西了,但靠谱吗?Visa 给了第一把尺子

2026年11月5日,Visa 发布了全球首个 AI 购物代理标准化评测基准——Agentic Commerce Benchmark。15个贴近真实的购物场景(买电视、笔记本电脑、个人护理电器等),22个来自12家 AI 实验室的模型参加测试。结果:总通过率 57.2%,最好的达到82.2%,最差的只有28.9%。更值得关注的数字是:54%的失败运行仍然完成了购买——AI 代理要么推荐了不符合客户需求的商品,要么没问清楚需求就下单。Visa 全球增长主管 Rubail Birwadker 表示,AI 代理可以驱动商业的下一个时代,但信任是关键。

核心发现

  • 测试方法:模拟消费者与 AI 代理对话,代理需要通过提问识别消费者需求(包括消费者没主动说的隐藏需求)。如果目录中没有合适商品,正确答案是”不买”。每个模型有3次尝试机会。
  • 排名:Google Gemini 和 Meta Muse 并列第一(约82%),Anthropic Claude 第三(76%),OpenAI 第六(64%)。
  • 一致性挑战:三次尝试全部通过的比例只有34.2%——即使通过了的模型,重复测试时也可能失败。
  • 成本相关:最贵的5个模型平均通过率67.1%,最便宜的5个为50.2%。
  • 54%失败仍购买:代理的问题不在于”不能浏览商店或点击结账按钮”,而在于”该停下来问的时候没问,该说不的时候没说”。

适用场景与价格

Visa Agentic Commerce Benchmark 对消费者开放测试(消费者可以自己体验 AI 代理的购物能力),同时面向 AI 模型提供商共享基准数据用于改进。Visa 计划将测试扩展至结账、支付和下单环节。对跨境卖家来说,这个基准是一个信号:AI 代理购物正在从实验走向标准化评估,你的商品数据和结账体验能不能让 AI 代理”买对”,正在成为新的竞争维度。

推荐理由

Visa 9月发布的信任指数显示,72%的美国消费者使用过 AI 助手,但只有23%信任 AI 代替自己处理支付。57.2%的通过率和54%的失败仍购买——这两个数字放在一起,说明 AI 代理购物”能用但还不可靠”。对跨境卖家而言,这意味着现在正是建立”AI 代理友好”商品数据和结账体验的窗口期——等所有代理都靠谱了再准备,就晚了。

关注公众号「宝藏号」,获取更多跨境电商工具测评和选品攻略!每日更新最新跨境AI工具,助你轻松出海掘金 💎

数据统计

相关导航

暂无评论

none
暂无评论...