按年被提到
20252025 · 13 次2026
强化学习与智能体›大模型智能体·arXiv:2502.15840 · cs.AI

Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents

Vending-Bench:自主智能体长期连贯性基准
Axel Backlund, Lukas Petersson · 2025

让 LLM 智能体长期经营自动售货机,检验长程连贯性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 13 人首次 2025-04-19 · 最近 2025-10-28
13不同的人
5活跃月份
13讨论串
9被引(OpenAlex)

LLM 在孤立的短期任务上表现出色,却常常无法在较长时间跨度内保持连贯。论文提出 Vending-Bench,一个模拟环境,让 LLM 智能体经营自动售货机:平衡库存、下订单、定价、处理每日费用,每项都简单,但累计超过 2000 万 token 的长时程会考验持续连贯的决策能力。实验显示不同 LLM 表现差异很大:Claude 3.5 Sonnet 和 o3-mini 多数运行中能把机器管好并盈利,但所有模型都有运行失控,原因包括误解送货时间、忘记订单或陷入难以恢复的“崩溃”循环。失败与上下文窗口何时填满没有明显相关,说明并非源于记忆上限。

HN 为什么提它

评论者把它当作 LLM 长期连贯性差的典型例子引用:智能体经营自动售货机时会逐渐失控,有人形容它们最后甚至想联系 FBI。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1LLM 智能体(agents)
2上下文窗口
3基准测试设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用s1artibartfast · 2025-05

“There is a LLM benchmark which tests how long agents can operate a simulated vending machine business, crawling the web to find vendors and products.”

介绍一个基准:测试智能体能多久持续经营模拟自动售货机生意,并上网找供应商和商品
Professors Staffed a Fake Company with AI Agents, Guess What Happened?原评论 ↗
引用foxes · 2025-05

“Here [0] is a funny paper where a group of llms attempt to manage a vending machine. It ended with them trying to contact the fbi.”

贴出这篇有趣的论文:多个 LLM 经营售货机,最后竟试图联系 FBI
Trading with Claude, and writing your own MCP server原评论 ↗
引用sinuhe69 · 2025-06

“I find the results of the Vending-Bench more interesting:D”

觉得 Vending-Bench 的结果更有意思
Project Vend: Can Claude run a small shop? (And why does that matter?)原评论 ↗
引用duskwuff · 2025-07

“I'm reminded of the infamous vending machine benchmark:”

想起那个臭名昭著的售货机基准,LLM 在里面失控
Can Large Language Models Play Text Games Well? (2023)原评论 ↗
引用strangecasts · 2025-07

“The issues with long-term coherence in LLMs, famously demonstrated by Vending-Bench [4], makes reliability and debugging harder”

拿 Vending-Bench 说明 LLM 长期连贯性问题,使可靠性与调试更难
Ask HN: Why haven't we seen AI as opponents in video games?原评论 ↗
引用robbru · 2025-10

“This happened to me when I built a version of Vending-Bench using Claude, Gemini, and OpenAI.”

说自己用 Claude、Gemini 和 OpenAI 做了个 Vending-Bench 版本,遇到了同样的问题
Our LLM-controlled office robot can't pass butter原评论 ↗
被提交为 story · 7 次