“The agreement between GPT-4 and humans reaches 85%, which is even higher than the agreement among humans (81%).”
按年被提到
20232023 · 2 次2026
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
用 MT-Bench 与 Chatbot Arena 评判 LLM-as-a-Judge
Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez 等 13 人 · 2023
验证强 LLM 当裁判与人类偏好一致率超 80%,并提出 MT-Bench
被提及 · 6 人首次 2023-07-27 · 最近 2025-06-26
6不同的人
6活跃月份
6讨论串
2,778被引(OpenAlex)
论文研究用强 LLM 当裁判评估聊天助手的做法,分析位置偏差、冗长偏差、自我偏好偏差以及推理能力有限等局限,并提出缓解办法。作者推出多轮问题集 MT-bench 和众包对战平台 Chatbot Arena,发现 GPT-4 等强裁判与人类偏好的一致率超过 80%,与人类之间的一致水平相当,说明 LLM 裁判是近似人类偏好的可扩展方法。
HN 为什么提它
评论者用它的数字(GPT-4 与人类一致率约 85%,高于人类之间的 81%)说明 LLM 评审可信,并指出它已是此后 LLM 评测论文的事实标准做法。
实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型与聊天助手
2人类偏好评测与一致率
3评审偏差(位置、冗长、自我偏好)
4基准(benchmark)设计
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用letmevoteplease · 2023-07
引用数字:GPT-4 与人类的一致率达 85%,高于人类之间的 81%
引用joewferrara · 2023-10
“Some research also agrees that using LLMs as an evaluator for natural language tasks gives similar results to using human evaluators Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.”
引作证据:用 LLM 做评估与人类评估者结果相近
引用gaborcselle · 2024-08
“which is an based on the ideas in this paper”
指出某个项目基于这篇论文的思路,用评判模型挑出最佳回答
引用meander_water · 2025-04
“For better or worse this has become the defacto standard in LLM Evaluation research papers since the LLM as a Judge paper [0] came out.”
指出自这篇论文起,LLM 当评委成了评估研究的事实标准
引用Herring · 2025-06
“They basically achieve over 80% agreement with human evaluators [1].”
引用它:LLM 评委与人类评估者的一致率超过 80%
被提交为 story · 1 次
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena ↗tosh · 2024-04-04 · 1 分