按年被提到
20232023 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2306.05685 · cs.CL

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

用 MT-Bench 与 Chatbot Arena 评判 LLM-as-a-Judge
Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez 等 13 人 · 2023

验证强 LLM 当裁判与人类偏好一致率超 80%,并提出 MT-Bench

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-07-27 · 最近 2025-06-26
6不同的人
6活跃月份
6讨论串
2,778被引(OpenAlex)

论文研究用强 LLM 当裁判评估聊天助手的做法,分析位置偏差、冗长偏差、自我偏好偏差以及推理能力有限等局限,并提出缓解办法。作者推出多轮问题集 MT-bench 和众包对战平台 Chatbot Arena,发现 GPT-4 等强裁判与人类偏好的一致率超过 80%,与人类之间的一致水平相当,说明 LLM 裁判是近似人类偏好的可扩展方法。

HN 为什么提它

评论者用它的数字(GPT-4 与人类一致率约 85%,高于人类之间的 81%)说明 LLM 评审可信,并指出它已是此后 LLM 评测论文的事实标准做法。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型与聊天助手
2人类偏好评测与一致率
3评审偏差(位置、冗长、自我偏好)
4基准(benchmark)设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用letmevoteplease · 2023-07

“The agreement between GPT-4 and humans reaches 85%, which is even higher than the agreement among humans (81%).”

引用数字:GPT-4 与人类的一致率达 85%,高于人类之间的 81%
LLaMA2 Chat 70B outperformed ChatGPT原评论 ↗
引用joewferrara · 2023-10

“Some research also agrees that using LLMs as an evaluator for natural language tasks gives similar results to using human evaluators Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.”

引作证据:用 LLM 做评估与人类评估者结果相近
Show HN: Tonic Validate Metrics – an open-source RAG evaluation metrics package原评论 ↗
引用gaborcselle · 2024-08

“which is an based on the ideas in this paper”

指出某个项目基于这篇论文的思路,用评判模型挑出最佳回答
Show HN: I built Choosy Chat to get the best answer between GPT, Claude, Gemini原评论 ↗
引用meander_water · 2025-04

“For better or worse this has become the defacto standard in LLM Evaluation research papers since the LLM as a Judge paper [0] came out.”

指出自这篇论文起,LLM 当评委成了评估研究的事实标准
Chain of Recursive Thoughts: Make AI think harder by making it argue with itself原评论 ↗
引用Herring · 2025-06

“They basically achieve over 80% agreement with human evaluators [1].”

引用它:LLM 评委与人类评估者的一致率超过 80%
LLM code generation may lead to an erosion of trust原评论 ↗
被提交为 story · 1 次