按年被提到
20242024 · 7 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2408.02442 · cs.CL

Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

让我自由说话?格式限制对大语言模型性能影响的研究
Zhi Rui Tam, Cheng-Kuang Wu, Yi-Lin Tsai, Chieh-Yen Lin, Hung-yi Lee, Yun-Nung Chen · 2024

发现强制 JSON 等结构化输出格式会明显削弱 LLM 的推理能力

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2024-08-07 · 最近 2026-10-26
9不同的人
5活跃月份
10讨论串
40被引(OpenAlex)

论文研究 JSON、XML 等标准化格式的结构化生成是否会影响 LLM 的推理和领域知识理解能力。作者在多种常见任务上对比模型在被限制遵守结构化格式与自由生成时的表现,意外地观察到在格式限制下 LLM 的推理能力显著下降;并且格式约束越严格,推理任务上的性能下降通常越大。

HN 为什么提它

HN 上的人在讨论强制 JSON 输出或受限解码时引用它,作为格式限制可能降低推理质量的证据,同时也有人提醒结果与具体模型等因素有关。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型与提示
2结构化输出(JSON/XML)与受限解码
3推理基准(如 GSM8K)
4思维链(Chain-of-Thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用blackcat201 · 2024-08

“our recent work[0] actually found it may cause some performance degradation as well as possible reasoning weakening in JSON”

引用自己的工作:JSON 格式限制可能降低性能、削弱推理
Structured Outputs in the API原评论 ↗
引用xiaofei_ · 2024-09

“Research Paper, is on maintaining the model’s accuracy while producing structured outputs.”

说明这篇论文启发了自己关于结构化输出保持准确率的研究
Show HN: Best Practices for Using Structured Output from LLMs原评论 ↗
引用visarga · 2025-09

“Furthermore, we find that stricter format constraints generally lead to greater performance degradation in reasoning tasks.”

引其发现:格式约束越严,推理任务性能下降越大
Sampling and structured outputs in LLMs原评论 ↗
引用martinald · 2026-08

“I'm not sure how true this is, but when using "forced" json output it def had a big drop off in quality - Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models.”

引它佐证强制 JSON 输出会明显降低质量,但自己不确定是否属实
Why does Opus 5 feel worse to work with?原评论 ↗
引用jesdo · 2026-10

“There is work that suggests that constrained decoding can negatively affect model quality, but this depends on many factors, among which the model in question [1, 2, 3].”

引它说明受限解码可能损害模型质量,但取决于多种因素
Fixing Tool-Call Accuracy in vLLM原评论 ↗
被提交为 story · 5 次