按年被提到
20232023 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2308.13449 · cs.CL

The Poison of Alignment

对齐的毒药
Aibek Bekbayev, Sungbae Chun, Yerzat Dulat, James Yamazaki · 2023

指令微调数据里的拒答式对齐会拉低模型推理成绩

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-08-29 · 最近 2025-01-29
5不同的人
3活跃月份
5讨论串
3被引(OpenAlex)

论文观察到,OpenAssistant、Guanaco 等开源指令微调数据集里含有让模型拒绝某些输入的“对齐”回答,作者认为这些回答像是在给指令数据集下毒。实验表明,含对齐回答的数据微调出的模型,在 BBH、MMLU、HumanEval、DROP 等推理基准上,比去掉对齐数据后微调的对照模型低 4% 到 33%。

HN 为什么提它

摘录很少:HN 评论者借它说明过滤掉对齐(拒答)数据后模型结果质量更好,并提到有人认为未加对齐的模型表现更强。

实证研究难度 2 / 5约 20 分钟有时效性
读之前最好知道
1指令微调(instruction tuning)
2大语言模型的对齐与安全
3MMLU、BBH 等评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用paulmd · 2024-06

“and it turns out this also increases the quality of the results”

拿它说明对齐过滤反而提高了输出质量
Cost of self hosting Llama-3 8B-Instruct原评论 ↗
引用benreesman · 2025-01

“Operator-aligned models are believed by many to be more performant.”

引用它讨论对齐对模型性能的影响,许多人认为经运营方对齐的模型更强
DeepSeek's Hidden Bias: How We Cut It by 76% Without Performance Loss原评论 ↗
被提交为 story · 3 次