引用paulmd · 2024-06
“and it turns out this also increases the quality of the results”
拿它说明对齐过滤反而提高了输出质量
指令微调数据里的拒答式对齐会拉低模型推理成绩
论文观察到,OpenAssistant、Guanaco 等开源指令微调数据集里含有让模型拒绝某些输入的“对齐”回答,作者认为这些回答像是在给指令数据集下毒。实验表明,含对齐回答的数据微调出的模型,在 BBH、MMLU、HumanEval、DROP 等推理基准上,比去掉对齐数据后微调的对照模型低 4% 到 33%。
摘录很少:HN 评论者借它说明过滤掉对齐(拒答)数据后模型结果质量更好,并提到有人认为未加对齐的模型表现更强。
“and it turns out this also increases the quality of the results”
“Operator-aligned models are believed by many to be more performant.”