推荐lossolo · 2023-12
“A few more interesting papers not mentioned in the article:”
补充推荐几篇文章未提到的论文,它从下一个 token 训练目标解释 LLM 的行为
从下一词预测目标出发解释 LLM 为何在低概率任务上失败
论文主张要理解 LLM,应当考虑它被训练去解决的问题,即对互联网文本做下一词预测。由此提出目的论方法,推断任务概率、目标输出概率和输入概率会影响 LLM 的准确率,即使在确定性任务中也是如此。作者在 GPT-3.5 和 GPT-4 上评测了十一项任务,证实了这种影响,例如 GPT-4 解码简单密码时,输出为高概率词序列时准确率为 51%,低概率时仅 13%。
HN 上的人在争论 LLM 能否推理时,常把它与其他论文一起列为 LLM 不是真正的问题求解器、会在低概率情形失败的实证证据。
“A few more interesting papers not mentioned in the article:”
“They are “general purpose” but not at all “problem solvers” Embers of Autoregression”
“If after reading papers below that show empirically”
“Here, a few papers that show”
“Here are papers showing that these models can't reason:”