按年被提到
20242025 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2411.15124 · cs.CL

Tulu 3: Pushing Frontiers in Open Language Model Post-Training

Tulu 3:推进开放语言模型后训练的前沿
Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik 等 23 人 · 2024

完全开放的后训练配方,含数据、代码与 RLVR 方法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2025-01-31 · 最近 2026-09-05
3不同的人
3活跃月份
3讨论串
216被引(OpenAlex)

论文发布 Tulu 3 系列完全开放的后训练模型,基于 Llama 3.1 基座,同时公开数据、代码和训练配方,作为现代后训练技术的完整指南。训练流程包括监督微调(SFT)、直接偏好优化(DPO)和新提出的可验证奖励强化学习(RLVR),并给出带开发集与未见评测集的多任务评估方案及对现有数据集的去污染。作者称其结果超过 Llama 3.1、Qwen 2.5、Mistral 的 instruct 版本,乃至 GPT-4o-mini 和 Claude 3.5 Haiku,并讨论了未能稳定提升性能的做法。

HN 为什么提它

评论者把它当作开放后训练配方的代表读物,并引用它提出的 RLVR(可验证奖励强化学习)。

方法难度 3 / 5约 90 分钟经得起时间
读之前最好知道
1监督微调(SFT)
2直接偏好优化(DPO)
3强化学习基础(reinforcement learning)
4LLM 评测基准与数据去污染

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐danielmarkbruce · 2026-09

“Both are good reads.”

推荐 Tulu 3,称这两篇都值得一读,Allen 研究所开放的后训练配方
“Next-token predictor” is the wrong mental model for LLMs原评论 ↗
引用miki123211 · 2025-04

“as described in Lambert et al[1]”

引它说明 RLVR:用可自动验证奖励的强化学习阶段
GPT-4.1 in the API原评论 ↗
被提交为 story · 1 次