推荐danielmarkbruce · 2026-09
“Both are good reads.”
推荐 Tulu 3,称这两篇都值得一读,Allen 研究所开放的后训练配方
完全开放的后训练配方,含数据、代码与 RLVR 方法
论文发布 Tulu 3 系列完全开放的后训练模型,基于 Llama 3.1 基座,同时公开数据、代码和训练配方,作为现代后训练技术的完整指南。训练流程包括监督微调(SFT)、直接偏好优化(DPO)和新提出的可验证奖励强化学习(RLVR),并给出带开发集与未见评测集的多任务评估方案及对现有数据集的去污染。作者称其结果超过 Llama 3.1、Qwen 2.5、Mistral 的 instruct 版本,乃至 GPT-4o-mini 和 Claude 3.5 Haiku,并讨论了未能稳定提升性能的做法。
评论者把它当作开放后训练配方的代表读物,并引用它提出的 RLVR(可验证奖励强化学习)。
“Both are good reads.”
“as described in Lambert et al[1]”