按年被提到
20242024 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2411.07279 · cs.AI

The Surprising Effectiveness of Test-Time Training for Few-Shot Learning

测试时训练对小样本学习的惊人有效性
Ekin Akyürek, Mehul Damani, Adam Zweiger, Linlu Qiu, Han Guo, Jyothish Pari, Yoon Kim, Jacob Andreas · 2024

推理时临时更新参数,让 LM 在 ARC 等新任务上大幅提升

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-11-19 · 最近 2025-07-21
4不同的人
4活跃月份
4讨论串
31被引(OpenAlex)

论文研究测试时训练(TTT):推理时用输入数据导出的损失临时更新模型参数,以提升语言模型的推理和小样本学习能力。在 ARC 上,用上下文示例做 TTT 比微调基线准确率最高提升 6 倍,8B 模型在公开验证集上达到 53.0%,与程序合成方法集成后为 61.9%,与人类平均水平相当;在 BIG-Bench Hard 的 10-shot 设置下,也比标准 few-shot 提示高 7.3 个百分点(50.5% 到 57.8%)。

HN 为什么提它

mentions 中没有可引用的评论原话,只能确定它在不同月份被多人提到,原因无法据此判断。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1语言模型微调与参数高效微调(LoRA)
2上下文学习(in-context learning)
3ARC(Abstraction and Reasoning Corpus)
4小样本学习(few-shot learning)

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 4 次