“The trend now is to make them multi language, multi modal, multi task, multi memory ([1] and this paper)”
按年被提到
20212022 · 2 次2026
Pretrained Transformers as Universal Computation Engines
预训练 Transformer 作为通用计算引擎
Kevin Lu, Aditya Grover, Pieter Abbeel, Igor Mordatch · 2021
冻结语言预训练的 Transformer 主体,仅微调少量参数即可处理非语言任务
被提及 · 4 人首次 2021-03-16 · 最近 2025-06-30
4不同的人
4活跃月份
4讨论串
95被引(OpenAlex)
论文研究在自然语言上预训练的 Transformer 能否在极少微调下泛化到其他模态,特别是不微调残差块中的自注意力和前馈层。作者称这种模型为冻结预训练 Transformer(FPT),在数值计算、视觉和蛋白质折叠预测等序列分类任务上微调,发现语言预训练也能提升非语言任务的性能和计算效率。他们还对比了随机初始化的 Transformer 与随机 LSTM,综合两点结论认为语言预训练的 Transformer 能在多种非语言任务上取得强劲表现。
HN 为什么提它
HN 评论用它说明大模型的趋势是多语言、多模态、多任务,冻结的预训练语言模型可以当作跨任务的通用计算引擎。
实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构
2预训练与微调(fine-tuning)
3自注意力与前馈层
4序列分类任务
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立 Transformer、BERT、GPT-3 和 ViT 的背景,再看单一模型处理多模态的尝试,最后读冻结预训练 Transformer 的迁移实验。
- 1
- 2
代表语言预训练加下游微调的范式,目标论文与之对比。
读预训练加微调的流程,以及同模态迁移。
- 3
- 4
展示纯 Transformer 可以处理图像,FPT 的视觉任务与此相关。
读图像切块并作为 token 序列输入的做法。
- 5
- 6Pretrained Transformers as Universal Computation Engines
目标论文:冻结语言预训练 Transformer 的主体,只微调少量参数。
读FPT 的冻结方式与可微调部分,以及在数值计算、视觉和蛋白质任务上的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用visarga · 2022-01
用它说明趋势:模型走向多语言、多模态、多任务、多记忆
被提交为 story · 3 次
- Pretrained Transformers as Universal Computation Engines ↗jonbaer · 2021-03-16 · 3 分
- Pretrained Transformers As Universal Computation Engines (2021) ↗optimalsolver · 2022-05-13 · 3 分
- Pretrained Transformers as Universal Computation Engines ↗bilsbie · 2025-06-30 · 2 分