按年被提到
20212022 · 2 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2103.05247 · cs.LG

Pretrained Transformers as Universal Computation Engines

预训练 Transformer 作为通用计算引擎
Kevin Lu, Aditya Grover, Pieter Abbeel, Igor Mordatch · 2021

冻结语言预训练的 Transformer 主体,仅微调少量参数即可处理非语言任务

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-03-16 · 最近 2025-06-30
4不同的人
4活跃月份
4讨论串
95被引(OpenAlex)

论文研究在自然语言上预训练的 Transformer 能否在极少微调下泛化到其他模态,特别是不微调残差块中的自注意力和前馈层。作者称这种模型为冻结预训练 Transformer(FPT),在数值计算、视觉和蛋白质折叠预测等序列分类任务上微调,发现语言预训练也能提升非语言任务的性能和计算效率。他们还对比了随机初始化的 Transformer 与随机 LSTM,综合两点结论认为语言预训练的 Transformer 能在多种非语言任务上取得强劲表现。

HN 为什么提它

HN 评论用它说明大模型的趋势是多语言、多模态、多任务,冻结的预训练语言模型可以当作跨任务的通用计算引擎。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构
2预训练与微调(fine-tuning)
3自注意力与前馈层
4序列分类任务

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer、BERT、GPT-3 和 ViT 的背景,再看单一模型处理多模态的尝试,最后读冻结预训练 Transformer 的迁移实验。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    FPT 的主体是 Transformer,其自注意力与前馈层正是被冻结的部分。

    读多头自注意力、前馈层和残差块的结构。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    代表语言预训练加下游微调的范式,目标论文与之对比。

    读预训练加微调的流程,以及同模态迁移。

  3. 3
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    说明大规模语言预训练的通用性,是跨模态迁移的动机。

    读少样本能力与语言模型的通用性。

  4. 4
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    展示纯 Transformer 可以处理图像,FPT 的视觉任务与此相关。

    读图像切块并作为 token 序列输入的做法。

  5. 5
    One Model To Learn Them All一个模型学会所有任务 · 2017

    单个模型处理多种模态和任务,是目标论文要对照的相关工作。

    读单模型联合处理图像、翻译和语音的设计。

  6. 6
    Pretrained Transformers as Universal Computation Engines预训练 Transformer 作为通用计算引擎 · 2021 · 就是这篇

    目标论文:冻结语言预训练 Transformer 的主体,只微调少量参数。

    读FPT 的冻结方式与可微调部分,以及在数值计算、视觉和蛋白质任务上的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用visarga · 2022-01

“The trend now is to make them multi language, multi modal, multi task, multi memory ([1] and this paper)”

用它说明趋势:模型走向多语言、多模态、多任务、多记忆
WebGPT: Browser-assisted question-answering with human feedback原评论 ↗
被提交为 story · 3 次