按年被提到
20212022 · 2 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:2112.05224 · cs.CR

Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures

旋转语言模型:“宣传即服务”的风险与对策
Eugene Bagdasaryan, Vitaly Shmatikov · 2021

训练期攻击让模型遇到触发词时输出带倾向的文本

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-12-28 · 最近 2022-11-23
3不同的人
3活跃月份
3讨论串
39被引(OpenAlex)

论文研究一种针对 seq2seq 模型的训练期攻击:模型只在输入含有攻击者选定的触发词时,才把输出“旋转”成攻击者想要的情感或观点,却保持原有的准确率指标,相当于一种“元后门”。作者用伪词(pseudo-words)技术实现该攻击,在生成、摘要和翻译模型上验证,并表明在供应链攻击中这种旋转能力会传递到下游模型。

HN 为什么提它

输入没有附带评论摘录,无法判断具体讨论点;只知道它被 3 位不同的人在 3 个不同月份提及。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1序列到序列模型(seq2seq)
2后门攻击(backdoor attack)
3词嵌入(word embedding)
4机器学习供应链安全

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立模型攻击的前置知识:数据投毒与后门的早期工作、Transformer 序列到序列模型,再回到针对语言模型的旋转(spin)攻击。

  1. 1

    经典的训练期投毒攻击,是后门类攻击的最早脉络之一。

    读攻击者如何通过篡改训练样本影响模型;理解训练期威胁模型。

  2. 2
    BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply ChainBadNets:识别机器学习模型供应链中的漏洞 · 2017

    BadNets 提出带触发器的后门,是目标论文所说传统后门的原型。

    读触发器的植入方式,以及模型在干净输入上表现正常的特点。

  3. 3

    展示在联邦学习中通过模型替换植入后门,是后门攻击的又一场景。

    读攻击者如何放大恶意更新;威胁模型的设定。

  4. 4

    针对代码补全模型的投毒,是针对序列生成模型的后门攻击先例。

    读投毒如何让补全结果偏向攻击者选择的建议;与目标论文的输出操控对照。

  5. 5
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被攻击的 seq2seq 模型基于 Transformer 架构。

    读编码器-解码器与自注意力的基本结构。

  6. 6
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    T5 代表文本到文本的预训练模型,是被攻击的摘要等生成任务的基础。

    读统一的文本到文本框架与微调方式;不必读实验细节。

  7. 7
    Defending Against Neural Fake News防御神经假新闻(Grover) · 2019

    展示语言模型可批量生成带倾向的假新闻,是目标论文宣传即服务风险的现实动机。

    读生成模型被用于制造假新闻的威胁设定;以及对应的防御思路。

  8. 8
    Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures旋转语言模型:“宣传即服务”的风险与对策 · 2021 · 就是这篇

    目标论文:提出让模型遇到触发词时输出带倾向文本的元后门攻击。

    读元后门与传统后门的区别、攻击的训练方式,以及提出的防御。

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 3 次