按年被提到
20212022 · 2 次2026
Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures
旋转语言模型:“宣传即服务”的风险与对策
Eugene Bagdasaryan, Vitaly Shmatikov · 2021
训练期攻击让模型遇到触发词时输出带倾向的文本
被提及 · 3 人首次 2021-12-28 · 最近 2022-11-23
3不同的人
3活跃月份
3讨论串
39被引(OpenAlex)
论文研究一种针对 seq2seq 模型的训练期攻击:模型只在输入含有攻击者选定的触发词时,才把输出“旋转”成攻击者想要的情感或观点,却保持原有的准确率指标,相当于一种“元后门”。作者用伪词(pseudo-words)技术实现该攻击,在生成、摘要和翻译模型上验证,并表明在供应链攻击中这种旋转能力会传递到下游模型。
HN 为什么提它
输入没有附带评论摘录,无法判断具体讨论点;只知道它被 3 位不同的人在 3 个不同月份提及。
方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1序列到序列模型(seq2seq)
2后门攻击(backdoor attack)
3词嵌入(word embedding)
4机器学习供应链安全
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立模型攻击的前置知识:数据投毒与后门的早期工作、Transformer 序列到序列模型,再回到针对语言模型的旋转(spin)攻击。
- 1
经典的训练期投毒攻击,是后门类攻击的最早脉络之一。
读攻击者如何通过篡改训练样本影响模型;理解训练期威胁模型。
- 2
BadNets 提出带触发器的后门,是目标论文所说传统后门的原型。
读触发器的植入方式,以及模型在干净输入上表现正常的特点。
- 3
- 4
针对代码补全模型的投毒,是针对序列生成模型的后门攻击先例。
读投毒如何让补全结果偏向攻击者选择的建议;与目标论文的输出操控对照。
- 5
- 6
T5 代表文本到文本的预训练模型,是被攻击的摘要等生成任务的基础。
读统一的文本到文本框架与微调方式;不必读实验细节。
- 7
展示语言模型可批量生成带倾向的假新闻,是目标论文宣传即服务风险的现实动机。
读生成模型被用于制造假新闻的威胁设定;以及对应的防御思路。
- 8Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures
目标论文:提出让模型遇到触发词时输出带倾向文本的元后门攻击。
读元后门与传统后门的区别、攻击的训练方式,以及提出的防御。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)讨论串里没有 ≥100 字的评论,只有提交记录。
被提交为 story · 3 次
- Spinning Language Models for Propaganda-as-a-Service ↗DyslexicAtheist · 2021-12-28 · 2 分
- Spinning Language Models: Risks of Propaganda-as-a-Service and Countermeasures ↗CarbonCycles · 2022-10-30 · 1 分
- Spinning Language Models ↗skilled · 2022-11-23 · 1 分