按年被提到
20222022 · 9 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2201.08239 · cs.CL

LaMDA: Language Models for Dialog Applications

LaMDA:面向对话应用的语言模型
Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee 等 60 人 · 2022

1370 亿参数的对话专用 Transformer,通过微调和外部工具提升安全与事实性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2022-01-24 · 最近 2023-03-09
9不同的人
8活跃月份
10讨论串
1,359被引(OpenAlex)

论文介绍 LaMDA:一族专用于对话的基于 Transformer 的神经语言模型,参数最多 1370 亿,在 1.56 万亿词的公开对话数据和网页文本上预训练。仅靠扩大规模难以改善安全性和事实依据,作者展示用标注数据微调,并让模型查询外部知识源(检索系统、翻译器、计算器),可显著改善这两个难题;他们用基于人类价值观的指标衡量安全性,用 groundedness 指标衡量事实性,并探索了 LaMDA 在教育和内容推荐领域的应用。

HN 为什么提它

HN 上的人在讨论 LLM 是否有感知、能否可靠使用计算器等外部工具,以及训练成本时引用它,例如角色扮演珠穆朗玛峰的例子和 1024 块 TPUv3 预训练两个月。

方法难度 3 / 5约 90 分钟有时效性
读之前最好知道
1Transformer 与大语言模型预训练
2对话系统基础
3微调与人工标注数据
4信息检索与工具调用

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用edouard-harris · 2022-02

“is trained to consult a calculator for arithmetic questions and consistently succeeds at it.”

指出 LaMDA 被训练去调用计算器处理算术,且总能成功
I asked GPT-NeoX-20B a hundred arithmetic questions原评论 ↗
引用edouard-harris · 2022-05

“We can do whatever we want in vision, more or less [2].”

引用它说明曾被认为很难的 AI 问题最近取得进展
DeepMind: A Generalist Agent原评论 ↗
引用andreyk · 2022-06

“The paper has an example of LaMDA thinking it is mount everest (see Table 4) when prompted to think that.”

指出论文 Table 4 中 LaMDA 被提示后会认为自己是珠穆朗玛峰
LaMDA is not sentient原评论 ↗
引用WaffleIronMaker · 2022-06

“Note that, when told to be Mt. Everest, it pretends to be the mountain in a way that is just as convincing: LaMDA”

指出被要求扮演珠峰时,LaMDA 同样逼真地假装成这座山
Is LaMDA Sentient? – An Interview [pdf]原评论 ↗
引用GalahiSimtam · 2022-06

“as for your question, LaMDA states 2 months of 1024 TPUv3 for a pre-training, and TPUv3 isn't even the most recent TPU hardware”

引用论文数据回答问题:预训练用了 1024 块 TPUv3 两个月
Google Engineer on His Sentient AI Claim原评论 ↗
引用groar · 2022-09

“I guess it's probably something along the lines of "LaMDA: Language Models for Dialog Applications" (see LaMDA )”

猜测所指大概就是这篇 LaMDA 对话应用语言模型论文
Character.ai原评论 ↗
看全部 10 条 →
引用groar · 2022-09

“The three first authors are part of the Character.ai team.”

指出该论文前三位作者属于 Character.ai 团队
Character.ai原评论 ↗
引用theptip · 2022-12

“Google’s model LaMDA has a system for detecting and avoiding false info, it’s interesting:”

指出 LaMDA 有检测并避免虚假信息的机制,值得一看
ChatGPT produces made-up nonexistent references原评论 ↗
引用touringa · 2023-02

“they were very clear in the LaMDA 2 paper that they only used public sources.”

指出 LaMDA 论文明确说只使用了公开来源的数据
Ask HN: Does Google use the text inside gdocs and Gmail for training AI models?原评论 ↗
引用advisedwang · 2023-03

“2022 LaMDA: LaMDA”

把 LaMDA 列入 Google 聊天机器人论文清单
Google internally developed chatbots like ChatGPT years ago原评论 ↗
被提交为 story · 1 次