按年被提到
20202020 · 4 次2026
大模型与语言模型›对话式大模型·arXiv:2001.09977 · cs.CL

Towards a Human-like Open-Domain Chatbot

迈向类人的开放域聊天机器人
Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, Quoc V. Le · 2020

26 亿参数 Meena 与 SSA 指标:困惑度越低,对话越像人

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2020-01-29 · 最近 2023-03-09
6不同的人
5活跃月份
6讨论串
865被引(OpenAlex)

论文介绍 Meena:一个 26 亿参数、在公开社交媒体对话上端到端训练、只最小化下一个 token 困惑度的多轮开放域聊天机器人。作者提出人类评估指标 SSA(合理性与具体性平均),发现困惑度与 SSA 强相关;多轮评估下 Meena 得到 72% SSA,加上过滤和解码调优的完整版达到 79%,比所比较的现有聊天机器人绝对高出 23 个百分点。

HN 为什么提它

评论者把它当作谷歌早期(2020 年)的聊天机器人研究来引用,例如说明用学习到的排序模型从多个候选中挑最优回复的做法,以及讨论其对话训练数据来源。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 架构与语言模型
2困惑度(perplexity)
3序列到序列对话模型
4人类评估方法

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解序列到序列和 Transformer 这两块模型基础,再看神经对话模型与小冰等聊天机器人的前作,以及采样解码,最后读 Meena 与 SSA 指标。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    对话生成的端到端序列到序列框架来自这里。

    读理解编码器-解码器 LSTM 的基本结构,不用看翻译实验细节。

  2. 2
    A Neural Conversational Model神经对话模型 · 2015

    最早把序列到序列模型直接用于聊天机器人,是 Meena 路线的前身。

    读看端到端训练对话、困惑度作为指标以及模型常见的缺陷样例。

  3. 3
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Meena 的主体是 Transformer(Evolved Transformer)架构,需要先懂 Transformer。

    读抓住自注意力和多头注意力的概念;跳过翻译实验。

  4. 4
    The Curious Case of Neural Text Degeneration神经文本退化的奇特案例(核采样) · 2019

    讨论解码策略对文本质量的影响,与 Meena 的采样解码相关。

    读理解似然最大化解码的退化问题,以及 top-p 核采样的做法。

  5. 5
    The Design and Implementation of XiaoIce, an Empathetic Social Chatbot小冰的设计与实现:一个有共情能力的社交聊天机器人 · 2018

    小冰是以长期互动为目标的社交聊天机器人,与 Meena 的纯端到端路线形成对照。

    读了解其系统架构和以对话轮数为目标的优化,对比 Meena 只最小化困惑度。

  6. 6
    Towards a Human-like Open-Domain Chatbot迈向类人的开放域聊天机器人 · 2020 · 就是这篇

    目标论文:26 亿参数端到端聊天机器人 Meena,并提出 SSA 人工评估指标。

    读看 SSA(合理性与具体性)的定义、困惑度与 SSA 的相关性分析,以及模型训练数据设定。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2020-04

“worked out very well for the Meena chatbot recently:”

举 Meena 为例,说明用学习模型挑选最佳候选的 ranker 做法很有效
Generating MIDI Music with GPT-2原评论 ↗
引用nickvincent · 2022-04

“There's a datasheet that points to prior work Towards a Human-like Open-Domain Chatbot, which sounds like it could be reddit, HN, or a similar platform?”

指出数据表指向相关前作,猜测聊天数据可能来自 reddit 或 HN
Pathways Language Model (PaLM): Scaling to 540B parameters原评论 ↗
引用advisedwang · 2023-03

“2020 chat bot: Towards a Human-like Open-Domain Chatbot”

在 Google 早期工作清单中列出这个 2020 年聊天机器人
Google internally developed chatbots like ChatGPT years ago原评论 ↗
被提交为 story · 3 次