“worked out very well for the Meena chatbot recently:”
Towards a Human-like Open-Domain Chatbot
26 亿参数 Meena 与 SSA 指标:困惑度越低,对话越像人
论文介绍 Meena:一个 26 亿参数、在公开社交媒体对话上端到端训练、只最小化下一个 token 困惑度的多轮开放域聊天机器人。作者提出人类评估指标 SSA(合理性与具体性平均),发现困惑度与 SSA 强相关;多轮评估下 Meena 得到 72% SSA,加上过滤和解码调优的完整版达到 79%,比所比较的现有聊天机器人绝对高出 23 个百分点。
评论者把它当作谷歌早期(2020 年)的聊天机器人研究来引用,例如说明用学习到的排序模型从多个候选中挑最优回复的做法,以及讨论其对话训练数据来源。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解序列到序列和 Transformer 这两块模型基础,再看神经对话模型与小冰等聊天机器人的前作,以及采样解码,最后读 Meena 与 SSA 指标。
- 1
对话生成的端到端序列到序列框架来自这里。
读理解编码器-解码器 LSTM 的基本结构,不用看翻译实验细节。
- 2
- 3
Meena 的主体是 Transformer(Evolved Transformer)架构,需要先懂 Transformer。
读抓住自注意力和多头注意力的概念;跳过翻译实验。
- 4
讨论解码策略对文本质量的影响,与 Meena 的采样解码相关。
读理解似然最大化解码的退化问题,以及 top-p 核采样的做法。
- 5
小冰是以长期互动为目标的社交聊天机器人,与 Meena 的纯端到端路线形成对照。
读了解其系统架构和以对话轮数为目标的优化,对比 Meena 只最小化困惑度。
- 6Towards a Human-like Open-Domain Chatbot
目标论文:26 亿参数端到端聊天机器人 Meena,并提出 SSA 人工评估指标。
读看 SSA(合理性与具体性)的定义、困惑度与 SSA 的相关性分析,以及模型训练数据设定。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“There's a datasheet that points to prior work Towards a Human-like Open-Domain Chatbot, which sounds like it could be reddit, HN, or a similar platform?”
“2020 chat bot: Towards a Human-like Open-Domain Chatbot”
- Towards a Human-Like Open-Domain Chatbot ↗ArtWomb · 2020-01-29 · 1 分
- Towards a Human-Like Open-Domain Chatbot ↗panarky · 2020-01-30 · 3 分
- Towards a Human-Like Open-Domain Chatbot ↗godelmachine · 2020-10-19 · 1 分