“It showed me that a model trained only on movie subtitles data exhibited some (very primitive) reasoning.”
A Neural Conversational Model
用序列到序列模型端到端训练聊天机器人
用序列到序列框架做对话建模:模型根据前面的一句或几句话预测下一句,可端到端训练,几乎不需要手写规则。在领域数据集(IT 帮助台)上模型能通过对话给出技术问题的解决办法,在嘈杂的电影字幕数据集上展现出简单的常识推理;作者也承认模型存在缺乏一致性的失败模式,结果是初步的。
评论者把它当作 LLM 聊天机器人的早期证据:只用电影字幕训练的模型就表现出原始的推理,也有人质疑其宣称的常识推理和技术支持能力。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立循环网络生成序列、编码器-解码器和 seq2seq 端到端训练的前置知识,再看如何把它用到对话。
- 1
LSTM 逐词预测并生成序列,是对话模型解码端的基础。
读读 LSTM 做下一步预测、按条件概率逐步采样生成文本的部分,不必细读手写体合成。
- 2
最早的 RNN 编码器-解码器结构,把输入序列压成向量再解码。
读抓编码器-解码器框架和固定长度向量的表示思想;统计机器翻译的细节可略过。
- 3
神经对话模型直接沿用 seq2seq 框架,把上一句当输入、下一句当输出。
读读模型结构:两个 LSTM、输入序列反转的技巧,以及端到端训练和束搜索解码。
- 4A Neural Conversational Model
把 seq2seq 用到聊天,不依赖手写规则。
读看数据集(IT 客服、电影字幕)、示例对话,以及模型的局限(缺乏一致性)。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Read this paper from July of last year and it'll make more sense as to why this research is interesting”
“Here are 2 good papers--one from last year, one very recent--that might change your mind.”
“In 2015 Google claimed to have created a chat bot that can do common-sense reasoning and do tech support just by reading a sufficiently large dataset:”
“Edit: found it! A Neural Conversational Model”
“recent advances such as the LSTM-based paper”
看全部 7 条 →
“You can see some work that was already done in this research paper, before AlphaGo success.”
- A Neural Conversational Model [pdf] ↗sgk284 · 2015-06-22 · 105 分
- A Neural Conversational Model [pdf] ↗moyix · 2015-06-26 · 6 分
- Getting closer to 'Ex Machina' – A Neural Conversational Model by Google[pdf] ↗milkers · 2015-07-23 · 2 分