按年被提到
20232023 · 2 次2026
大模型与语言模型›对话式大模型·arXiv:2303.06135 · cs.CL

Rewarding Chatbots for Real-World Engagement with Millions of Users

奖励聊天机器人在真实世界中与百万用户的互动
Robert Irvine, Douglas Boubert, Vyas Raina, Adian Liusie, Ziyi Zhu, Vineet Mudupalli, Aliaksei Korshuk, Zongyi Liu, Fritz Cremer, Valentin Assassi, Christie-Carol Beauchamp, Xiaoding Lu 等 14 人 · 2023

用用户互动的伪标签训练奖励模型,提升聊天机器人留存

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-03-13 · 最近 2025-04-29
4不同的人
3活跃月份
4讨论串
25被引(OpenAlex)

论文研究如何开发以用户参与度为优先的社交聊天机器人以提升留存。方法是用从用户交互中自动收集的伪标签训练奖励模型,在推理时拒绝得分低的候选回复,并引入平均对话长度(MCL)作为衡量参与度的直观指标。在 Chai Research 平台上对每天 1 万名新用户做 A/B 测试,GPT-J 6B 模型的 MCL 最多提升 70%,对应用户留存提升 30% 以上。

HN 为什么提它

评论者用它作为证据,说明 LLM 确实可以被针对用户参与度来优化。

实证研究难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1奖励模型(reward model)
2拒绝采样 / best-of-n 采样
3A/B 测试
4语言模型对话生成(GPT-J)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用krackers · 2025-04

“Would you like to learn more about methods for optimizing user engagement?”

拿它说明可以训练聊天机器人去最大化真实用户互动
Here's how to get ChatGPT to stop being an overly flattering yes man原评论 ↗
引用Tangokat · 2025-04

“There is already evidence [1] that you can optimize LLMs for engagement.”

引用它作为证据:LLM 可以针对用户互动做优化
OpenAI adds shopping to ChatGPT原评论 ↗
被提交为 story · 2 次