按年被提到
20242026 · 3 次2026
大模型与语言模型›对话式大模型·arXiv:2410.00037 · eess.AS

Moshi: a speech-text foundation model for real-time dialogue

Moshi:面向实时对话的语音-文本基础模型
Alexandre Défossez, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, Neil Zeghidour · 2024

首个实时全双工语音对话大模型,延迟约200毫秒

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-01-06 · 最近 2026-07-08
5不同的人
4活跃月份
5讨论串
116被引(OpenAlex)

传统语音对话由语音活动检测、识别、文本对话、语音合成等独立组件串联,延迟高、丢失情绪等非语言信息,也无法处理重叠和打断。Moshi 把对话看作语音到语音的生成:以文本语言模型为骨干,生成神经音频编解码器残差量化器的语音 token,并把自己和用户的语音建模为并行流,从而无需显式说话轮次。其“Inner Monologue”方法先预测与音频对齐的文本 token 作为前缀,显著提升语言质量,也可用于流式识别和合成;模型理论延迟 160 毫秒,实际约 200 毫秒。

HN 为什么提它

HN 评论者把它当作全双工实时语音对话的开创者来引用,希望能在本地设备上跑端到端语音模型,也有人指向论文第 4.2 节了解训练音频如何转写。

方法难度 4 / 5约 90 分钟经得起时间
读之前最好知道
1神经音频编解码器与残差向量量化
2Transformer 语言模型
3语音识别与语音合成
4全双工对话与轮次转换

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tmzt · 2025-01

“A full speech-to-speech model [1] working on an M1 Mac would be incredible.”

借它设想完整的语音到语音模型能在 M1 Mac 上运行
Apple squandered the Holy Grail原评论 ↗
引用vvolhejn · 2025-10

“See Section 4.2 in the Moshi paper: Moshi”

指向论文 4.2 节,了解训练音频如何转写
Neural audio codecs: how to get audio into LLMs原评论 ↗
引用navanchauhan · 2026-03

“which aims to address this problem by allowing the model to listen and generate audio at the same time.”

说明它让模型同时听和生成音频,以解决这个问题
Ask HN: Who is hiring? (March 2026)原评论 ↗
引用rockwotj · 2026-03

“I think the full duplex mode that Moshi pioneered is probably where the puck is going to end up: Moshi”

认为 Moshi 开创的全双工模式可能是未来方向
Show HN: I built a sub-500ms latency voice agent from scratch原评论 ↗
引用quotemstr · 2026-07

“and of course Moshi.”

把 Moshi 当作对话智能体的例子之一
GPT‑Live原评论 ↗