“Nice paper with a queer terminological twist: "Monarchical Setting. [...] In this setting, there is a hierarchy among the agents, where the VQA agents act as subordinates of the Leader and the Organizer. Subordinates only respond to questions asked by the Organizer, without the right to contribute to the final decision-making." "Democratic Setting. An a…”
Mindstorms in Natural Language-Based Societies of Mind
让 LLM 与多模态专家组成自然语言“心智社会”,靠头脑风暴协作解题。
受 Minsky 的“心智社会”和 Schmidhuber 的“学会思考”启发,设想由大型多模态神经网络组成的社会,通过彼此“采访”的“头脑风暴”(mindstorm)来解决问题。当前实现由 LLM 与其他神经网络专家经自然语言接口通信,克服单个 LLM 的局限,改进多模态零样本推理,且新成员可模块化地加入。作者搭建了多个成员数最多达 129 个的此类社会,用于视觉问答、图像描述、文生图、3D 生成、第一人称检索、具身 AI 等任务,并讨论了社会结构(君主制还是民主制)等新研究问题。
输入里没有评论摘录,只能确定它在 3 个不同月份被 3 个人提到;从摘要看,它与 HuggingGPT 一类“多个模型通过自然语言协作”的多智能体思路相近。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径从大模型的少样本和思维链能力出发,经过多智能体与生成式智能体,再到多模态专家,最后读「心智社会」的头脑风暴框架。
- 1
NLSOM 里的智能体大多是 LLM,靠提示中的示例工作,这是少样本提示的出处。
读in-context learning 与 few-shot prompting 的概念;不必细读各基准结果。
- 2
「头脑风暴」本质上是多个模型用自然语言逐步推理、互相提问,思维链是其基础。
读思维链提示的构造方式,以及推理能力随模型规模出现的结论。
- 3
Schmidhuber 参与本文,他对深度学习前史的综述有助于理解「learning to think」的思想背景。
读与序列处理、循环网络和学习如何思考相关的部分;整体略读即可。
- 4
带记忆、反思和规划的 LLM 智能体社会,是 NLSOM 的一个具体实现范例。
读智能体架构(记忆流、反思、规划)以及多智能体交互涌现的行为。
- 5
多个 LLM 智能体分角色聊天协作完成任务,与 NLSOM 的社会式协作直接对应。
读角色分工与聊天链的设计,以及协作流程如何组织。
- 6
NLSOM 中的多模态专家(如图文模型)需要 CLIP 这类视觉语言模型作为感知基础。
读图文对比预训练与零样本分类的思路;细节可略读。
- 7Mindstorms in Natural Language-Based Societies of Mind
目标论文:用自然语言接口把 LLM 和多模态专家组成「心智社会」,靠头脑风暴协作解题。
读NLSOM 的组织结构、不同任务下的协作方式,以及对社会规模和结构的讨论。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)- Mindstorms in Natural Language-Based Societies of Mind ↗beefman · 2023-05-30 · 1 分
- Mindstorms in Natural Language-Based Societies of Mind ↗sebg · 2023-12-29 · 3 分
- Mindstorms in Natural Language-Based Societies of Mind ↗carlsborg · 2025-09-22 · 1 分