按年被提到
20232024 · 8 次2026
强化学习与智能体›大模型智能体·arXiv:2310.17567 · cs.CL

Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models

Skill-Mix:灵活可扩展的 AI 模型评测
Dingli Yu, Simran Kaur, Arushi Gupta, Jonah Brown-Cohen, Anirudh Goyal, Sanjeev Arora · 2023

随机抽取 k 项技能,考察 LLM 组合技能的能力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2024-01-22 · 最近 2024-04-06
3不同的人
4活跃月份
7讨论串
10被引(OpenAlex)

提出 Skill-Mix 评测:从 N 项技能中反复随机抽取 k 项,要求 LLM 写出同时体现这些技能的文本;子集数量约按 N^k 增长,因此输出几乎必然不同于训练集中的文本。论文给出设计与实施方法,并用 GPT-4 与 LLaMA-2 70B 自动评分(辅以人工抽检)。结果显示模型间存在榜单排名未能反映的差距,且概率估算表明 GPT-4 在 k=5 的表现已超出“随机鹦鹉”式行为。

HN 为什么提它

评论者引用它说明 GPT-4 能组合训练中很少见到的技能组合,用来反驳“LLM 只是在死记训练数据”的看法。

实证研究难度 3 / 5约 50 分钟有时效性
读之前最好知道
1大语言模型与基准评测
2LLM 评分(LLM-as-judge)
3基础组合数学与概率
4“随机鹦鹉”(stochastic parrot)之争

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐visarga · 2024-01

“then we better read this very recent paper and accompanying benchmark that sheds light on the inner workings of task compositionality for LLMs.”

推荐读这篇新论文和配套基准,它揭示 LLM 任务组合能力的内部机制
Meta-Learning Is All You Need (2020)原评论 ↗
推荐visarga · 2024-02

“The interesting part is how they demonstrate that”

推荐它有趣之处在于论证了模型能处理训练中没见过的 5 技能组合
Building an early warning system for LLM-aided biological threat creation原评论 ↗
引用svat · 2024-01

“Another paper (linked from the article) is Skill-Mix”

给出 Quanta 文章链接的另一篇论文,作为研究来源
New theory suggests LLMs can understand text原评论 ↗
引用svat · 2024-01

“The relevant papers appear to be [OTHER_PAPER] and Skill-Mix”

指出相关论文是这两篇,其中 LLM 技能组合的随机图模型被 Hinton 称为严谨
New theory suggests LLMs can understand text原评论 ↗
引用visarga · 2024-02

“Here is a paper demonstrating that GPT-4 can combine up to 5 skills from a set of 100, effectively covering 100^5 tuples of skills, while only seeing much fewer combinations in training on a specific topic.”

引用它说明 GPT-4 能组合 100 项技能中的至多 5 项,而训练中见过的组合少得多
LLaVA-1.6: Improved reasoning, OCR, and world knowledge原评论 ↗
引用visarga · 2024-03

“Maybe the Skill Mix paper is relevant here.”

提示 Skill-Mix 论文可能相关,它测试技能组合,GPT-4 能泛化到训练之外的组合
Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking原评论 ↗
看全部 7 条 →
引用visarga · 2024-04

“The Skill-Mix paper shows how this can work.”

拿它说明这种做法如何奏效:随机抽取技能组合来生成多样的评测样例
AI and the Problem of Knowledge Collapse原评论 ↗
被提交为 story · 1 次