按年被提到
20242024 · 5 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2401.06416 · cs.CL

Mission: Impossible Language Models

不可能的任务:不可能语言模型
Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts · 2024

GPT-2难以学会合成的“不可能语言”,质疑乔姆斯基观点

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-01-16 · 最近 2024-11-30发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
5不同的人
3活跃月份
5讨论串
23被引(OpenAlex)

乔姆斯基等人称大语言模型学习人类可学与不可学语言的能力相当,但缺乏实验证据。作者通过对英语数据系统性地改写词序和语法规则,构造出一系列难度不同的合成“不可能语言”,从随机、不可逆的词序打乱到基于词位置计数的规则。对 GPT-2 small 的评估(包括训练各阶段)显示,它学这些语言比学英语对照组更吃力,这对上述核心主张提出了挑战。

HN 为什么提它

摘录只是一条无评价的引用,没有具体依据;只知道多位用户在不同月份引用它,大致用于讨论 LLM 能否学会人类不可能学会的语言。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1语言模型的训练与困惑度(perplexity)
2乔姆斯基语言学与生成语法
3GPT-2 架构
4句法与词序的基本概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用godelski · 2024-11

“[0] Mission”

仅把它作为参考来源列出,未加评价
A statistical approach to model evaluations原评论 ↗
被提交为 story · 4 次