引用godelski · 2024-11
“[0] Mission”
仅把它作为参考来源列出,未加评价
GPT-2难以学会合成的“不可能语言”,质疑乔姆斯基观点
乔姆斯基等人称大语言模型学习人类可学与不可学语言的能力相当,但缺乏实验证据。作者通过对英语数据系统性地改写词序和语法规则,构造出一系列难度不同的合成“不可能语言”,从随机、不可逆的词序打乱到基于词位置计数的规则。对 GPT-2 small 的评估(包括训练各阶段)显示,它学这些语言比学英语对照组更吃力,这对上述核心主张提出了挑战。
摘录只是一条无评价的引用,没有具体依据;只知道多位用户在不同月份引用它,大致用于讨论 LLM 能否学会人类不可能学会的语言。
“[0] Mission”