引用pms · 2023-03
“I wished more parameters gave a generalizable solution, but research suggests”
引它说明研究表明单靠增加参数并不能带来可泛化的解决办法
事实问答准确率与预训练数据中相关文档数量紧密相关
论文通过对预训练数据做实体链接,统计含有与某问答对相同实体的文档数,发现语言模型回答事实性问题的能力与预训练中见过的相关文档数量有很强的相关与因果关系,这在多个问答数据集(如 TriviaQA)、预训练语料(如 ROOTS)和模型规模(如 176B 参数)上都成立。更大的模型更擅长学习长尾知识,但作者估计要在支持很少的问题上达到有竞争力的表现,还需要把模型再放大许多个数量级;检索增强可以降低对预训练信息的依赖。
评论者引用它说明单靠增加参数并不能带来可泛化的解法,模型对罕见知识的掌握仍受制于训练数据。
“I wished more parameters gave a generalizable solution, but research suggests”