引用artembugara · 2024-09
“Atlas replicated a Berkeley paper [1] that showed LLMs could make predictions as accurate as the crowd.”
指出 Atlas 复现了伯克利这篇论文:LLM 的预测可与群体一样准
检索增强的 LM 系统预测事件,接近人类竞猜群体的聚合水平
论文构建了一个检索增强的语言模型系统,能自动检索信息、生成并聚合预测,并从竞争性预测平台收集了大规模问题集。在模型知识截止日期之后发布的测试集上,该系统平均接近人类预测者的群体聚合结果,在部分设定下超过它。
有评论者把它当作证据,说明 LLM 能做出和人群预测同样准确的预测,用来支持自己做的预测产品。
“Atlas replicated a Berkeley paper [1] that showed LLMs could make predictions as accurate as the crowd.”