按年被提到
20232023 · 7 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2301.13867 · cs.LG

Mathematical Capabilities of ChatGPT

ChatGPT 的数学能力
Simon Frieder, Luca Pinchetti, Alexis Chevalier, Ryan-Rhys Griffiths, Tommaso Salvatori, Thomas Lukasiewicz, Philipp Christian Petersen, Julius Berner · 2023

用研究生级数学数据集 GHOSTS 评测 ChatGPT 与 GPT-4

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-02-04 · 最近 2023-10-16
4不同的人
5活跃月份
7讨论串
555被引(OpenAlex)

论文用公开数据集和自建数据集,测试两个版本的 ChatGPT(2023 年 1 月 9 日与 30 日)及 GPT-4 的数学能力,并发布 GHOSTS 与 miniGHOSTS 两个由在职数学研究者整理、覆盖研究生级数学的自然语言数据集。结果显示 ChatGPT 最适合充当查询事实的数学搜索引擎与知识库接口,GPT-4 还能处理本科水平,但在研究生难度上失败。作者认为总体数学表现远低于研究生水平,与媒体上关于其解题能力的正面报道(可能存在选择偏差)不符。

HN 为什么提它

多条提及来自作者本人介绍自己的这项工作,其他评论者则把它当作 ChatGPT 数学推理能力偏弱的基准证据。

实证研究难度 3 / 5约 50 分钟有时效性
读之前最好知道
1大语言模型基础(ChatGPT、GPT-4)
2研究生阶段数学(分析、代数等)
3基准数据集与评测方法
4提示工程(prompting)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sfriedr · 2023-03

“My latest one was about about engineering and LLMs about which I'm particularly excited: Mathematical Capabilities of ChatGPT.”

介绍自己最近一篇关于工程与 LLM 的项目,并表示很兴奋
Ask HN: Who wants to be hired? (March 2023)原评论 ↗
引用sfriedr · 2023-04

“My latest one was about about engineering and LLMs about which I'm particularly excited: Mathematical Capabilities of ChatGPT.”

介绍自己最近一篇关于工程与 LLM 的论文,并表示很兴奋
Ask HN: Who wants to be hired? (April 2023)原评论 ↗
引用sfriedr · 2023-04

“In February I published a paper on mathematics + ChatGPT and my colleagues, who were also on LinkedIn, told me it garnered quite a bit of attention.”

称自己 2 月发表了数学加 ChatGPT 的论文,引起了不少关注
引用sfriedr · 2023-07

“the author of [3] where we introduced one of the first natural-language datasets that test graduate mathematics for LLMs”

以作者身份介绍,他们推出了最早的测试 LLM 研究生数学的自然语言数据集之一
The Pile: a dataset for language modeling [pdf]原评论 ↗
引用nprateem · 2023-10

“Otherwise, just use grad-level maths to confuse it into giving refunds I suppose [1].”

半开玩笑地建议用研究生水平的数学把 ChatGPT 搞糊涂以骗取退款,并附上该论文
AI is replacing customer service jobs across the globe原评论 ↗
引用rvz · 2023-10

“It is known that LLMs perform incredibly worse in mathematical reasoning and understanding”

引它说明 LLM 在数学推理和理解上表现差得多
GPT-4 Understands原评论 ↗
被提交为 story · 1 次