按年被提到
20232023 · 8 次2026
社会、经济与科学研究›问答社区与学术出版·arXiv:2308.02312 · cs.SE

Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions

Stack Overflow 过时了吗?ChatGPT 对 Stack Overflow 问题回答特征的实证研究
Samia Kabir, David N. Udo-Imeh, Bonan Kou, Tianyi Zhang · 2023

分析 ChatGPT 回答 517 个编程问题的正确性与风格,52% 含错误

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 10 人首次 2023-08-08 · 最近 2025-05-05
10不同的人
4活跃月份
10讨论串
192被引(OpenAlex)

论文对 ChatGPT 回答的 517 个 Stack Overflow 编程问题做了深入分析,考察正确性、一致性、全面性和简洁性,并辅以语言学分析和用户研究。结果显示 52% 的 ChatGPT 回答含有错误信息、77% 啰嗦,但用户仍有 35% 的时候偏好 ChatGPT 的回答,且有 39% 的时候没有发现其中的错误信息。

HN 为什么提它

HN 上的人引用它来说明 LLM 生成的代码和答案常含有不易察觉的错误,同时也有人指出该研究没有评估 GPT-4。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1ChatGPT 与大语言模型使用经验
2Stack Overflow 问答社区
3用户研究方法
4编程基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评tkgally · 2023-08

“For a paper released in August 2023, it’s strange that GPT-4 isn’t even mentioned.”

ChatGPT's odds of getting code questions correct are worse than a coin flip原评论 ↗
引用sigtstp · 2025-05

“[5] Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions”

引作证据:LLM 生成的代码常有隐蔽的错误
Semantic unit testing: test code without executing it原评论 ↗
被提交为 story · 8 次