批评tkgally · 2023-08
“For a paper released in August 2023, it’s strange that GPT-4 isn’t even mentioned.”
分析 ChatGPT 回答 517 个编程问题的正确性与风格,52% 含错误
论文对 ChatGPT 回答的 517 个 Stack Overflow 编程问题做了深入分析,考察正确性、一致性、全面性和简洁性,并辅以语言学分析和用户研究。结果显示 52% 的 ChatGPT 回答含有错误信息、77% 啰嗦,但用户仍有 35% 的时候偏好 ChatGPT 的回答,且有 39% 的时候没有发现其中的错误信息。
HN 上的人引用它来说明 LLM 生成的代码和答案常含有不易察觉的错误,同时也有人指出该研究没有评估 GPT-4。
“For a paper released in August 2023, it’s strange that GPT-4 isn’t even mentioned.”
“[5] Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions”