按年被提到
20112023 · 2 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1104.5466 · cs.LG

Notes on a New Philosophy of Empirical Science

关于一种新的经验科学哲学的笔记
Daniel Burfoot · 2011

主张以大规模无损数据压缩作为经验科学的方法论与哲学基础

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-07-26 · 最近 2023-08-16
3不同的人
5活跃月份
5讨论串
1被引(OpenAlex)

这本书提出一种基于大规模无损数据压缩的经验科学方法论:理论是否科学,看它能否用来构建压缩程序,价值则看它压缩标准基准数据库后的大小(计入压缩器本身的长度),因此既包含奥卡姆原则,也给出划界问题的解答。作者认为这能把计算机视觉和计算语言学重塑为经验科学,并为复杂模型提供理由:数据足够大(如 100 Gb),10 Mb 的模型也说得过去,学到的抽象之后可复用于具体学习任务。

HN 为什么提它

作者自己多次在评论里提到这本书,用来论证科学家应该关注大规模无损压缩,也有人把它当作早期以数据为先的 AI 思想来引用。

观点难度 3 / 5约 400 分钟经得起时间
读之前最好知道
1信息论与数据压缩
2奥卡姆剃刀与最小描述长度(MDL)
3机器学习中的过拟合
4科学哲学中的划界问题

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用d_burfoot · 2016-07

“I wrote a book presenting a rationale for why scientists should be deeply interested in large-scale, lossless data compression.”

介绍自己写过一本书,主张科学家应关注大规模无损数据压缩
Tom Wolfe takes on linguistics原评论 ↗
引用d_burfoot · 2017-09

“The book is available here:”

给出那本主张把数据压缩作为科学方法的书的链接
General and Surprising原评论 ↗
引用d_burfoot · 2021-03

“I wrote a book about this 10 years ago:”

指出自己十年前写过一本相关的书,主张从原始数据学习优于标注
Self-supervised learning: The dark matter of intelligence原评论 ↗
引用gwern · 2023-08

“See for example Burfoot Notes on a New Philosophy of Empirical Science”

举 Burfoot 为例,他主张以压缩为基础的经验科学哲学
Ask HN: If we train an LLM with “data” instead of “language” tokens原评论 ↗
被提交为 story · 1 次