推荐hodgehog11 · 2026-09
“It's a good list, but "alignment" is much more targetted.”
认为这份深度学习科学理论的开放问题清单不错,但 alignment 更有针对性
论证“学习力学”正在成形,梳理五类深度学习理论研究
论文主张一套深度学习的科学理论正在出现,它刻画训练过程、隐藏表示、最终权重和网络性能的重要性质与统计量。作者归纳出五类正在成长的研究:可解的理想化设定、可处理的极限、描述宏观可观测量的简单数学定律、把超参数与训练其余部分解耦的理论,以及跨系统普适行为。他们认为这套理论最好被看作学习过程的力学(learning mechanics),讨论其与统计、信息论视角及机理可解释性的关系,回应认为基础理论不可能或不重要的论调,并给出开放问题和给初学者的建议。
HN 上的人引用它作为深度学习有望出现科学理论的较乐观论证,并把其中的开放问题清单与对齐等更有针对性的问题作对照。
“It's a good list, but "alignment" is much more targetted.”
“which was discussed here recently”
“I think there's a relatively optimistic paper that was posted a while back here but I would also take it with a grain of salt.”