按年被提到
20162016 · 3 次2026
物理与量子›计算的物理极限·arXiv:1606.06737 · cond-mat.dis-nn

Criticality in Formal Languages and Statistical Physics

形式语言与统计物理中的临界性
Henry W. Lin, Max Tegmark · 2016

证明互信息在正则文法中指数衰减,在上下文无关文法中可幂律衰减

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-07-13 · 最近 2016-10-11
3不同的人
3活跃月份
3讨论串
45被引(OpenAlex)

证明两个符号之间的互信息随间隔符号数的变化,在任何概率正则文法中呈指数衰减,而在上下文无关文法中可以按幂律衰减。这一形式语言结论与经典统计力学中“低于二维无相变”的结果密切相关,也与湍流和宇宙暴胀中通过递归生成过程出现幂律关联有联系,作者还讨论其对训练循环神经网络等机器学习任务的潜在应用,并引入“有理互信息”这一量。

HN 为什么提它

讨论 Tegmark 关于物理与深度学习的讲座时,评论者引用它来解释马尔可夫链的记忆为何衰减,以及讲座所依据的论文。

实证研究难度 5 / 5约 50 分钟经得起时间
读之前最好知道
1互信息与信息论
2形式语言与文法(正则、上下文无关)
3统计力学与相变
4马尔可夫链

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用clickok · 2016-09

“Lin & Tegmark offer details in the paper, but it comes from the fact that the singular values of the transition matrix are all less than or equal to one”

引用它解释马尔可夫链记忆衰减,源于转移矩阵奇异值不超过 1
iGAN – Deep learning software that generates images with a few brushstrokes原评论 ↗
引用throwaway000002 · 2016-10

“He comments on the video linking to two papers on arXiv which relate to the material in the lecture: [OTHER_PAPER] and Criticality in Formal Languages and Statistical Physics”

指出它是 Tegmark 讲座中关联的两篇 arXiv 论文之一
[MIT Lecture] Connections between physics and deep learning原评论 ↗
被提交为 story · 1 次