“You might be interested in the line of work around differentiable relaxations of formal solvers”
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
把可微分 MAXSAT 求解器做成网络层,用样例学会数独
提出一个可微分(平滑化)的最大可满足性(MAXSAT)求解器层,可嵌入更大的深度学习系统。它基于求解对应半定规划(SDP)的快速坐标下降,并推导出通过 SDP 解的解析求导与高效反向传播。实验中仅用单比特监督就学会了奇偶函数,只靠样例学会了 9x9 数独,并与卷积网络结合解决了从图像到解的“视觉数独”。
有人问神经网络能否做逻辑或约束求解时,评论者把它当作“可微分松弛的形式化求解器”这一方向的代表,也有人提到它学到的权重缺乏逻辑含义。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看三条“让神经网络学会逻辑推理”的路线(可微分规则学习、SAT 求解学习、关系推理),再读 SATNet 如何把 MAXSAT 做成可微分层。
- 1
可微分归纳逻辑编程,是把符号规则学习放进反向传播的代表,SATNet 要超越这类做法。
读抓住用反向传播从样例学规则的思路,以及它对噪声数据的鲁棒性;不必深究实现细节。
- 2
NeuroSAT 用单比特监督让网络学会判定可满足性,是 SATNet 最直接的对照物。
读看它如何把 CNF 公式表示成图并做消息传递,以及只给可满足与否的单比特监督。
- 3
- 4SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
把 MAXSAT 的 SDP 松弛做成可微分层,可从样例中同时学出约束。
读抓住 SDP 松弛与坐标下降求解、解析求梯度的反向传播;数独实验看它如何学出规则。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“SATnet is an interesting paper, in this regard.”
“There are architectures with layers which can approximate MAXSAT [1] (or rather, an SDP relaxation thereof), but I doubt this is what OP was referring to.”
- SATNet: Bridging deep learning and logical reasoning with differentiable SAT ↗pizza · 2019-06-03 · 116 分