按年被提到
20172018 · 4 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:1711.04574 · cs.NE

Learning Explanatory Rules from Noisy Data

从噪声数据中学习可解释的规则
Richard Evans, Edward Grefenstette · 2017

可微分归纳逻辑编程:用反向传播学规则,既抗噪又能接神经网络

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-11-15 · 最近 2021-09-12
3不同的人
9活跃月份
10讨论串
422被引(OpenAlex)

论文提出可微分归纳逻辑(Differentiable Inductive Logic)框架,既能解决传统归纳逻辑编程(ILP)擅长的任务,又对训练数据中的噪声和错误具有传统 ILP 难以应对的鲁棒性。由于它通过针对似然目标的反向传播训练,还可与神经网络相连,处理像原始像素这类含糊的非符号数据,同时保持数据效率和神经网络自身难以达到的泛化能力。

HN 为什么提它

HN 上的人常把它作为 DeepMind 神经 ILP、神经符号混合推理的例子来引用,也用它讨论 ILP 凭借背景知识降低样本复杂度;有评论者认为其“ILP 无法处理噪声数据”的断言明显有误。

方法难度 4 / 5约 90 分钟经得起时间
读之前最好知道
1归纳逻辑编程(Inductive Logic Programming)
2一阶逻辑与逻辑程序
3反向传播与神经网络
4可微分编程

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看神经网络学习算法和程序的早期尝试,再看可微解释器与程序归纳语言,理解 dILP 要在抗噪和可解释之间解决什么问题。

  1. 1
    Learning to Execute学习执行 · 2014

    早期尝试让神经网络学习执行程序,展示了纯神经方法的局限。

    读字符级读程序并输出结果的任务,以及课程学习的作用。

  2. 2
    Neural Turing Machines神经图灵机 · 2014

    可微外部记忆让网络学会简单算法,是神经程序归纳的起点。

    读读写头的寻址机制(内容寻址与位置寻址);复制和排序实验。

  3. 3
    Programming with a Differentiable Forth Interpreter用可微分的 Forth 解释器编程 · 2016

    把程序草图做成可微解释器,和 dILP 同属可微程序归纳一类。

    读程序草图中空位由数据训练的思路,以及可微 Forth 机器的结构。

  4. 4
    TerpreT: A Probabilistic Programming Language for Program InductionTerpreT:用于程序归纳的概率编程语言 · 2016

    比较各种程序归纳的推断算法,其中包含基于梯度的路线。

    读TerpreT 把程序归纳写成概率编程的方式,以及不同后端的比较结论。

  5. 5
    Learning Explanatory Rules from Noisy Data从噪声数据中学习可解释的规则 · 2017 · 就是这篇

    目标论文:用可微分的归纳逻辑编程从噪声数据中学规则。

    读可微推理的构造、用反向传播学习子句权重,以及抗噪实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评YeGoblynQueenne · 2018-06

“their assertion that ILP can't address noisy or ambiguous data is plainly wrong”

批评其断言 ILP 无法处理噪声或模糊数据,称这明显是错的
AI Nationalism原评论 ↗
引用YeGoblynQueenne · 2018-08

“For a slightly more impartial opinion, here's a DeepMind paper that performs neural ILP: [LINK]”

贴出 DeepMind 的神经 ILP 论文,作为更中立的看法
NLP’s generalization problem, and how researchers are tackling it原评论 ↗
引用omeze · 2018-12

“An example of such an approach taken with success is given at the end: Learning Explanatory Rules from Noisy Data”

举它为例,说明混合推理方法确有成功案例
The deepest problem with deep learning原评论 ↗
引用YeGoblynQueenne · 2019-01

“As a source of this claim I always quote this DeepMind paper where Metagol is compared to the authors' own system”

引用其中 Metagol 与作者自家系统的对比,作为 ILP 样本效率高的依据
More Data Is Not Better and Machine Learning Is a Grind原评论 ↗
引用YeGoblynQueenne · 2019-01

“This is one of the theories learned by the δILP system for the less-than relation between images of numbers, taken from the pdf version of the paper [1].”

展示 δILP 系统从数字图像学到的“小于”关系理论
Can Gradient Boosting Learn Simple Arithmetic?原评论 ↗
引用YeGoblynQueenne · 2019-06

“For an example, see this paper by a couple of people at DeepMind:”

举 DeepMind 的这篇论文为例
An Explicitly Relational Neural Network Architecture原评论 ↗
看全部 8 条 →
引用YeGoblynQueenne · 2020-11

“Learning Explanatory Rules from Noisy Data by DeepMind, which also uses metarules.”

提到 DeepMind 这个同样使用 metarules 的系统
AI Expert Roadmap原评论 ↗
引用YeGoblynQueenne · 2021-09

“So the work described in the paper basically benefits from ILP's ability to use background knowlede to reduce sample complexity.”

指出论文受益于 ILP 用背景知识降低样本复杂度的能力
Interpretable Model-Based Hierarchical RL Using Inductive Logic Programming原评论 ↗
被提交为 story · 2 次