按年被提到
20222022 · 4 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2201.04600 · cs.LG

Deep Symbolic Regression for Recurrent Sequences

面向递推序列的深度符号回归
Stéphane d'Ascoli, Pierre-Alexandre Kamienny, Guillaume Lample, François Charton · 2022

训练 Transformer 从整数或浮点序列推断其递推关系

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-01-30 · 最近 2022-03-29
3不同的人
3活跃月份
3讨论串
32被引(OpenAlex)

训练 Transformer 去推断整数或浮点数序列背后的函数或递推关系,这类任务常见于人类智商测试,却很少被机器学习研究触及。整数模型在 OEIS 序列的一个子集上优于 Mathematica 内置的递推预测函数;浮点模型能为 bessel0(x) 和 1.644934(π²/6)这类函数与常数给出有信息量的近似。

HN 为什么提它

评论者认为它表明 Transformer 能学会数学任务、符号问题也能用深度学习攻克,并指出其数字的 token 化方式有助于泛化到没见过的数。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1Transformer
2符号回归(symbolic regression)
3整数序列与递推关系(OEIS)
4序列到序列建模

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ShamelessC · 2022-01

“Pretty cool stuff. Refreshing to see symbolic problems being tackled with deep learning.”

赞这项工作,很高兴看到深度学习用于符号问题
Deep symbolic regression for recurrent sequences原评论 ↗
推荐Isinlor · 2022-02

“Take a look at this paper:”

推荐一看:符号回归模型的 embedding 编码了数字的大小顺序
I asked GPT-NeoX-20B a hundred arithmetic questions原评论 ↗
引用Isinlor · 2022-02

“Both of these models can generalize to numbers it have not seen.”

指出符号回归 Transformer 能泛化到训练中没见过的数字
I asked GPT-NeoX-20B a hundred arithmetic questions原评论 ↗
引用Veedrac · 2022-03

“Transformers are certainly capable of learning mathematical tasks; consider [1] as an example, which uses big but regular token lengths.”

举例说明 Transformer 能学数学任务,用的是长但规整的 token
GPT-3 can run code原评论 ↗