按年被提到
20192020 · 4 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1903.03129 · cs.DC

SLIDE : In Defense of Smart Algorithms over Hardware Acceleration for Large-Scale Deep Learning Systems

SLIDE:为大规模深度学习系统中的智能算法而非硬件加速辩护
Beidi Chen, Tharun Medini, James Farwell, Sameh Gobriel, Charlie Tai, Anshumali Shrivastava · 2019

SLIDE:用哈希稀疏化与多核并行,让 CPU 训练超过 GPU

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2019-03-11 · 最近 2025-02-18
10不同的人
8活跃月份
10讨论串
62被引(OpenAlex)

针对专用硬件昂贵且难以泛化的问题,提出 SLIDE(Sub-LInear Deep learning Engine),把智能随机化算法与多核并行和负载优化结合,大幅减少训练和推理中的计算。在工业规模的推荐数据集和大型全连接网络上,44 核 CPU 上的 SLIDE 训练比 Tesla V100 上的 TensorFlow 快 3.5 倍以上(1 小时对 3.5 小时),在同一 CPU 上比 TensorFlow 快 10 倍以上。

HN 为什么提它

HN 上的人把它当作「用哈希稀疏化在 CPU 上训练神经网络、替代硬件加速」的代表,有人觉得它优于其他方案,也有人说这条路线后来没有流行起来。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1全连接神经网络的训练
2局部敏感哈希(locality-sensitive hashing)
3稀疏计算与自适应 dropout
4多核 CPU 并行

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mlthoughts2018 · 2020-12

“SLIDE seems way, way superior to any of the listed solutions or approaches, as far as I could tell on a first read through.”

初读后认为 SLIDE 远胜所列的其他方案
Researchers propose faster, more efficient alternatives to backpropagation原评论 ↗
推荐rajnathani · 2022-02

“For CPUs: Check out SLIDE from 2019: SLIDE”

推荐 2019 年的 SLIDE,作为 CPU 上训练的方案
Two sparsities are better than one: Performance of sparse-sparse networks原评论 ↗
引用cztomsik · 2020-03

“No idea, it was probably sponsored by them but the concept should be the same for AMD and others too.”

认为这类 CPU 智能算法的思路同样适用于 AMD 等其他硬件
Deep Learning Breakthrough Sees One Xeon Destroying 8x Nvidia Tesla V100 GPUs原评论 ↗
引用exegete · 2021-04

“The paper I linked above was the first paper of which this is supposed to be an improvement.”

指出它是后来这项改进工作所基于的第一篇论文
CPU-based algorithm trains deep neural nets up to 15 times faster than top GPU原评论 ↗
引用guywhocodes · 2021-04

“EDIT: orginial work afaik SLIDE”

补充说就所知这是稀疏哈希加速训练的原始工作
CPU-based algorithm trains deep neural nets up to 15 times faster than top GPU原评论 ↗
引用rajnathani · 2021-08

“Sparse neural networks can be optimized by implementing them using Locality Sensitive Hashing (2019 paper): SLIDE”

引用它说明稀疏神经网络可借助 LSH 来优化
pHash – An open source perceptual hash library (2013)原评论 ↗
看全部 7 条 →
引用joe_the_user · 2025-02

“This never took off.”

评论 LSH 替代神经网络的思路后来没有流行起来
(Ab)using general search algorithms on dynamic optimization problems (2023)原评论 ↗
被提交为 story · 4 次