“SLIDE seems way, way superior to any of the listed solutions or approaches, as far as I could tell on a first read through.”
按年被提到
20192020 · 4 次2026
SLIDE : In Defense of Smart Algorithms over Hardware Acceleration for Large-Scale Deep Learning Systems
SLIDE:为大规模深度学习系统中的智能算法而非硬件加速辩护
Beidi Chen, Tharun Medini, James Farwell, Sameh Gobriel, Charlie Tai, Anshumali Shrivastava · 2019
SLIDE:用哈希稀疏化与多核并行,让 CPU 训练超过 GPU
被推荐 · 10 人首次 2019-03-11 · 最近 2025-02-18
10不同的人
8活跃月份
10讨论串
62被引(OpenAlex)
针对专用硬件昂贵且难以泛化的问题,提出 SLIDE(Sub-LInear Deep learning Engine),把智能随机化算法与多核并行和负载优化结合,大幅减少训练和推理中的计算。在工业规模的推荐数据集和大型全连接网络上,44 核 CPU 上的 SLIDE 训练比 Tesla V100 上的 TensorFlow 快 3.5 倍以上(1 小时对 3.5 小时),在同一 CPU 上比 TensorFlow 快 10 倍以上。
HN 为什么提它
HN 上的人把它当作「用哈希稀疏化在 CPU 上训练神经网络、替代硬件加速」的代表,有人觉得它优于其他方案,也有人说这条路线后来没有流行起来。
方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1全连接神经网络的训练
2局部敏感哈希(locality-sensitive hashing)
3稀疏计算与自适应 dropout
4多核 CPU 并行
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐mlthoughts2018 · 2020-12
初读后认为 SLIDE 远胜所列的其他方案
推荐rajnathani · 2022-02
“For CPUs: Check out SLIDE from 2019: SLIDE”
推荐 2019 年的 SLIDE,作为 CPU 上训练的方案
引用cztomsik · 2020-03
“No idea, it was probably sponsored by them but the concept should be the same for AMD and others too.”
认为这类 CPU 智能算法的思路同样适用于 AMD 等其他硬件
引用exegete · 2021-04
“The paper I linked above was the first paper of which this is supposed to be an improvement.”
指出它是后来这项改进工作所基于的第一篇论文
引用guywhocodes · 2021-04
“EDIT: orginial work afaik SLIDE”
补充说就所知这是稀疏哈希加速训练的原始工作
引用rajnathani · 2021-08
“Sparse neural networks can be optimized by implementing them using Locality Sensitive Hashing (2019 paper): SLIDE”
引用它说明稀疏神经网络可借助 LSH 来优化
看全部 7 条 →
引用joe_the_user · 2025-02
“This never took off.”
评论 LSH 替代神经网络的思路后来没有流行起来
被提交为 story · 4 次
- In Defense of Smart Algorithms over Hardware Acceleration for Deep Learning ↗snaky · 2019-03-11 · 18 分
- Slide: In Defense of Smart Algorithms over Hardware Accelerated Deep Learning ↗signa11 · 2020-03-05 · 2 分
- Smart Algorithms beat Hardware Acceleration for Large-Scale Deep Learning ↗rkwasny · 2020-03-06 · 355 分
- In Defense of Smart Algorithms over Hardware Acceleration for Large-Scale AI ↗gone35 · 2025-01-04 · 2 分