按年被提到
20212022 · 3 次2026
算法与数据结构›经典算法与数据结构·arXiv:2106.10860 · cs.LG

Multiplying Matrices Without Multiplying

不做乘法的矩阵乘法
Davis Blalock, John Guttag · 2021

用学习得到的哈希与查表近似矩阵乘法,比精确乘法快约 100 倍

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2021-06-23 · 最近 2023-11-21
5不同的人
4活跃月份
4讨论串
26被引(OpenAlex)

论文提出一种基于学习的近似矩阵乘法算法,在来自不同领域的数百个矩阵上的实验里,往往比精确矩阵乘快 100 倍,比现有近似方法快 10 倍。当其中一个矩阵事先已知(常见情形)时,该方法还有一个有趣的性质:不需要任何乘加运算。作者认为,其核心运算哈希、平均与字节混洗的组合,可能比近年受到大量研究和硬件投入的稀疏化、分解和标量量化矩阵乘更有前景。

HN 为什么提它

HN 评论者围绕它的后续工作 MADDNESS 展开讨论,作者本人也在评论里说明速度提升在矩阵冗余越多时越大,并称方法大幅超过稀疏截断 PCA 基线。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1矩阵乘法与近似计算
2乘积量化(product quantization)
3哈希与最近邻检索
4SIMD / 字节混洗指令

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用cgreerrun · 2022-06

“Maddness is their more recent work and yields 100x speedups: Multiplying Matrices Without Multiplying”

指出 Maddness 是他们更新的工作,称有 100 倍加速
Bolt: Faster matrix and vector operations that run on compressed data原评论 ↗
引用ffast-math · 2022-06

“We characterize this for various problems in the paper, but tl;dr is that it speeds things up more at a given level of error when there's more redundancy in your matrices.”

说明矩阵冗余越多,相同误差下加速越明显
Bolt: Faster matrix and vector operations that run on compressed data原评论 ↗
引用ffast-math · 2022-06

“We beat it by a lot (see the paper [1])”

称该方法大幅超过稀疏截断 PCA 基线
Bolt: Faster matrix and vector operations that run on compressed data原评论 ↗
引用joennlae · 2023-11

“has been done in the preceding paper: Multiplying Matrices Without Multiplying”

指出此前这篇论文已做过与简单近似矩阵乘法的对比
Show HN: Stella Nera – Maddness Hardware Accelerator原评论 ↗
被提交为 story · 2 次