按年被提到
20232024 · 4 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2309.07181 · cs.SE

The Grand Illusion: The Myth of Software Portability and Implications for ML Progress

巨大的幻觉:软件可移植性的神话及其对机器学习进展的影响
Fraser Mince, Dzung Dinh, Jonas Kgomo, Neil Thompson, Sara Hooker · 2023

量化ML框架跨硬件的可移植性,部分功能迁移后丢失超四成

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-09-21 · 最近 2024-09-24
5不同的人
5活跃月份
6讨论串
5被引(OpenAlex)

作者对主流机器学习框架在不同硬件上的可移植性做了大规模研究,结果是框架迁移到其他硬件时可能丢失 40% 以上的关键函数;即使函数可移植,性能下降也可能严重到无法使用。结论是偏离少数软硬件组合的代价很高,硬件专用化会阻碍机器学习研究的创新。

HN 为什么提它

HN 评论者用它佐证“ML 软件在不同硬件间的可移植性很差”,例如 PyTorch 对 TPU 的支持不完整,PyTorch 代码在 TPU 上多半变慢。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1PyTorch、JAX 等 ML 框架
2GPU 与 TPU 等 AI 加速硬件
3软件可移植性与性能基准测试

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用elwypea · 2023-10

“Even with Google level resources, TPU support for pytorch is patchy.”

拿它说明 ML 软件跨硬件移植性很差,连 Google 也只做到 TPU 上的 PyTorch 支持不完善
SiFive Rolls Out RISC-V Cores Aimed at Generative AI and ML原评论 ↗
引用nisten · 2024-01

“the slowdown that the vast majority of pytorch codebases experience on TPU's”

引用它说明多数 PyTorch 代码库在 TPU 上会变慢
Google TPU v5p beats Nvidia H100原评论 ↗
引用felarof · 2024-09

“there was a thorough comparison done by Cohere and they published their paper The Grand Illusion”

提到 Cohere 的详细对比论文,称 TPU+JAX 性能更好、容错更强
Show HN: Tune LLaMa3.1 on Google Cloud TPUs原评论 ↗
引用felarof · 2024-09

“There are good 1p [a] and 3p [b] benchmarks comparing TPUs vs NVIDIA GPUs.”

指出已有可靠的第一方和第三方基准对比 TPU 与 NVIDIA GPU
We fine-tuned Llama 405B on AMD GPUs原评论 ↗
被提交为 story · 2 次