引用elwypea · 2023-10
“Even with Google level resources, TPU support for pytorch is patchy.”
拿它说明 ML 软件跨硬件移植性很差,连 Google 也只做到 TPU 上的 PyTorch 支持不完善
量化ML框架跨硬件的可移植性,部分功能迁移后丢失超四成
作者对主流机器学习框架在不同硬件上的可移植性做了大规模研究,结果是框架迁移到其他硬件时可能丢失 40% 以上的关键函数;即使函数可移植,性能下降也可能严重到无法使用。结论是偏离少数软硬件组合的代价很高,硬件专用化会阻碍机器学习研究的创新。
HN 评论者用它佐证“ML 软件在不同硬件间的可移植性很差”,例如 PyTorch 对 TPU 的支持不完整,PyTorch 代码在 TPU 上多半变慢。
“Even with Google level resources, TPU support for pytorch is patchy.”
“the slowdown that the vast majority of pytorch codebases experience on TPU's”
“there was a thorough comparison done by Cohere and they published their paper The Grand Illusion”
“There are good 1p [a] and 3p [b] benchmarks comparing TPUs vs NVIDIA GPUs.”