引用winterismute · 2022-01
“for example [1] shows that models such as ResNeXt already perform better on a very different architecture such as Graphcore, for some sizes of convolutions.”
引它说明部分卷积尺寸下 ResNeXt 在 Graphcore 上表现更好
用自制微基准剖析 Graphcore IPU 的内存、互连与算力
报告用专门编写的微基准测试剖析 Graphcore 面向 AI/ML 的大规模并行芯片 IPU,研究其内存组织与性能、片上和片外互连在点对点与多种集合通信下的延迟与带宽,并评估矩阵乘、卷积等原语的算力,与理论极限对比。结果揭示了架构设计如何影响性能,并给出可根据计算与通信步骤预测应用性能的简单心智模型。
HN 评论者引用它说明非 GPU 架构的加速器(如 Graphcore)在某些卷积规模下表现更好,以及美国之外也可能出现更快的加速器。
候选中只有同类的微基准剖析研究与目标论文方法直接相关,其余多为通用网络模型,不构成理解 IPU 架构的前置知识。
同样用微基准剖析处理器架构,方法论上是目标论文的范本。
读如何设计微基准测量延迟、带宽和存储层级;与 IPU 的结构差异。
目标论文:用自制微基准剖析 IPU 的内存、互连与算力。
读片上存储组织、互连带宽与集合通信的测量结果。
“for example [1] shows that models such as ResNeXt already perform better on a very different architecture such as Graphcore, for some sizes of convolutions.”
“Or potentially faster accelerators from countries outside the US [4]?”