按年被提到
20222023 · 2 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2211.05102 · cs.LG

Efficiently Scaling Transformer Inference

高效扩展 Transformer 推理
Reiner Pope, Sholto Douglas, Aakanksha Chowdhery, Jacob Devlin, James Bradbury, Anselm Levskaya, Jonathan Heek, Kefan Xiao, Shivani Agrawal, Jeff Dean · 2022

用解析模型选择多维分区方案,让 540B 大模型在 TPU 上低延迟推理。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-06-23 · 最近 2024-02-25
3不同的人
3活跃月份
3讨论串
157被引(OpenAlex)

研究大模型、低延迟、长序列这一最难场景下的 Transformer 生成式推理效率。作者建立了一个简单的推理效率解析模型,据此为 TPU v4 切片选择最优的多维分区方案,并配合一组底层优化,在 500B+ 参数模型上取得延迟与模型 FLOPS 利用率(MFU)权衡的新 Pareto 前沿,优于 FasterTransformer。他们还表明,适当分区下多查询注意力(multiquery attention)的低内存需求可把上下文长度扩大 32 倍,在 PaLM 540B 上以 int8 权重量化实现每 token 29ms 的低批量延迟,大批量处理输入时 MFU 达 76%。

HN 为什么提它

评论者引用其中的数字(PaLM 540B 经 int8 量化低批量下每 token 29ms),并用它讨论 token 生成时加速器利用率很低、多芯片并行可降低推理延迟。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 自回归推理与 KV cache
2张量并行与多维分区(partitioning)
3加速器(TPU)的内存与带宽
4多查询注意力(multiquery attention)
5模型 FLOPS 利用率(MFU)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2023-06

“Google previously showed you could get the fullsized 540b-parameter PaLM-1 model down to "a low-batch-size latency of 29ms per token during generation (with int8 weight quantization)" Efficiently Scaling Transformer Inference.”

引它说明 Google 曾把 540B 的 PaLM 用 int8 量化压到每 token 延迟 29 ms
AudioPaLM: A Large Language Model That Can Speak and Listen原评论 ↗
引用yvn1uo · 2023-07

“The utilization of the TPU during token generation is 3% when batch size 16.”

引它说明批大小 16 时生成 token 的 TPU 利用率只有 3%
Chiplet ASIC supercomputers for LLMs like GPT-4原评论 ↗
引用deepnotderp · 2024-02

“See eg the TPU group’s paper: Efficiently Scaling Transformer Inference”

指向 TPU 团队这篇论文,说明多芯片并行能降低 Transformer 推理延迟
Groq runs Mixtral 8x7B-32k with 500 T/s原评论 ↗