按年被提到
20222023 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2209.01188 · cs.LG

Petals: Collaborative Inference and Fine-tuning of Large Models

Petals:大模型的协作式推理与微调
Alexander Borzunov, Dmitry Baranchuk, Tim Dettmers, Max Ryabinin, Younes Belkada, Artem Chumachenko, Pavel Samygin, Colin Raffel · 2022

多方共享显卡,在消费级 GPU 上协作运行并微调千亿级模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2023-01-02 · 最近 2026-07-19发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
6不同的人
4活跃月份
6讨论串
52被引(OpenAlex)

论文针对 100B 以上参数的大语言模型对高端硬件的需求,提出 Petals:联合多方资源协作进行大模型推理和微调。RAM 卸载对交互式推理太慢,托管 API 又不够灵活,无法访问权重、注意力或 logits。作者展示在极大模型上这一策略优于卸载,可在消费级 GPU 上运行 BLOOM-176B 推理,速度约每秒 1 步,足够许多交互式应用。与多数推理 API 不同,Petals 原生暴露所服务模型的隐藏状态,可基于高效微调方法训练并共享自定义模型扩展。

HN 为什么提它

HN 上的人把它当作分布式运行大模型的有实际结果的工作,也引用它测得的 RAM 卸载速度极限来说明单机卸载为何不够快。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 与大语言模型推理
2模型并行与流水线并行
3参数高效微调(如 LoRA、prompt tuning)
4分布式系统基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐joaogui1 · 2023-01

“This initiative is getting some pretty good practical results Petals, taking a look at their citations should lead you to other examples in the field.”

推荐它,实际效果不错,可顺着其引用找到更多例子
Ask HN: Can you crowdfund the compute for GPT?原评论 ↗
推荐zavrel · 2023-03

“There was great work last year on distributed training and inference:”

推荐它,是去年分布式训练与推理方面的出色工作
The Most Cited AI Papers in 2022原评论 ↗
引用taink · 2023-01

“It's mentioned in their paper: Petals”

指出论文里提过把 LLM 参数卸载到内存或 SSD,并给出 BLOOM-176B 的延迟数字
Petals: Run 100B+ language models at home bit-torrent style原评论 ↗
引用borzunov · 2023-01

“See details in our paper: Petals”

指向论文里卸载速度的基准测试与 Petals 实测性能
Petals: Run 100B+ language models at home bit-torrent style原评论 ↗
引用borzunov · 2023-02

“our measurements [1] show that even the theoretically-best RAM offloading setup”

引自己的实测说明即使理论最佳的内存卸载方案也有限制
Running large language models like ChatGPT on a single GPU原评论 ↗
被提交为 story · 2 次