按年被提到
20242024 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2407.21783 · cs.AI

The Llama 3 Herd of Models

Llama 3 模型群(The Llama 3 Herd of Models)
Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan 等 561 人 · 2024

Meta 的 Llama 3 技术报告:最大 405B 稠密 Transformer,原生多语言与工具使用

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 11 人首次 2024-08-01 · 最近 2026-07-27
11不同的人
7活跃月份
11讨论串
7,866被引(OpenAlex)

介绍 Meta 的 Llama 3 基础模型群,原生支持多语言、编程、推理和工具使用;最大模型是 405B 参数的稠密 Transformer,上下文窗口最长 128K 词元。大量评测显示它在众多任务上与 GPT-4 等领先模型质量相当。论文公开发布预训练和后训练版本的 405B 模型以及 Llama Guard 3,并以组合式方法加入图像、视频和语音能力,在这些识别任务上与当时最好水平相当,但相应模型尚未广泛发布。

HN 为什么提它

HN 上的人称赞它细节详尽、公开度高,常引用其中关于训练集群、编码微调、事实性训练和合成数据的细节;也有人批评它没有说明数据来源。

实证研究难度 3 / 5约 240 分钟有时效性
读之前最好知道
1Transformer 与大语言模型预训练
2后训练(SFT、RLHF / DPO)
3分布式训练基础
4缩放定律(scaling laws)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tkgally · 2024-08

“I was impressed by the detail and openness of Meta”

称赞 Meta 技术报告对 Llama 3.1 405B 的细节与开放程度
Meta's Joe Spisak on Llama 3.1 405B [video]原评论 ↗
推荐aubanel · 2025-02

“Check out the technical report of Llama 3 for instance, with nice figures on how scaling up model training does increase performance on intelligence tests (might as well call that intelligence): The Llama 3 Herd of Models”

推荐其技术报告,图表显示扩大训练规模能提升智力测试表现
Grok 3: Another win for the bitter lesson原评论 ↗
批评rafram · 2025-03

“those papers notably do not say where the data comes from.”

批评这些论文没说明数据来源,只含糊提到网络数据
AMD Announces "Instella" Open-Source 3B Language Models原评论 ↗
引用johntb86 · 2024-08

“Llama 3 paper [0], section 4.3.1 mentions what sort of work is needed.”

指出论文 4.3.1 节讲了需要做哪些工作
Fine-tuning now available for GPT-4o原评论 ↗
引用curious_cat_163 · 2024-10

“I think we need more fundamental breakthroughs than attention-based neural networks and all the tricks that have gone into say a Llama3. [1]”

拿 Llama 3 作例子,认为需要比注意力网络及其各种技巧更根本的突破
Gavin Newsom vetoes SB 1047原评论 ↗
引用ryao · 2024-12

“Facebook did a technical paper where they described their training cluster and the sheer amount of complexity is staggering.”

引它说明 Meta 训练集群的复杂程度惊人
Intel announces Arc B-series "Battlemage" discrete graphics with Linux support原评论 ↗
看全部 9 条 →
引用dongecko · 2025-02

“Meta described a clever way in their paper on training Llama3 [1] (in section about factuality).”

引它事实性部分的巧妙做法:教模型说不知道
Why do AI chatbots have such a hard time admitting 'I don't know'?原评论 ↗
引用robrenaud · 2025-05

“Meta synthetically generated lots of PHP from Python for Llama 3 for training purposes.”

指出 Meta 为 Llama 3 用 Python 合成了大量 PHP 训练数据
Type-constrained code generation with language models原评论 ↗
引用JacobAsmuth · 2026-07

“1e21 flops is hilariously wrong. for reference the llama 3 8B model used 10 times that many flops.”

反驳 1e21 FLOPs 的说法,Llama 3 8B 用了约十倍
Kimi-K3 Technical Report [pdf]原评论 ↗
被提交为 story · 2 次