按年被提到
20242024 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2404.14219 · cs.CL

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

Phi-3 技术报告:可在手机本地运行的高性能语言模型
Marah Abdin, Jyoti Aneja, Hany Awadalla, Ahmed Awadallah, Ammar Ahmad Awan, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Jianmin Bao, Harkirat Behl, Alon Benhaim, Misha Bilenko 等 129 人 · 2024

3.8B 参数的 phi-3-mini 在手机上运行,性能比肩 GPT-3.5 级模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-04-23 · 最近 2024-11-16
4不同的人
3活跃月份
4讨论串
970被引(OpenAlex)

报告介绍了 phi-3-mini(3.8B 参数,3.3 万亿 token 训练),在学术基准和内部测试上可与 Mixtral 8x7B 和 GPT-3.5 相当(MMLU 69%,MT-bench 8.38),体积小到能在手机上部署。训练数据是经过大量过滤的公开网页数据加合成数据的放大版,并做了安全与对话格式对齐。报告还给出 phi-3-small、phi-3-medium,以及 phi-3.5 系列的 mini、MoE 与 Vision 模型。

HN 为什么提它

评论者引用 Phi-3 作为小模型的对比基准,并以它为例说明训练中会使用合成数据。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2Transformer 架构
3合成数据(synthetic data)与数据过滤
4MMLU 等语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用alecco · 2024-06

“vs Phi-3 Technical Report (page 6, quite better in general)”

引用 Phi-3 论文第 6 页,称其结果总体上比对比的 Gemma 好得多
Gemma 2: Improving Open Language Models at a Practical Size [pdf]原评论 ↗
引用ben_w · 2024-11

“some models like Phi-3 use at least some synthetic data[0]”

举 Phi-3 为例:至少部分使用了合成数据
OpenAI, Google and Anthropic are struggling to build more advanced AI原评论 ↗
被提交为 story · 2 次