引用alecco · 2024-06
“vs Phi-3 Technical Report (page 6, quite better in general)”
引用 Phi-3 论文第 6 页,称其结果总体上比对比的 Gemma 好得多
3.8B 参数的 phi-3-mini 在手机上运行,性能比肩 GPT-3.5 级模型
报告介绍了 phi-3-mini(3.8B 参数,3.3 万亿 token 训练),在学术基准和内部测试上可与 Mixtral 8x7B 和 GPT-3.5 相当(MMLU 69%,MT-bench 8.38),体积小到能在手机上部署。训练数据是经过大量过滤的公开网页数据加合成数据的放大版,并做了安全与对话格式对齐。报告还给出 phi-3-small、phi-3-medium,以及 phi-3.5 系列的 mini、MoE 与 Vision 模型。
评论者引用 Phi-3 作为小模型的对比基准,并以它为例说明训练中会使用合成数据。
“vs Phi-3 Technical Report (page 6, quite better in general)”
“some models like Phi-3 use at least some synthetic data[0]”