按年被提到
20232023 · 5 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2305.14201 · cs.LG

Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks

Goat:微调后的 LLaMA 在算术任务上超过 GPT-4
Tiedong Liu, Bryan Kian Hsiang Low · 2023

在合成算术数据上微调 LLaMA,算术任务上超过 GPT-4。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-05-24 · 最近 2023-07-19
3不同的人
3活跃月份
5讨论串
51被引(OpenAlex)

Goat 是在合成数据集上微调的 LLaMA 模型,在一系列算术任务上明显超过 GPT-4,并在 BIG-bench 算术子任务上达到 SOTA;零样本 Goat-7B 的准确率追平甚至超过少样本的 PaLM-540B。仅靠监督微调就能在大数加减法上接近满分,作者将此归因于 LLaMA 对数字分词的一致性;对多位数乘除这类难学任务,则按可学习性分类并用基本算术原理拆成一系列可学习的子任务。Goat-7B 可用 LoRA 在 24GB 显存的 GPU 上训练,模型、数据和生成脚本均已发布。

HN 为什么提它

评论者拿它作为例子,说明 7B 的小模型在针对特定任务微调后可以表现很好,甚至在算术题上胜过 GPT-4。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1LLaMA 与大语言模型微调
2LoRA 参数高效微调
3分词(tokenization)对数字处理的影响
4任务分解(task decomposition)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用anon373839 · 2023-06

“1. Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks”

列为例子:微调后的 LLaMA 在算术上超过 GPT-4
Falcon 40B LLM (which beats Llama) now Apache 2.0原评论 ↗
引用anon373839 · 2023-06

“The 7B size can perform very well when tuned on a specific menu of tasks:”

拿它说明 7B 模型针对特定任务微调后表现很好
RedPajama 7B (an Apache 2.0-licensed LLaMa) is now available原评论 ↗
引用anon373839 · 2023-06

“Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks”

列出这个例子:微调的 LLaMA 在算术任务上胜过 GPT-4
OpenLLaMA 13B Released原评论 ↗
引用airgapstopgap · 2023-07

“with finetuning even the smallest LLaMA-1 can learn to answer better than GPT-4.[2]”

拿它说明连最小的 LLaMA-1 微调后也能答得比 GPT-4 好
Llama 2 – Meta AI原评论 ↗
被提交为 story · 1 次