引用anon373839 · 2023-06
“1. Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks”
列为例子:微调后的 LLaMA 在算术上超过 GPT-4
在合成算术数据上微调 LLaMA,算术任务上超过 GPT-4。
Goat 是在合成数据集上微调的 LLaMA 模型,在一系列算术任务上明显超过 GPT-4,并在 BIG-bench 算术子任务上达到 SOTA;零样本 Goat-7B 的准确率追平甚至超过少样本的 PaLM-540B。仅靠监督微调就能在大数加减法上接近满分,作者将此归因于 LLaMA 对数字分词的一致性;对多位数乘除这类难学任务,则按可学习性分类并用基本算术原理拆成一系列可学习的子任务。Goat-7B 可用 LoRA 在 24GB 显存的 GPU 上训练,模型、数据和生成脚本均已发布。
评论者拿它作为例子,说明 7B 的小模型在针对特定任务微调后可以表现很好,甚至在算术题上胜过 GPT-4。
“1. Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks”
“The 7B size can perform very well when tuned on a specific menu of tasks:”
“Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks”
“with finetuning even the smallest LLaMA-1 can learn to answer better than GPT-4.[2]”