推荐rozim · 2023-04
“I would look at BloombergGPT for inspiration on a SOTA vertical GPT [3].”
推荐参考 BloombergGPT,作为垂直领域 SOTA GPT 的灵感来源
Bloomberg 训练的 500 亿参数金融领域大模型
论文介绍 BloombergGPT,一个在广泛金融数据上训练的 500 亿参数语言模型。作者基于 Bloomberg 的数据来源构建了 3630 亿 token 的数据集,并混入 3450 亿 token 的通用数据集。在标准 LLM 基准、公开金融基准和一套内部基准上验证后,混合数据训练使模型在金融任务上大幅领先现有模型,同时不损失通用基准表现。论文还说明了建模选择、训练过程和评估方法,并在附录 C 发布了训练记录。
HN 上的人把它当作“用专有数据训练垂直领域 LLM”的典型例子,建议想做行业专用模型的人参考,也被收进 LLM 入门阅读清单。
“I would look at BloombergGPT for inspiration on a SOTA vertical GPT [3].”
“I would look at BloombergGPT as an example”
“They actually link the published paper in the article and I missed it: BloombergGPT”
“Here is the actual research paper from,”
“these are maybe some good starting points”
“b) BloombergGPT: A Large Language Model for Finance:”