按年被提到
20232023 · 7 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2303.17564 · cs.LG

BloombergGPT: A Large Language Model for Finance

BloombergGPT:面向金融领域的大语言模型
Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann · 2023

Bloomberg 训练的 500 亿参数金融领域大模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-03-31 · 最近 2023-05-07
7不同的人
3活跃月份
7讨论串
982被引(OpenAlex)

论文介绍 BloombergGPT,一个在广泛金融数据上训练的 500 亿参数语言模型。作者基于 Bloomberg 的数据来源构建了 3630 亿 token 的数据集,并混入 3450 亿 token 的通用数据集。在标准 LLM 基准、公开金融基准和一套内部基准上验证后,混合数据训练使模型在金融任务上大幅领先现有模型,同时不损失通用基准表现。论文还说明了建模选择、训练过程和评估方法,并在附录 C 发布了训练记录。

HN 为什么提它

HN 上的人把它当作“用专有数据训练垂直领域 LLM”的典型例子,建议想做行业专用模型的人参考,也被收进 LLM 入门阅读清单。

实证研究难度 3 / 5约 90 分钟有时效性
读之前最好知道
1大语言模型预训练
2Transformer 架构与规模化训练
3金融 NLP 任务
4基准评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐rozim · 2023-04

“I would look at BloombergGPT for inspiration on a SOTA vertical GPT [3].”

推荐参考 BloombergGPT,作为垂直领域 SOTA GPT 的灵感来源
Ask HN: How to Moat a GPT Startup?原评论 ↗
推荐PaulHoule · 2023-04

“I would look at BloombergGPT as an example”

推荐把 BloombergGPT 当作范例:用自有数据训练基础模型
The Economics of Building ML Products in the LLM Era原评论 ↗
引用stephanerangaya · 2023-04

“They actually link the published paper in the article and I missed it: BloombergGPT”

补上之前漏看的论文链接,文章里其实链接了它
BloombergGPT原评论 ↗
引用senthil_rajasek · 2023-04

“Here is the actual research paper from,”

贴出 BloombergGPT 的原始研究论文作为一手来源
What if ChatGPT was trained on decades of financial news and data?原评论 ↗
引用RockyMcNuts · 2023-04

“these are maybe some good starting points”

把它列为 LLM 入门阅读清单中的一项
Ask HN: Open source LLM for commercial use?原评论 ↗
引用teleforce · 2023-05

“b) BloombergGPT: A Large Language Model for Finance:”

列为金融专用 LLM 的论文来源
Is FinGPT Coming?原评论 ↗
被提交为 story · 1 次