按年被提到
20232023 · 2 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2309.04269 · cs.CL

From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting

从稀疏到稠密:用密度链提示做 GPT-4 摘要
Griffin Adams, Alexander Fabbri, Faisal Ladhak, Eric Lehman, Noémie Elhadad · 2023

让 GPT-4 迭代补入遗漏实体、长度不变,生成信息更稠密的摘要。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-09-11 · 最近 2024-07-21
3不同的人
3活跃月份
3讨论串
62被引(OpenAlex)

摘要里该放多少信息很难把握,好摘要应细节充分、以实体为中心,又不能过密难读。论文用“密度链”(Chain of Density, CoD)提示让 GPT-4 先写一个实体稀疏的初始摘要,再在不增加长度的前提下迭代补入遗漏的重要实体。CoD 摘要比普通提示的更抽象、融合度更高、对开头句的偏向更小;在 100 篇 CNN/DailyMail 文章上的人工偏好研究显示,人们偏好比普通提示更稠密、接近人写摘要稠密度的 GPT-4 摘要,说明信息量与可读性之间存在权衡。

HN 为什么提它

评论者把它作为“摘要方法且评估较不主观、可度量”的例子来引用。

方法难度 2 / 5约 25 分钟经得起时间
读之前最好知道
1大语言模型提示工程(prompting)
2文本摘要任务与评估
3命名实体与信息密度

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立摘要评估和提示工程的背景:先看 GPT-3 与思维链这类提示方法,再看摘要的人类反馈训练和 LLM 评估,最后读密度链提示。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    CoD 是纯提示方法,其前提是大模型可以靠提示中的指令完成任务。

    读few-shot 与 in-context learning 的思想;不必细读各任务结果。

  2. 2
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示激发大语言模型的推理能力 · 2022

    CoD 与思维链一样,通过让模型分多步迭代生成来提升输出质量。

    读分步提示如何改变模型输出,对比一步到位的直接提示。

  3. 3
    Learning to summarize from human feedback从人类反馈中学习摘要 · 2020

    摘要质量由人类偏好衡量的做法在这里奠基,CoD 也靠人类偏好研究来评判稠密程度。

    读人类偏好比较的评估设计,以及摘要质量与长度的关系。

  4. 4
    Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena用 MT-Bench 与 Chatbot Arena 评判 LLM-as-a-Judge · 2023

    CoD 用 GPT-4 作为评判者之一,这里验证了强 LLM 做裁判与人类偏好的一致性。

    读LLM-as-a-judge 的做法及其偏差(位置偏差、冗长偏差)。

  5. 5

    G-Eval 是用 GPT-4 评估生成文本质量的方法,与 CoD 对摘要质量的自动评估相关。

    读用 LLM 按评分维度打分的流程;细节可略读。

  6. 6
    From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting从稀疏到稠密:用密度链提示做 GPT-4 摘要 · 2023 · 就是这篇

    目标论文:用密度链提示让 GPT-4 迭代补入缺失实体,生成长度不变但信息更稠密的摘要。

    读CoD 提示的构造、摘要稠密度与可读性的权衡,以及人类偏好结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用lyu07282 · 2024-07

“Here is an example for something less subjective: From Sparse to Dense.”

举它作为更不主观、可衡量的 GPT-4 摘要方法示例
When ChatGPT summarises, it does nothing of the kind原评论 ↗
被提交为 story · 2 次