“Here is an example for something less subjective: From Sparse to Dense.”
From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting
让 GPT-4 迭代补入遗漏实体、长度不变,生成信息更稠密的摘要。
摘要里该放多少信息很难把握,好摘要应细节充分、以实体为中心,又不能过密难读。论文用“密度链”(Chain of Density, CoD)提示让 GPT-4 先写一个实体稀疏的初始摘要,再在不增加长度的前提下迭代补入遗漏的重要实体。CoD 摘要比普通提示的更抽象、融合度更高、对开头句的偏向更小;在 100 篇 CNN/DailyMail 文章上的人工偏好研究显示,人们偏好比普通提示更稠密、接近人写摘要稠密度的 GPT-4 摘要,说明信息量与可读性之间存在权衡。
评论者把它作为“摘要方法且评估较不主观、可度量”的例子来引用。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立摘要评估和提示工程的背景:先看 GPT-3 与思维链这类提示方法,再看摘要的人类反馈训练和 LLM 评估,最后读密度链提示。
- 1
CoD 是纯提示方法,其前提是大模型可以靠提示中的指令完成任务。
读few-shot 与 in-context learning 的思想;不必细读各任务结果。
- 2
CoD 与思维链一样,通过让模型分多步迭代生成来提升输出质量。
读分步提示如何改变模型输出,对比一步到位的直接提示。
- 3
摘要质量由人类偏好衡量的做法在这里奠基,CoD 也靠人类偏好研究来评判稠密程度。
读人类偏好比较的评估设计,以及摘要质量与长度的关系。
- 4
CoD 用 GPT-4 作为评判者之一,这里验证了强 LLM 做裁判与人类偏好的一致性。
读LLM-as-a-judge 的做法及其偏差(位置偏差、冗长偏差)。
- 5
G-Eval 是用 GPT-4 评估生成文本质量的方法,与 CoD 对摘要质量的自动评估相关。
读用 LLM 按评分维度打分的流程;细节可略读。
- 6From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting
目标论文:用密度链提示让 GPT-4 迭代补入缺失实体,生成长度不变但信息更稠密的摘要。
读CoD 提示的构造、摘要稠密度与可读性的权衡,以及人类偏好结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及- From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting ↗Michelangelo11 · 2023-09-11 · 2 分
- From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting ↗tosh · 2023-11-13 · 2 分