按年被提到
20232025 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2306.17563 · cs.IR

Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting

大语言模型是有效的文本排序器:成对排序提示
Zhen Qin, Rolf Jagerman, Kai Hui, Honglei Zhuang, Junru Wu, Le Yan, Jiaming Shen, Tianqi Liu, Jialu Liu, Donald Metzler, Xuanhui Wang, Michael Bendersky · 2023

成对排序提示 PRP:让中等规模开源 LLM 达到文本排序最优

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-07-08 · 最近 2025-09-15发表于 Findings of the Association for Computational Linguistics: NAACL
5不同的人
5活跃月份
5讨论串
158被引(OpenAlex)

作者指出现有逐点和列表式排序提示对现成 LLM 过于困难,提出成对排序提示(PRP),只让模型比较两篇文档。在 TREC-DL 2019/2020 上,20B 的 Flan-UL2 配合 PRP 与此前基于 GPT-4 的最佳方法相当,在七个 BEIR 任务上用同一模板也超过监督基线和 ChatGPT 方案;还提出几种变体,可降到线性复杂度。

HN 为什么提它

HN 上的人在讨论用 LLM 做成对比较排序、排序时的位置偏差和对每对评估两次等做法时引用它,认为成对比较是较准确的 LLM 排序方式。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1信息检索与排序评测(NDCG)
2提示工程(prompting)
3排序算法(成对比较与排序)
4大语言模型基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐markbergz · 2025-03

“For anyone interested in these LLM pairwise sorting problems, check out this paper: Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting”

推荐给关注 LLM 成对排序的人,涉及位置偏差,每对要评估两次
People are just as bad as my LLMs原评论 ↗
引用dollo_7 · 2024-04

“See the listwise approach at "Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting", Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting”

引作 LLM 排序的另一种列表式方案
Lessons after a Half-billion GPT Tokens原评论 ↗
引用vagozino · 2025-02

“The paper [1] I mention in the repo touches upon such methods briefly.”

指出自己仓库里提到的这篇论文简要涉及成对排序方法
Show HN: Sort lines semantically using llm-sort原评论 ↗
引用anishathalye · 2025-09

“That `sort` is based on pairwise comparisons, which is one of the best ways you can do it in terms of accuracy (Qin et al., 2023: Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting).”

引用它说明成对比较是准确率最高的排序方式之一
Show HN: Semlib – Semantic Data Processing原评论 ↗
被提交为 story · 1 次