按年被提到
20192020 · 2 次2026
大模型与语言模型›检索增强与知识库·arXiv:1906.05317 · cs.CL

COMET: Commonsense Transformers for Automatic Knowledge Graph Construction

COMET:用于自动构建知识图谱的常识 Transformer
Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, Yejin Choi · 2019

COMET:用预训练语言模型生成常识知识图谱条目

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2019-06-16 · 最近 2021-01-05
3不同的人
4活跃月份
4讨论串
932被引(OpenAlex)

论文首次对 ATOMIC 和 ConceptNet 两个常识知识图谱的自动知识库构建做了全面研究。这类知识库只存储松散结构的开放文本描述,因此作者提出训练生成式模型 COMET,把预训练语言模型中的隐式知识迁移为知识图谱中的显式常识描述。人工评估表明 COMET 能生成高质量的新知识,top-1 精度最高分别达到 77.5%(ATOMIC)和 91.7%(ConceptNet),接近人类水平,作者认为生成式常识模型很快可能成为抽取式方法的可行替代。

HN 为什么提它

HN 评论者把它当作常识知识图谱构建和更接近新范式的模型例子,并在设想对话模型或与图方法结合时提到 COMET。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与预训练语言模型(GPT)
2知识图谱与常识知识库(ConceptNet, ATOMIC)
3语言模型微调与文本生成
4知识库补全

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看序列到序列模型、Transformer,再看 ELMo 和 BERT 所代表的预训练语言模型路线,帮助理解 COMET 如何用预训练语言模型生成常识知识。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    常识知识生成可看作把文本输入映射为文本输出的序列生成任务,这是其基础框架。

    读编码器-解码器的序列映射思路,以及它在生成式任务中的用法。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    COMET 以 Transformer 语言模型为骨架。

    读自注意力与多头注意力、解码器的自回归生成;跳过翻译实验细节。

  3. 3
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018

    展示了预训练语言模型表示可迁移到下游任务,是预训练路线的前身。

    读上下文相关词表示的来源(双向语言模型内部状态)以及如何用于下游任务。

  4. 4
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    预训练加微调的主流范式,COMET 同样依赖预训练语言模型带来的语言知识。

    读掩码语言模型预训练与下游微调的流程;理解预训练为何能带来迁移能力。

  5. 5
    COMET: Commonsense Transformers for Automatic Knowledge Graph ConstructionCOMET:用于自动构建知识图谱的常识 Transformer · 2019 · 就是这篇

    目标论文:用预训练 Transformer 在 ATOMIC 与 ConceptNet 上生成常识知识图谱条目。

    读把知识三元组转成文本序列的输入格式、微调方式,以及对生成质量的人工评估。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐p1esk · 2020-05

“To me a breakthrough/new paradigm would be something like this: COMET”

认为 COMET 这类常识知识图谱构建才算突破或新范式
GPT-3: A Disappointing Paper?原评论 ↗
引用p1esk · 2020-06

“The TT ready model I'm envisioning will be trained on many billions of chat sessions.”

设想的对话模型要用数十亿聊天会话训练,引 COMET 作参照
An understanding of AI’s limitations is starting to sink in原评论 ↗
引用wfhpw · 2021-01

“perhaps in tandem with COMET[0] or some other graph-based approach.”

建议把 COMET 与其他基于图的方法结合使用
ML beyond Curve Fitting: An Intro to Causal Inference and do-Calculus (2018)原评论 ↗
被提交为 story · 1 次