“To me a breakthrough/new paradigm would be something like this: COMET”
COMET: Commonsense Transformers for Automatic Knowledge Graph Construction
COMET:用预训练语言模型生成常识知识图谱条目
论文首次对 ATOMIC 和 ConceptNet 两个常识知识图谱的自动知识库构建做了全面研究。这类知识库只存储松散结构的开放文本描述,因此作者提出训练生成式模型 COMET,把预训练语言模型中的隐式知识迁移为知识图谱中的显式常识描述。人工评估表明 COMET 能生成高质量的新知识,top-1 精度最高分别达到 77.5%(ATOMIC)和 91.7%(ConceptNet),接近人类水平,作者认为生成式常识模型很快可能成为抽取式方法的可行替代。
HN 评论者把它当作常识知识图谱构建和更接近新范式的模型例子,并在设想对话模型或与图方法结合时提到 COMET。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看序列到序列模型、Transformer,再看 ELMo 和 BERT 所代表的预训练语言模型路线,帮助理解 COMET 如何用预训练语言模型生成常识知识。
- 1
常识知识生成可看作把文本输入映射为文本输出的序列生成任务,这是其基础框架。
读编码器-解码器的序列映射思路,以及它在生成式任务中的用法。
- 2
- 3
展示了预训练语言模型表示可迁移到下游任务,是预训练路线的前身。
读上下文相关词表示的来源(双向语言模型内部状态)以及如何用于下游任务。
- 4
预训练加微调的主流范式,COMET 同样依赖预训练语言模型带来的语言知识。
读掩码语言模型预训练与下游微调的流程;理解预训练为何能带来迁移能力。
- 5COMET: Commonsense Transformers for Automatic Knowledge Graph Construction
目标论文:用预训练 Transformer 在 ATOMIC 与 ConceptNet 上生成常识知识图谱条目。
读把知识三元组转成文本序列的输入格式、微调方式,以及对生成质量的人工评估。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“The TT ready model I'm envisioning will be trained on many billions of chat sessions.”
“perhaps in tandem with COMET[0] or some other graph-based approach.”
- Comet: Commonsense Transformers for Automatic Knowledge Graph Construction ↗sel1 · 2019-06-16 · 4 分