按年被提到
20232024 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2309.16575 · cs.CL

A Benchmark for Learning to Translate a New Language from One Grammar Book

从一本语法书学习翻译新语言的基准
Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky, Luke Melas-Kyriazi · 2023

MTOB:只凭一本语法书让 LLM 学会翻译卡拉芒语

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-03-31 · 最近 2025-04-15
5不同的人
4活跃月份
5讨论串
26被引(OpenAlex)

提出 MTOB(Machine Translation from One Book)基准:用数百页田野语言学参考资料,学习英语与卡拉芒语(使用者不足 200 人、几乎没有网络语料)之间的翻译,更像二语学习而非从大语料习得母语。基于现有 LLM 的基线很有希望但仍不及人类:卡拉芒语到英语 44.7 chrF、英语到卡拉芒语 45.8 chrF,而用同样资料学会该语言的人类为 51.6 和 57.0。

HN 为什么提它

HN 上的人引用它作为检验 LLM 能否从一本语法书学会训练集里几乎没有的语言的基准,并拿来与语言学家的表现对比。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型的上下文学习(in-context learning)
2机器翻译评测(chrF)
3低资源语言
4基础语言学(语法描述)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐glomgril · 2025-04

“Check out this recent benchmark MTOB (Machine Translation from One Book)”

推荐 MTOB 基准,即用一本语法书学翻译新语言
DolphinGemma: How Google AI is helping decode dolphin communication原评论 ↗
引用sanxiyn · 2024-03

“It would be an interesting addition to the benchmark.”

认为这个让 LLM 靠一本语法书学新语言的基准值得补充进来
How well can LLMs write COBOL?原评论 ↗
引用abetusk · 2024-06

“by Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky, Luke Melas-Kyriazi [0].”

给出语法书学语言这个话题背后的原始论文和作者
Prompting LLMs to Learn Language from a Single Book原评论 ↗
引用visarga · 2024-11

“A recent paper tested both linguists and LLMs at learning a language with less than 200 speakers and therefore virtually no presence on the web.”

引用它说明语言学家和 LLM 学习使用者不足 200 人、网上几乎没有资料的语言的实验
The deep learning boom caught almost everyone by surprise原评论 ↗
被提交为 story · 1 次