推荐glomgril · 2025-04
“Check out this recent benchmark MTOB (Machine Translation from One Book)”
推荐 MTOB 基准,即用一本语法书学翻译新语言
MTOB:只凭一本语法书让 LLM 学会翻译卡拉芒语
提出 MTOB(Machine Translation from One Book)基准:用数百页田野语言学参考资料,学习英语与卡拉芒语(使用者不足 200 人、几乎没有网络语料)之间的翻译,更像二语学习而非从大语料习得母语。基于现有 LLM 的基线很有希望但仍不及人类:卡拉芒语到英语 44.7 chrF、英语到卡拉芒语 45.8 chrF,而用同样资料学会该语言的人类为 51.6 和 57.0。
HN 上的人引用它作为检验 LLM 能否从一本语法书学会训练集里几乎没有的语言的基准,并拿来与语言学家的表现对比。
“Check out this recent benchmark MTOB (Machine Translation from One Book)”
“It would be an interesting addition to the benchmark.”
“by Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky, Luke Melas-Kyriazi [0].”
“A recent paper tested both linguists and LLMs at learning a language with less than 200 speakers and therefore virtually no presence on the web.”