推荐ShamelessC · 2023-12
“seems like a massive step forward.”
称这项把脑信号译成文本的工作是巨大进步,尽管有幻觉
把离散化的 EEG 脑电波编码并翻译成文本,无需眼动标记
现有的脑电到文本方法需要眼动注视点或事件标记,才能把脑信号切分成词级特征。DeWave 用量化变分编码器得到离散的 codex 编码,并与预训练语言模型对齐,借助文本与 EEG 的对比对齐训练,能在没有标记的原始脑波上直接翻译,同时缓解个体差异带来的干扰。在 ZuCo 数据集上它超过此前基线 3.06% 和 6.34%,达到 41.35 BLEU-1 和 33.71 Rouge-F,并称是首个无需词级顺序标记就能翻译整段 EEG 信号的工作。
评论者把它当作脑机接口借助 LLM 解码脑信号的代表进展,称其是一大步,同时指出结果仍有幻觉,且这方面的发展被报道得不够。
“seems like a massive step forward.”
“this paper is what first alerted me to this underreported situation”
“Researchers ate already able to translate thoughts into text[1][2] by wearing a special cap with a fair amount of accuracy.”
“BCI (Brain-Computer interaction) is blowing up right now thanks to the unreasonable efficacy of LLMs for decoding brain activity[2][3][4]”