推荐karan-dalal · 2024-07
“our paper does a great job explaining the method in depth”
称自己的论文深入讲清了该方法:隐藏状态本身是测试时训练的模型
让 RNN 的隐藏状态本身是一个模型,测试时也用自监督更新
自注意力在长上下文上表现好但复杂度是平方的,现有 RNN 层复杂度是线性的,却受限于隐藏状态的表达力。论文提出测试时训练(TTT)层:把隐藏状态设为一个机器学习模型,更新规则是一步自监督学习,因此即使在测试序列上也在训练。实例有 TTT-Linear 和 TTT-MLP,在 125M 到 1.3B 参数规模上与 Transformer 和 Mamba 比较;TTT 能随上下文变长继续降低困惑度,而 Mamba 在 16k 之后不能,TTT-MLP 仍面临内存 I/O 挑战。
评论者把 TTT 当作线性 RNN 谱系中的一支,并指出它与 Titans 的共同前提是让模型在上下文中学习而非死记。
“our paper does a great job explaining the method in depth”
“Test-Time Training is incredibly powerful.”
“[11] Learning to (Learn at Test Time)”
“The Titans papers and the Test-Time Training papers both have the same premise”