引用BenderV · 2016-05
“It looks to solve this kind of problems but honestly I'm discovering it now.”
说指针网络看起来能解决这类问题,但自己也是刚发现它
用注意力直接指向输入位置作输出,解决变长输出词表问题
提出 Pointer Net,用注意力作为“指针”从输入序列中选出一个元素作为输出,而不是把编码器隐状态混合成上下文向量,从而解决输出类别数随输入长度变化、普通 seq2seq 与 Neural Turing Machine 难以处理的问题。它能仅凭训练样本学习平面凸包、Delaunay 三角剖分和平面旅行商问题的近似解,优于带输入注意力的 seq2seq,并能泛化到训练时未见过的更长长度。
评论者把它当作带注意力、带记忆的神经架构的例子,以及能解决这类问题的模型,也有人把它列入 30 篇论文的阅读清单。
“It looks to solve this kind of problems but honestly I'm discovering it now.”
“Architectures with memory and attention mechanisms do exist.”
“Pointer Networks - Pointer Networks”