按年被提到
20152016 · 4 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1502.02206 · cs.LG

Learning to Search Better Than Your Teacher

学会搜索,比你的老师更强
Kai-Wei Chang, Akshay Krishnamurthy, Alekh Agarwal, Hal Daumé, John Langford · 2015

LOLS:参考策略很差时也能改进的结构化预测搜索学习算法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2016-03-13 · 最近 2016-06-15
3不同的人
3活跃月份
4讨论串
146被引(OpenAlex)

结构化预测中的「学习搜索」方法通常模仿参考策略,已有理论只保证相对参考策略的遗憾较低,而当参考策略并不理想时这并不令人满意。作者提出新算法 LOLS,既相对参考策略表现良好,又保证相对于学得策略的偏离也有低遗憾(一种局部最优保证),因此能超越参考策略。在此基础上,作者还提出了结构化上下文赌博机这一部分信息的结构化预测设置。

HN 为什么提它

评论者在讨论联合学习与结构化预测时推荐 LOLS,称其优于 Dagger、SEARN 等前作,并指出它已实现在 Vowpal Wabbit 的搜索功能中。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1结构化预测(structured prediction)
2模仿学习(imitation learning)与 Dagger、SEARN
3遗憾(regret)分析
4强化学习与上下文赌博机(contextual bandit)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐kotach · 2016-03

“Checkout Dagger [2], SEARN [3] and LOLS [1] (LOLS is available in vowpal wabbit search capabilities).”

推荐 Dagger、SEARN 和 LOLS,LOLS 已在 vowpal wabbit 中可用
FlappyBird hack using Deep Q-Learning原评论 ↗
推荐vagabondvector · 2016-05

“LOLS is a much superior method.”

称 LOLS 是优越得多的方法
SyntaxNet: Neural Models of Syntax原评论 ↗
推荐supercarrot · 2016-06

“paper above also has a very good analysis on how to remove the search component of the inference and allow linear time complexity with competitive results.”

称赞其对推理中去掉搜索、实现线性时间复杂度的分析
Intro to Hidden Markov Models (2010) [pdf]原评论 ↗
引用kotach · 2016-03

“Reinforcement learning can be used in the setting of joint learning because you play out the whole game before you do the learning.”

说明 RL 可用于联合学习,因为学习前先完整走完一局
Lee Sedol Beats AlphaGo in Game 4原评论 ↗