引用sovok_x · 2018-02
“It's not nearly at the point yet to be paranoid.”
认为还没到需要过度担心的程度,并附上把神经网络蒸馏成软决策树的论文
用训练好的神经网络生成泛化更好、更易解释的软决策树
深度网络分类效果好,却难以解释某次决策的原因,因为它依赖分布式的层级表示。论文描述了一种用训练好的神经网络生成软决策树的方法,把网络学到的知识改用基于层级决策的模型表达,使单个决策更容易解释。这种软决策树的泛化能力优于直接从训练数据学出的决策树。
HN 上的人把它当作把神经网络转换成决策树的代表性工作之一来引用。
目标论文是知识蒸馏思想的延伸,先读 Hinton 等人的蒸馏论文,再看把蒸馏目标换成软决策树。
目标论文用训练好的神经网络的软标签去训练软决策树,直接沿用了蒸馏的思想。
读软目标与温度参数的作用;为什么用软标签比用硬标签包含更多信息。
读完蒸馏之后,再看学生模型换成可解释的软决策树会发生什么。
读软决策树的结构与每个内部节点的概率路由、训练时的正则化项,以及与直接训练的对比结果。
“It's not nearly at the point yet to be paranoid.”
“Distilling a Neural Network Into a Soft Decision Tree Distilling a Neural Network Into a Soft Decision Tree”