用浅显的语言带领大家了解可解释性的概念与方法

用浅显的语言带领大家了解可解释性的概念与方法

01

深度学习的可解释性研究（一）

让模型具备说人话的能力

▌可解释性是什么？

广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。

比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时，我们需要查阅一些资料来了解这个新问题的基本概念和研究现状，以获得对研究方向的正确认识。

反过来理解，如果在一些情境中我们无法得到相应的足够的信息，那么这些事情对我们来说都是不可解释的。比如刘慈欣的短篇《朝闻道》中霍金提出的“宇宙的目的是什么”这个问题一下子把无所不知的排险者卡住了，因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息，这些终极问题对我们来说永远都是不可解释的。

而具体到机器学习领域来说，以最用户友好的决策树模型为例，模型每作出一个决策都会通过一个决策序列来向我们展示模型的决策依据：比如男性">所以在一定程度上，我们认为决策树模型是一个具有比较好的可解释性的模型，在以后的介绍中我们也会讲到，以决策树为代表的规则模型在可解释性研究方面is the process of giving explanations to Human. 总结一下就是“说人话”，“说人话”，“说人话”，不以人类可以理解的方式给出的解释都叫耍流氓，记住这三个字，你就差不多把握了可解释性的精髓所在。

▌我们为什么需要可解释性？

广义上来说我们对可解释性的需求主要来源于对问题和任务了解得还不够充分。具体到深度学习/机器学习领域，就像我们上文提到的多层神经网络存在的问题，尽管高度的非线性赋予了多层神经网络极高的模型表示能力，配合一些堪称现代炼丹术的调参技术可以在很多问题上达到非常喜人的表现，大家如果经常关注AI的头条新闻，那些机器学习和神