一种实现人工智能可解释的方法、装置、设备及存储介质[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011496923.2
(22)申请日 2020.12.17
(71)申请人 第四范式（北京）技术有限公司
地址 100085 北京市海淀区清河中街66号
院1号楼九层LO901-1号
(72)发明人 宋吉鹏　詹镇江　
(74)专利代理机构 北京开阳星知识产权代理有
限公司 11710
代理人 王雪
(51)Int.Cl.
G06F 16/33(2019.01)
G06K 9/62(2006.01)
(54)发明名称一种实现人工智能可解释的方法、装置、设备及存储介质(57)摘要本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，所述方法包括：首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。

其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。

本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。

另外，用户还可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法
的灵活性。

权利要求书2页 说明书10页 附图3页CN 112612872 A 2021.04.06
C N 112612872
A
1.一种实现人工智能可解释的方法，其特征在于，所述方法包括：
接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
确定与所述待解释数据匹配的解释算子；
运行所述解释算子对所述待解释数据进行解释，得到解释结果。

2.根据权利要求1所述的方法，其特征在于，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
获取与所述目标AI模型相关的元数据；
确定与所述元数据匹配的解释方案；
将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。

3.根据权利要求2所述的方法，其特征在于，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。

4.根据权利要求3所述的方法，其特征在于，所述确定与所述特征元数据匹配的特征解释方案，包括：
将所述特征元数据中的至少一个维度特征确定为目标维度特征；
基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。

5.根据权利要求3所述的方法，其特征在于，所述确定与所述模型元数据匹配的模型解释方案，包括：
基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。

6.根据权利要求1所述的方法，其特征在于，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。

7.根据权利要求1‑6任一项所述的方法，其特征在于，所述方法还包括：
将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；
响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。

8.一种实现人工智能可解释的装置，其特征在于，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1‑7任一项所述的方法。

10.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1‑7任一项所述的方法。

一种实现人工智能可解释的方法、装置、设备及存储介质
技术领域
[0001]本公开涉及数据处理领域，尤其涉及一种实现人工智能可解释的方法、装置、设备及存储介质。

背景技术
[0002]人工智能可解释是指解决面向机器学习场景下的可解释问题，尤其是在对可靠性和安全性要求较高的领域，如医疗领域和银行、保险等金融监管领域等，对于提高人工智能模型的透明度和可解释性，已经成为机器学习系统中越来越被重视的需求。

[0003]因此，如何实现人工智能可解释，是目前亟待解决的技术问题。

发明内容
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，能够为目标AI模型对应的待解释数据提供解释结果，实现人工智能可解释。

[0005]第一方面，本公开提供了一种实现人工智能可解释的方法，所述方法包括：[0006]接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
[0007]确定与所述待解释数据匹配的解释算子；
[0008]运行所述解释算子对所述待解释数据进行解释，得到解释结果。

[0009]一种可选的实施方式中，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
[0010]获取与所述目标AI模型相关的元数据；
[0011]确定与所述元数据匹配的解释方案；
[0012]将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。

[0013]一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
[0014]确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。

[0015]一种可选的实施方式中，所述确定与所述特征元数据匹配的特征解释方案，包括：[0016]将所述特征元数据中的至少一个维度特征确定为目标维度特征；
[0017]基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。

[0018]一种可选的实施方式中，所述确定与所述模型元数据匹配的模型解释方案，包括：[0019]基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
[0020]或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。

[0021]一种可选的实施方式中，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
[0022]基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。

[0023]一种可选的实施方式中，所述方法还包括：
[0024]将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；[0025]响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。

[0026]一种可选的实施方式中，所述将所述元数据和所述解释方案保存为解释算子之后，还包括：
[0027]将所述解释算子存储于解释算子仓库中；其中，所述解释算子仓库中保留多个版本的解释算子，且支持针对所述解释算子已提交修改的回溯功能；
[0028]将所述多个版本的解释算子中的目标版本进行发布；其中，发布的解释算子用于供所述待解释数据匹配。

[0029]一种可选的实施方式中，所述接收目标AI模型对应的待解释数据之前，还包括：[0030]通过数据集成总线订阅目标AI模型的待解释数据生成事件；
[0031]相应的，所述接收目标AI模型对应的待解释数据，包括：
[0032]响应于所述目标AI模型的待解释数据生成事件的发生，接收所述目标AI模型对应的待解释数据。

[0033]一种可选的实施方式中，所述确定与所述待解释数据匹配的解释算子之前，还包括：
[0034]对所述待解释数据进行一致性校验；
[0035]如果所述待解释数据通过一致性校验，则执行所述确定与所述待解释数据匹配的解释算子的步骤。

[0036]第二方面，本公开提供了一种实现人工智能可解释的装置，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
[0037]所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
[0038]所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。

[0039]一种可选的实施方式中，所述装置还包括设计器；
[0040]所述设计器，用于获取与所述目标AI模型相关的元数据，并确定与所述元数据匹配的解释方案，以及将所述元数据与所述解释方案保存为解释算子存储于所述解释算子仓库中。

[0041]一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述设计器包括特征分析模块和/或模型解释模块；
[0042]所述特征分析模块，用于确定与所述特征元数据匹配的特征解释方案，并将所述特征元数据和所述特征解释方案保存为特征解释算子存储于所述解释算子仓库中；[0043]所述模型解释模块，用于确定与所述模型元数据匹配的模型解释方案，并将所述模型元数据和所述模型解释方案保存为模型解释算子存储于所述解释算子仓库中。

[0044]一种可选的实施方式中，所述执行器还包括：
[0045]领域规则执行模块，用于基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释执行模块得到的解释结果中的领域特征描述替换为对应的解释文本。

[0046]一种可选的实施方式中，所述装置还包括可解释语料数据库和可视化模块；[0047]所述可解释语料数据库，用于存储所述待解释数据与所述解释结果的对应关系；[0048]所述可视化模块，用于响应于解释结果的显示触发操作，从所述可解释语料数据库中获取所述待解释数据与所述解释结果，并将所述待解释数据与所述解释结果显示于可视化界面上。

[0049]一种可选的实施方式中，所述解释算子仓库存储有多个版本的解释算子，所述装置还包括发布模块；
[0050]所述发布模块，用于响应于针对所述解释算子仓库中的目标版本的解释算子的发布触发操作，对所述目标版本的解释算子进行发布；其中，发布的解释算子用于供所述待解释数据匹配。

[0051]一种可选的实施方式中，所述执行器还包括订阅模块；
[0052]所述订阅模块，用于通过数据集成总线向机器学习平台订阅目标AI模型的待解释数据生成事件；
[0053]相应的，所述算子匹配模块，具体用于在所述订阅模块接收到目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子。

[0054]一种可选的实施方式中，所述执行器还包括模型检测模块；
[0055]所述模型检测模块，用于对接收到的所述待解释数据进行一致性校验，并在所述待解释数据通过一致性校验后，触发所述算子匹配模块。

[0056]一种可选的实施方式中，所述设计器还包括领域规则模块；
[0057]所述领域规则模块，用于确定与所述目标AI模块对应的预设领域规则后，将所述预设领域规则存储于所述解释算子仓库中。

[0058]第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。

[0059]第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。

[0060]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0061]本公开实施例提供了一种实现人工智能可解释的方法，首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。

其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。

本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。

附图说明
[0062]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

[0063]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0064]图1为本公开实施例提供的一种实现人工智能可解释的方法流程图；
[0065]图2为本公开实施例提供的另一种实现人工智能可解释的方法流程图；
[0066]图3为本公开实施例提供的一种实现人工智能可解释的应用场景示意图；[0067]图4为本公开实施例提供的一种具体实现人工智能可解释的示意图；
[0068]图5为本公开实施例提供的一种实现人工智能可解释的装置结构示意图；[0069]图6为本公开实施例提供的一种实现人工智能可解释的设备结构示意图。

具体实施方式
[0070]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。

需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

[0071]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

[0072]目前，在面向机器学习场景下，需要实现人工智能可解释的功能，例如，在银行系统中，对于反洗钱行为识别中认定为洗钱行为的依据将成为判案的证据；在贷款审批场景中，对于客户申请的批准和拒绝，需要为客户提供解释。

另外，在涉及公平性的采购中解释供应商的选择或出价；基于政策的内容审核中，对于被拒绝的政策外的广告或社交媒体发布等，需要提供解释；在医疗保险中，对于被拒绝的索赔的解释是强制性的等等。

[0073]为此，本公开提供了一种实现人工智能可解释的方法，首先，接收目标AI模型对应的待解释数据，其中，待解释数据中包括特征数据和/或模型数据，以及预估数据。

然后，确定与待解释数据匹配的解释算子，最终，运行解释算子对待解释数据进行解释，得到解释结果。

可见，本公开能够对目标AI模型对应的待解释数据提供解释结果，实现人工智能可解释的功能。

[0074]基于此，本公开实施例提供了一种实现人工智能可解释的方法，参考图1，为本公开实施例提供的一种实现人工智能可解释的方法流程图，该方法包括：
[0075]S101：接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。

[0076]本公开实施例中，在进行人工智能可解释之前，首先从机器学习平台的数据管理库中获取目标AI模型对应的待解释数据，其中，待解释数据可以包括特征数据和/或模型数据以及预估数据。

[0077]其中，特征数据可以为人工智能处理中从样本中提取到的特征，模型数据可以为目标AI模型的模型类型以及模型参数等数据，例如，模型类型可以为梯度提升决策树GBDT、
逻辑回归LR、卷积神经网络CNN等。

预估数据可以为预估样本的数据，例如预估样本包含的特征、预估结果等数据。

[0078]S102：确定与所述待解释数据匹配的解释算子。

[0079]本公开实施例中，预先设置多个解释算子，用于实现人工智能可解释的功能。

具体的，在接收到目标AI模型对应的待解释数据之后，从预先设置的多个解释算子中匹配到与待解释数据匹配的解释算子，用于对待解释数据进行解释。

[0080]S103：运行所述解释算子对所述待解释数据进行解释，得到解释结果。

[0081]本公开实施例中，在确定与待解释数据匹配的解释算子之后，运行解释算子以便对待解释数据进行解释，得到解释结果。

其中，解释结果用于从特征、模型等角度对待解释数据进行解释。

[0082]本公开实施例提供的实现人工智能可解释的方法中，首先，接收目标人工智能AI 模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。

其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。

本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。

[0083]在上述实施方式的基础上，本公开还提供了一种实现人工智能可解释的方法，参考图2，为本公开实施例提供的另一种实现人工智能可解释的方法流程图，该方法包括：[0084]S201：获取与所述目标AI模型相关的元数据。

[0085]本公开实施例提供的实现人工智能可解释的方法可以包括设计和执行两部分功能，其中，在执行人工智能可解释之前，首先对人工智能可解释的方法进行设计，然后具体对设计得到的人工智能可解释的方法执行，以实现人工智能可解释功能。

[0086]在对人工智能可解释的方法进行设计的阶段，首先获取目标AI模型相关的元数据，其中，目标AI模型相关的元数据可以包括特征元数据和/或模型元数据，具体的，特征元数据可以包括用于训练目标AI模型的训练样本的特征数据，模型元数据可以包括目标AI模型的模型类型、模型参数等模型相关数据。

[0087]S202：确定与所述元数据匹配的解释方案。

[0088]本公开实施例中，在获取到与目标AI模型相关的元数据之后，获取与元数据匹配的解释方案。

[0089]具体的，如果与目标AI模型相关的元数据包括特征元数据和/或模型元数据，则确定与特征元数据匹配的特征解释方案，和/或，确定与模型元数据匹配的模型解释方案。

其中，特征解释方案用于从特征角度实现人工智能可解释，而模型解释方案用于从模型角度实现人工智能可解释。

[0090]一种可选的实施方式中，可以将特征元数据中的至少一个维度特征确定为目标维度特征，然后，基于目标维度特征对应的数据类型，确定与目标维度特征匹配的特征解释方案。

[0091]其中，目标维度特征可以包括目标AI模型的训练样本中的至少一种特征，例如，目标维度特征可以包含训练样本中的年龄特征、身高特征和性别特征共三种特征。

[0092]基于目标维度特征对应的数据类型，确定与目标维度特征匹配的特征解释方案。

具体的，特征解释方案可以包括维度特征分布、可视化定义、低维聚类、高维聚类等，可以利
用人机交互界面的方式，基于目标维度特征对应的数据类型，选择适用的特征解释方案，用于从目标维度特征进行人工智能可解释。

例如，对于目标维度特征可以包含训练样本中的年龄特征、身高特征和性别特征时，可以基于目标维度特征选择维度特征分布作为与目标维度特征匹配的特征解释方案。

[0093]实际应用中，可以基于目标维度特征的数据类型，以及人工智能可解释的需求，确定与目标维度特征匹配的特征解释方案。

[0094]另一种可选的实施方式中，可以基于模型元数据中的模型类型，确定与模型元数据匹配的模型解释方案。

具体的，可以预先设置特定模型类型分别对应的模型解释方案，其中，特定模型类型可以包括线性模型、参数模型或树模型。

[0095]也就是说，在确定模型元数据中的模型类型为线性模型、参数模型或树模型时，直接选择预先设置的该模型类型对应的模型解释方案即可。

[0096]如果模型元数据中的模型类型不属于特定模型类型，则可以基于模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。

[0097]一种可选的实施方式中，可以获取目标AI模型的输入输出数据，然后基于输入输出数据构建简单模型，进而基于构建的模型确定能够与模型元数据匹配的模型解释方案。

[0098]具体的，可以选择黑盒建模方法，基于目标AI模型的输入输出数据构建模型，进而基于构建的模型确定能够与模型元数据匹配的模型解释方案。

[0099]另一种可选的实施方式中，还可以为预估数据确定匹配的解释方案，其中，相关图(Partial Dependence Plot)、个体条件期望(Individual Conditional Expectation)、累积局部效应图(Accumulated Local Effects Plot)、SHAP方法(SHapley Additive exPlanations)等，均可以作为预估数据的解释方案，可以从中选择至少一个作为预估数据的解释方案，用于对预估数据进行解释。

[0100]例如，相关图可以作为预估数据的解释方案，用于从相关度的角度对预估数据进行解释。

[0101]S203：将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。

[0102]本公开实施例中，在确定元数据匹配的解释方案之后，将元数据与解释方案之间的对应关系保存为一个解释算子，用于实现人工智能可解释功能。

[0103]实际应用中，在对人工智能可解释的方法进行设计的阶段，可以得到多个保存为解释算子的元数据与解释方案的对应关系。

[0104]S204：接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。

[0105]S205：确定与所述待解释数据匹配的解释算子。

[0106]S206：运行所述解释算子对所述待解释数据进行解释，得到解释结果。

[0107]在对人工智能可解释的方法执行的阶段，可参照上述实施例中的S101‑S103进行理解，在此不再赘述。

[0108]本公开实施例提供的实现人工智能可解释的方法中，用户可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高。