《可解释机器学习:黑盒模型可解释性理解指南》随笔(二)

可解释机器学习书籍内容整理和思考(五到七章),主要为模型无关可解释性、基于样本的解释以及对未来的展望。由于篇幅和个人精力有限,这里仅对书中提到的算法进行了简单的总结,具体细节还需要阅读原书或者算法相关的论文(

Chapter 5: 与模型无关的方法

与模型无关的解释系统的理想性质是:

  • 模型的灵活性
  • 解释的灵活性
  • 表示方式的灵活性

    部分依赖图

    部分依赖图(PDP)显示了一个或两个特征对机器学习模型的预测结果的边际效应。PDP可以显示目标和特征之间的关系是否是线性的、单调的或者更复杂的。

用于回归的部分依赖函数定义为:


用于回归的部分依赖函数

在实际操作中,我们通常使用蒙特卡洛方法,通过计算训练集的平均值,来得到部分依赖函数,具体公式如下图所示。


利用蒙特卡洛方法得到部分依赖函数

PDP是一种全局方法:该方法考虑所有实例,并给出有关特征与预测结果的全局关系的说明。

优点

  • PDP的计算很直观,非专业人士通常会很快理解PDP的概念。在不相关的情况下,解释很清楚
  • PDP很容易实现
  • PDP的计算具有因果关系(明确地将结果建模为特征的函数)。

缺点

  • 最大特征数为2,因为无法想象三个以上的维度。
  • 未显示特征分布,可能会过度解释几乎没有数据的区域。
  • 独立性假设是PDP最大的问题,即假定针对其计算了PDP的特征与其他特征不相关。当特征关联时,会在特征分布区域中创建实际概率非常底的新数据点。
  • 异质效应可能被隐藏,因为PDP仅显示平均边际效应

个体条件期望

个体条件期望(ICE)图为每个实例显示一条线,该条线显示了特征更改时实例会如何改变。PDP是ICE图的线的平均值

可以通过以下方式计算单个实例的ICE值:保持所有其他特征不变,通过用网格中的值替换特征的值创建该实例的变体,并使用黑盒模型对这些新创建的实例进行预测。结果是来自网络的一组特征值和相应的预测。

示例

  • 中心化ICE图
    有时很难判断ICE图在个体之间是否不同,因为它们从不同的预测开始。一种简单的解决方案是将曲线中心化于特征中的某个点,并只显示该点的预测差异。


    中心化ICE图示例
  • 导数ICE图
    另一种使得从视觉上更容易发现异质效应的方法是观察预测函数相对于特征的导数,生成的图称为导数ICE图。

优点

  • 与PDP相比,ICE图更直观
  • 与PDP不同,ICE可以揭示异质关系

缺点

  • ICE图只能有意义地显示一个特征,因为两个特征将需要绘制多个重叠曲面,导致在图中看不到任何内容。
  • 与PDP相同,如果感兴趣的特征与其他特征相关联,则根据联合特征分布,线中的某些点可能是无效的数据点
  • 如果绘制了很多ICE曲线,该图可能会过于拥挤
  • 很难看到平均值

累积局部效应图

累积局部效应(ALE)图描述了如何平均影响机器学习模型的预测。ALE图是PDP的更快、更无偏的替代方法。

动机和直觉

如果机器学习模型的特征相关,则PDP将不可信。M图避免了对不太可能出现的数据实例的平均预测,但却将特征的效应与所有相关特征的效应混合在一起。ALE图通过基于特征的条件分布计算预测差异而不是平均值,从而解决了这一问题。

下面总结每种类型的图如何在某个网格值下计算特征效应。
(1)PDP。对于某一特征,当每个数据实例具有值v时,计算模型平均预测的结果。忽略了值v是否对所有数据实例都有意义。
(2)M图。模型对某一特征的值接近值v的数据实例平均预测。得到的特征效应可能是由于该特征,也由于存在相关的特征。
(3)ALE图。在窗口中的数据实例的预测如何在某一特征围绕值v的一个小的“窗口”中变化。

理论

PDP、M图和ALE图的共同点是将复杂的预测函数简化为仅依赖一个(或两个)特征的函数。这三种方法都通过平均其他特征的效应来简化特征,但是在计算预测平均值或预测差异以及是否对边际或条件分布进行平均方面有所不同。PDP对边际分布的预测进行平均,M图对条件分布的预测平均,ALE对预测的变化进行平均,然后将其在网格上累积。


ALE图示例

优点

  • ALE图是无偏的,这意味着在特征相关时它们仍然有效。
  • ALE图的计算速度比PDP更快
  • ALE图的解释很清楚:在给定值的条件下,可以从ALE图中读取更改特征对预测的影响。ALE图以0为中心。2D ALE图仅显示交互:如果两个特征不交互,则图不显示任何内容。
    总而言之,在大多数情况下,宁可使用ALE图也不用PDP,因为特征通常在某种程度上相关。

缺点

  • ALE图可能会变得有些不稳定(即很多小起伏),有很多间隔。没有完美的解决方案来设置间隔的数量
  • 与PDP不同,ALE图不附带ICE曲线
  • 二阶效应图解释起来有点烦人。
  • 实现更加复杂。
  • 当特征强相关时,解释仍然困难

特征交互

当特征在预测模型中特征交互时,预测不能表示为特征效应的总和,因为一个特征的效应取决于另一特征的值。

特征交互的概念

两个特征的交互项是在考虑单一特征效应后,通过改变特征而发生的预测变化。估计交互强度的一种方法是衡量预测的变化在多大程度上取决于特征的交互。这种衡量成为H统计量。

理论:弗里德曼的H统计量


部分依赖函数

H统计量

优点

  • 交互H统计量通过部分依赖函数分解,具有理论依据
  • H统计量是有意义的解释:将交互定义为由交互解释的方差的份额,即由交互解释的方差占目标方差的比例。
  • 由于统计信息是无量纲的,并且总是在0和1之间,因此它在各个特征甚至模型之间都具有可比性。
  • 统计信息会检测各种类型的交互,无论它们的形式如何。
  • 可以分析更高阶的交互,例如3个特征或更多特征之间的交互强度。

缺点

  • 计算量很大
  • 如果不使用所有数据点,则这些估计值也存在一定差异,结果可能会不稳定。建议重复计算几次H统计量,以获得稳定的结果。
  • 尚不清楚交互是否显著大于0。需要进行统计检验,但该检验在与模型无关的版本中尚不可用
  • 会结合现实中极不可能发生的特征组合
  • 有时结果是奇怪的,对于小的模拟不能产生预期的结果

置换特征重要性

置换特征重要性衡量了对特征值进行置换后模型预测误差的增加情况,这打破了特征与真实结果之间的关系。

理论


置换特征重要性算法

优点

  • 很好的解释:特征重要性是计算当特征值变化时模型误差的增加情况。
  • 特征重要性提供了对模型行为的高度压缩的、全局的洞悉
  • 特征重要度是可比较的
  • 重要性度量会自动考虑与其他特征的所有交互
  • 置换特征重要性不需要重新训练模型

缺点

  • 应该使用训练数据还是测试数据来计算特征的重要性并不明确。
  • 置换特征的重要性与模型的误差有关,这在某些情况下不是我们所需要的。
  • 需要获得真正的结果。
  • 重复置换后,结果可能会有很大差异
  • 如果特征是相关的,则置换特征重要性可能会因为不切实际的数据实例而又偏差

全局代理模型

全局代理模型是一种可解释的模型,经过训练可近似于黑盒模型的预测。可以通过解释代理模型得出有关黑盒模型的结论

理论

执行以下步骤,以获得代理模型:

  • 选择数据集X。
  • 对于选定的数据集X,获取黑盒模型的预测。
  • 选择一种可解释的模型类型(例如线性模型、决策树等)。
  • 在数据集X及其预测上训练可解释模型。 现在,已有了一个代理模型。
  • 衡量代理模型复制黑盒模型预测的效果。
  • 解释代理模型。
    一种衡量代理复制黑盒模型的能力的方法是R-平方。R-平方可以解释为代理模型捕获的方差百分比。

优点

  • 代理模型方法非常灵活:可以使用第4章中的任何模型。
  • 这种方法非常的直观和直接。
  • 使用R-平方测量,可以轻松地测量代理模型在逼近黑盒模型预测方面的表现。

缺点

  • 得出的是有关模型的结论而不是数据的结论,因为代理模型永远看不到实际结果。
  • 尚不清楚R-平方的最佳截止点是什么,以便确信代理模型与黑盒模型足够接近。
  • 对于数据集的一个子集,可解释模型可能非常接近,而对于另一子集,则可能发生很大差异。在这种情况下,对于所有数据点,对简单模型的解释不尽相同。

局部代理模型(LIME)

局部代理模型本身是可解释的模型,用于解释黑盒机器学习模型的单个实例预测。


具有可解释性约束的局部代理模型

训练局部代理模型的方法有:

  • 选择想要对其黑盒预测进行解释的感兴趣实例。
  • 扰动数据集并获得这些新样本的黑盒预测。
  • 根据新样本与目标实例的接近度对其进行加权平均。
  • 在新数据集上训练加权的、可解释的模型。
  • 通过解释局部模型来解释预测。

表格数据的LIME

LIME样本不在感兴趣的实例周围获取,而从训练数据的质心获取,这是有问题的。但这增加了某些采样点预测的结果与感兴趣的数据点不同的概率,并且LIME可以学习到一些解释。

在点周围定义有意义的邻域非常困难。当前LIyME使用指数平滑核定义邻域,它接受两个数据实例并返回一个接近度(可能优点问题,难以找到最佳核)。

文本的LIME

用于文本的LIME与用于表格数据的LIME不同,从原始文本开始,通过从原始文本中随机删除单词创建新文本。数据集用每个单词的二进制表示。如果包含相应的单词,则特征为1;如果已删除,则特征为0。

图像的LIME

随机改变单个像素可能不会对预测产生太大影响。因此,会通过将图像分割成“超像素”并“关闭”或“打开”超像素来创建图像的变化。超像素是具有相似颜色的互连像素,可以通过将每个像素替换为用户定义的颜色(例如灰色)来关闭。

优点

  • 即使替换了底层的机器学习模型,仍然可以使用相同的局部可解释模型进行解释。
  • 得到的解释是简短的(相当于选择性的),并且可能是对比性的
  • LIME是少数适用于表格数据、文本和图像的方法之一。
  • 保真度度量很好地说明可解释模型在解释感兴趣的数据实例附近的黑盒预测方面的可靠性。
  • 非常便于使用。
  • 可以使用除原始模型所用以外的其他(可解释)特征

缺点

  • 当对表格式数据使用LIME时,正确定义邻域是一个很重要但未解决的问题。但这是LIME的最大问题,也是建议谨慎使用LIME的原因。
  • 可能会出现不太可能的数据点。
  • 复杂性必须事先定义。
  • 解释不稳定。不稳定意味着很难相信这些解释,应该非常严格才行。

Shapley值

可以假设实例中的每个特征值是游戏中的“玩家”的方法解释预测,其中预测是“总支出”。Shapley值是联盟博弈论的一种方法,它显示了如何在特征之间公平地分配“总支出”。

总体思路

“游戏”是数据集单个实例的预测任务。“收益”是此实例的实际预测值减去所有实例的平均预测值。“玩家”是实例的特征值,它们协同工作以获得收益。

Shapley值是所有可能的联盟中特征值的平均边际贡献。以下图为例,该图显示了确定“禁止猫进入”的Shapley值所需的所有特征值联盟。对于每个联盟,都计算带有或不带有特征值“禁止猫进入”的公寓预测价格,并取其差异以获得边际贡献。Shapley值是边际贡献的(加权)平均值。


用于计算“禁止猫进入精确”Shapley值的所有8个联盟

示例与解释

特征值j的Shapley值的解释是:与数据集的平均预测相比,第j个特征的值对这个特定实例的预测的贡献。

详细的Shapley值

Shapley值是唯一满足有效性、对称性、虚拟性和可加性的归因方法,这些性质可以共同视为公平支出的定义。
(1)有效性。特征贡献必须加起来等于x和平均值的预测差。
(2)对称性。如果两个特征值j和对所有可能的联盟均贡献相同,则它们的Shapley值应相同。
(3)虚拟性。假设无论将特征j的特征值添加到哪个集合都会改变预测值,则它的Shapley值应为0。
(4)可加性。对于具有组合支出的游戏,例如假设训练了一个随机森林,这意味着预测是很多决策树的平均值。“可加性”保证可以分别计算每棵树的Shapley值,再取平均值,然后获得随机森林的特征值的Shapley值。

理解Shapley值的一种直观方法是:特征值以随机顺序进入房间,房间中的所有特征值都参与游戏(相当于有助于预测)。特征值Shapley值是当该特征值加入它们时,已经存在于房间中的联盟所收到的预测值的平均变化。


单个特征值的近似Shapley值估计

优点

  • 预测值与平均预测值之间的差异在实例的特征值之间公平分配(即Shapley值的有效性)。
  • Shpley值允许进行对比性解释,无须将预测与整个数据集的平均预测进行比较,可以将其与子集甚至单个数据点进行比较。
  • Shapley值是唯一具有扎实理论的解释方法,公理有效性、对称性、虚拟性、可加性为解释提供了合理的基础。

缺点

  • Shapley值需要大量的计算时间
  • Shapley值可能会被误解。Shapley值的解释是:给定当前的一组特征值,特征值对实际预测值与平均预测值之差的贡献。
  • 如果寻求稀疏解释(包含很少特征的解释),则Shapley值不是合适的解释方法。使用Shapley值方法创建的解释始终使用所有特征
  • Shapley值为每个特征返回一个简单值,但没有像LIME这样的预测模型。这意味着它不能用于对输入变化的预测做出变化的陈述。
  • 如果要计算新数据实例的Shapley值,则需要访问数据库
  • 与很多其他基于置换的解释方法一样,Shapley值方法在特征相关的条件下,会遇到不符合实际的数据实例

SHAP

SHAP是一种解释个体预测的方法。SHAP基于博弈论上的最佳Shapley值。SHAP是一种基于核的代理方法,可根据局部代理模型对Shapley值进行估算。论文作者提出TreeSHAP,这是一种基于树的模型的有效估计方法。其次,SHAP带有很多基于Shapley值聚合的全局解释方法。

SHAP的定义

SHAP的目标是通过计算每个特征对预测的贡献来解释实例x的预测。SHAP带来的创新是,Shapley值的解释表示为一种可加的特征归因方法,即线性模型,会将LIME和Shapley值联系起来。SHAP将解释指定为


SHAP解释

SHAP描述了以下三个理想的性质:

  1. 局部准确度
    局部准确度表示特征归因的总和等于要解释的模型输出。
  2. 缺失性
    缺失性表示缺失特征的归因为零。
  3. 一致性
    一致性表示,如果模型发生变化,以使特征值的边际贡献增加或保持不变(不考虑其他特征),则Shapley值也会增加或保持不变。

KernelSHAP

KernelSHAP为一个实例x估算每个特征对预测的贡献。KernelSHAP包含5个步骤:


KernelSHAP步骤

SHAP与LIME的最大区别在于回归模型中实例的权重。LIME根据实例与原始实例的接近程度对其进行加权。联盟向量中的0越多,LIME中的权重就越小。SHAP根据联盟在Shapley值估计中获得的权重对采样实例进行加权。小型联盟(即少量1)和大型联盟(即很多1)获得最大权重。它表示如果可以单独研究它们的影响,将最大限度地了解单个特征。如果一个联盟由一个特征组成,那么可以了解特征对预测的孤立的主效应。如果一个联盟只少了一个特征,那么可以了解这个特征的总效应(主效应以及特征交互)。如果一个联盟由一半的特征组成,那么对单个特征的贡献知之甚少,因为存在很多可能具有一半特征的联盟。


SHAP核

TreeSHAP

如果以所有特征为条件,即如果S是所有特征的集合,那么来自实例x所在节点的预测将是期望预测。如果对任何特征都没有条件,即如果S为空,则将使用所有终端节点的预测的加权平均值。如果S包含一些特征 但不是全部特征,则将忽略不可到达节点的预测。不可到达意味着通向该节点的决策路径与xS中的值相矛盾。在剩余的终端节点中,根据节点大小(即该节点中训练样本的数量)对预测结果进行加权平均。

有关 TreeSHAP的详细信息,请参阅原始论文。可以将计算扩展到更多的树:由于Shapley值的可加性,树集成的Shapley值是各个树的Shapley值的加权平均值。

SHAP特征重要性

SHAP特征重要性背后的想法很简单:具有较大的Shapley绝对值的特征很重要。由于需要全局重要性,因此在数据中对每个特征的Shapley绝对值取平均值。


SHAP特征重要性图

SHAP概要图

SHAP概要图将特征重要性与特征效应结合在一起。SHAP概要图上的每个点都是一个特征和一个实例的Shapley值。


SHAP概要图

SHAP依赖图

SHAP特征依赖关系可能是最简单的全局解释图:

  • 选择一个特征。
  • 对于每个数据实例,绘制一个点,其中在横坐标轴上是特征值,在纵坐标轴上是相应的Shapley值。
  • 完成。

    SHAP依赖图

SHAP交互值

交互效应是在考虑了单个特征效应之后的附加的组合特征效应。博弈论中的Shapley交互指数定义为:


Shapley交互指数
该公式减去了特征的主效应,因此在考虑了单个效应后得到了纯交互效应。与计算Shapley值一样,对所有可能的特征联盟S上的值求平均值。

具有交互可视化的SHAP依赖图

聚类SHAP值

可以借助Shapley值对数据进行聚类。聚类的目的是找到相似的实例组。如下图所示,横坐标轴上的每个位置都是数据的一个实例。红色SHAP值表示会增加预测,蓝色SHAP值表示会降低预测。聚类突出:右侧是预测癌症概率较高的人群。


堆叠的SHAP解释按解释相似性聚类

优点

  • SHAP在博弈论中具有扎实的理论基础;预测结果在特征值中公平分配;得到对比性解释,将预测与平均预测进行比较。
  • SHAP连接LIME和Shapley值
  • SHAP可以快速实现基于树的模型。这是SHAP普及的关键,因为采用Shapley值的最大障碍是计算速度慢。
  • 快速的计算使计算全局解释模型所需的很多Shapley值成为可能。

缺点

  • KernelSHAP的计算速度很慢
  • KernelSHAP忽略特征相关性。大多数其他基于置换的解释方法都存在此问题。TreeSHAP通过显式建模条件期望预测解决此问题。
  • Shapley值的缺点也适用于SHAP:Shapley值可能会被错误解释,并且需要访问数据才能为新数据计算SHAP值(TreeSHAP方法除外)。

Chapter 6:基于样本的解释

基于样本的解释方法选择数据集的特定实例解释机器学习模型的行为或解释底层数据分布。

与模型无关的方法不同的不同之处在于,基于样本的方法通过选择数据集的实例而不是通过创建特征概要(例如特征重要性或PDP)来解释模型。

基于样本的解释蓝图是:事物B与事物A类似,事物A导致Y,因此预测事物B也将引起Y。

本章涵盖以下基于样本的解释方法:

  • 反事实解释。实例如何改变才能显著地改变其预测?通过创建反事实实例,了解模型如何做出预测并可以做出解释。
  • 对抗样本。用来欺骗机器学习机器学习模型的反事实。重点是翻转预测而不是解释预测。
  • 原型。从数据中选择具有代表性的实例,而批评是那些原型无法很好地表示实例。
  • 有影响力的实例。对预测模型的参数或预测本身影响最大的训练数据点。识别和分析有影响力的实例有助于发现数据问题、调试模型并更好地了解模型的行为。
  • K-近邻。基于样本的机器学习模型。

反事实解释

反事实解释按以下形式描述了一种因果关系:“如果没有发生X,那么Y就不会发生。”

预测的反事实解释描述了将预测更改为预定义输出时特征值的最小变化

如何定义一个好的反事实解释?第一个要求是,反事实实例应尽可能紧密地产生预定义的预测。另一个标准是反事实实例应该与特征值实例尽可能相似。这需要两个实例之间的距离度量。最后一个要求是,反事实实例应具有可能的特征值

生成反事实解释

一种比反复试验进行搜索更好的生成反事实解释的方法:首先,定义一个损失函数,该函数讲感兴趣的实例、反事实和期望结果作为输入。损失度量反事实的预测结果与预定义结果之间的距离。可以使用优化算法直接优化损失,也可以通过在实例周围进行搜索来优化损失。本节采用以下损失:


反事实损失函数
产生反事实的方法很简单:

产生反事实的方法

优点

  • 反事实解释很清楚。如果实例的特征值随着反事实而改变,则预测将更改为预定义结果。
  • 给了两种报告结果的选择,既可以报告反事实实例,也可以突出显示在感兴趣的实例和反事实实例之间改变了哪些特征。
  • 反事实方法不需要访问数据或模型,它只需要访问模型的预测函数,例如该函数也可以通过Web API运行。
  • 该方法还适用于不使用机器学习的系统
  • 相对容易实现

缺点

  • 对于每个实例,通常会找到多个反事实的解释(“罗生门效应”)
  • 对于给定的公差,不能保证找到反事实的实例
  • 不能很好地处理具有许多不同可能值的分类特征

对抗样本

对抗样本是指当对一个样本的某一个特征值做出一个微小的变化而使得整个模型做出一个错误的预测。对抗样本是反事实实例,旨在欺骗模型而不是解释模型。

方法与示例

图像领域常用方法:

  1. 基于梯度的优化方法
  2. 快速梯度符号方法
  3. 单像素攻击
  4. 对抗补丁
  5. 鲁棒的对抗样本
  6. 黑盒攻击

网络安全视角

如何保护机器学习系统免受对抗样本的攻击?主动的方法是使用对抗样本对分类器进行迭代重新训练,也称为对抗训练。其他方法基于博弈论,例如学习特征的不变转换或鲁棒优化(如正则化)。另一种推荐的方法是使用多个分类器,而不是一个分类器,并让它们对预测进行投票(即集成),但这并不能保证有效,因为它们都可能遭受类似的对抗样本。另一种效果也不佳的方法是梯度掩模(Gradient Masking),它通过构建没有用梯度的模型,例如使用最近邻分类器而不是原始网络模型。

原型与批评

一个原型是一个数据实例,是所有数据的代表。一个批评是不能由一组原型很好地代表的一个数据实例。批评的目的是与原型一起提供见解,尤其是对于不能被原型很好代表的数据点。


具有两个特征的数据分布的原型和批评

理论

MMD-critic程序可以概括如下:

  • 选择要查找的原型和批评数量。
  • 通过贪婪搜索找到原型。选择原型,以使原型的分布接近数据分布。
  • 通过贪婪搜索找到批评。当原型的分布不同于数据的分布时,选择点作为批评。

作为最基本的成分,需要一个核函数估计数据密度。核是根据接近度对两个数据点加权的函数。基于密度估计,需要一种度量来显示两种分布有何不同,以便可以确定选择的原型的分布是否接近数据分布。这可以通过测量最大平均差异来解决。同样基于核函数,需要Witness函数显示出特定数据点上两种分布有何不同。通过Witness函数,可以选择批评,即原型和数据的分布不同且Witness函数具有较大绝对值的数据点。最后一个成分是寻找好的原型和批评的搜索策略,可以通过简单的贪婪搜索来解决。

将$MMD^2$度量、核和贪婪搜索结合在一种算法中,以查找原型:

  • 从空的原型列表开始。
  • 当原型数量低于所选数量m时:对于数据集中的每个点,检查将点添加到原型列表后$MMD^2$减少了多少;将最小化$MMD^2$后的数据点添加到列表中。
  • 返回原型列表。

可以通过Witness函数找到批评,从函数中可知,在特定点上,两个密度估计值相差多少。

MMD-critic可以通过三种方式增加可解释性:通过帮助更好地理解数据分布,通过建立可解释的模型,通过使黑盒模型可解释。

优点

  • 当展示原型和批评而不是一个类的随机图像时,参与者表现得最好
  • 可以自由地选择原型和批评的数量
  • MMD-critic使用数据的密度估计,这适用于任何类型的数据和任何类型的机器学习模型
  • 该算法易于实现
  • MMD-critic在提高解释性方面非常灵活,它可以用来了解复杂的数据分布,可用于构建可解释的机器学习模型,或者可以阐明黑盒机器学习模型的决策。
  • 找到批评是独立于原型的选择过程。根据MMD-critic选择原型是有意义的,因为这样一来,可以使用相同的比较原型和数据密度的方法创建原型和批评。

缺点

  • 在数学上,原型和批评的定义不同,但它们的区别是基于截断值(原型的数量)。任何解释都必须考虑到批评在很大程度上取决于现有原型和原型数量的截断值。
  • 必须选择原型和批评的数量
  • 其他的参数是核的选择和核缩放参数,它们面临着与原型和批评的数量相同的问题:如何选择核及其缩放参数
  • 它以所有特征为输入,而忽略了某些特征可能与预测目标结果无关的事实
  • 有一些可用的代码,但是它还没有被很好地打包成文档化的软件实现出来

有影响力的实例

如果训练实例从训练数据中被删除后,会大大改变模型的参数或预测,则称这个实例为“有影响力的”。通过识别有影响力的训练实例,可以“调试”机器学习模型,并更好地解释它们的行为和预测。

本节介绍两种识别有影响力的实例的方法,即删除诊断和影响函数。这两种方法均基于稳健统计,稳健统计提供的统计方法受异常值或违反模型假设的影响较小。稳健统计还提供了一些方法来测量数据的稳健估计(例如均值估计或预测模型的权重)。

  1. 异常值
    一个异常值(也成为离群值)是远离数据集中其他实例的一个实例。异常值可能是批评,当异常值影响模型时,它也是一个有影响力的实例。

  2. 有影响力的实例
    有影响力的实例是数据实例,删除它对训练模型有很大影响。在从训练数据中删除特定实例后,并对模型进行重新训练时,模型参数或预测变化越大,该实例的影响力就越大。

删除诊断

DFBETA衡量删除实例对模型预测的影响。Cook距离衡量删除实例对模型预测的影响。对于这两种方法,必须重复训练模型,每次都忽略单个实例。删除诊断是将具有所有实例的模型参数或预测,与从训练数据中删除某个实例后的模型参数或预测进行比较。

影响函数

影响函数是模型参数或预测对训练实例的依赖程度的度量。该方法不是删除实例,而是仅通过很小的步幅对损失中的实例加权。该方法包括使用梯度和Hessian矩阵近似当前模型参数的损失。损失加权与删除实例类似。

影响函数背后的关键思想是通过无限小的步幅对某个训练实例的损失进行加权,从而产生新的模型参数。这个公式背后的逻辑是:如果将训练数据中的某个特定实例稍微增加一点权重,损失会产生多大变化?优化这个新的组合损失向量又是什么样子的?

识别有影响力的实例的优点

  • 对有影响力的实例的研究强调了训练数据在学习过程中的作用。这使影响函数和删除诊断成为机器学习模型的最佳调试工具之一
  • 删除诊断是与模型无关的,这意味着该方法可以应用于任何模型。基于导数的影响函数也可以广泛地应用于模型。
  • 可以使用这些方法比较不同的机器学习模型并刚好地理解它们的不同行为,而不仅仅是比较预测性能。
  • 通过导数的影响函数也可以用来创建对抗样本
  • 该方法可以推广到以下形式的任何问题:“……删除或增加实例z会发生什么?”可以在其中用任何函数来填充“……”。可以分析训练实例在多大程度上影响模型的总损失。可以分析训练实例对特征重要性的影响程度。可以分析在训练决策树时,训练实例对第一次分割所选择的特征的影响力有多大。

识别有影响力的实例的缺点

  • 删除诊断的计算成本非常高昂,因为它们需要重新训练。
  • 影响函数是删除诊断的一种很好的替代方法,但仅适用于参数可微的模型,如神经网络。
  • 影响函数仅仅是近似的,因为该方法在参数周围二次展开。
  • 在判断一个实例为有影响力或没有影响力时,其影响力度量没有明确的截断值
  • 影响力度量仅考虑单个实例的删除,而不是一次删除多个实例。

Chapter 7:水晶球

作者对可解释机器学习未来的“预测”基于三个前提:

  1. 数字化:任何信息都将被数字化
  2. 自动化:当一个任务可以被自动化,并且自动化的成本低于一段时间内执行该任务的成本时,该任务将被自动化
  3. 错误的指定:不可能完美地指定一个有所限制的目标(不完善的目标规范与自动化相冲突)

机器学习的未来

  1. 机器学习将缓慢而稳定地发展
  2. 机器学习将推动很多事情
  3. 可解释性工具促进了机器学习的应用

可解释性的未来

  1. 重点放在与模型无关的可解释性工具上
  2. 机器学习将是自动化的并具有可解释性
  3. 不分析数据而是分析模型
  4. 数据科学家将使自己自动化
  5. 机器人和程序会自我解释
  6. 可解释性可以促进及其智能研究
文章目录
  1. 1. Chapter 5: 与模型无关的方法
    1. 1.1. 部分依赖图
      1. 1.1.1. 优点
      2. 1.1.2. 缺点
    2. 1.2. 个体条件期望
      1. 1.2.1. 示例
      2. 1.2.2. 优点
      3. 1.2.3. 缺点
    3. 1.3. 累积局部效应图
      1. 1.3.1. 动机和直觉
      2. 1.3.2. 理论
      3. 1.3.3. 优点
      4. 1.3.4. 缺点
    4. 1.4. 特征交互
      1. 1.4.1. 特征交互的概念
      2. 1.4.2. 理论:弗里德曼的H统计量
      3. 1.4.3. 优点
      4. 1.4.4. 缺点
    5. 1.5. 置换特征重要性
      1. 1.5.1. 理论
      2. 1.5.2. 优点
      3. 1.5.3. 缺点
    6. 1.6. 全局代理模型
      1. 1.6.1. 理论
      2. 1.6.2. 优点
      3. 1.6.3. 缺点
    7. 1.7. 局部代理模型(LIME)
      1. 1.7.1. 表格数据的LIME
      2. 1.7.2. 文本的LIME
      3. 1.7.3. 图像的LIME
      4. 1.7.4. 优点
      5. 1.7.5. 缺点
    8. 1.8. Shapley值
      1. 1.8.1. 总体思路
      2. 1.8.2. 示例与解释
    9. 1.9. 详细的Shapley值
      1. 1.9.1. 优点
      2. 1.9.2. 缺点
    10. 1.10. SHAP
      1. 1.10.1. SHAP的定义
      2. 1.10.2. KernelSHAP
      3. 1.10.3. TreeSHAP
      4. 1.10.4. SHAP特征重要性
      5. 1.10.5. SHAP概要图
      6. 1.10.6. SHAP依赖图
      7. 1.10.7. SHAP交互值
      8. 1.10.8. 聚类SHAP值
      9. 1.10.9. 优点
      10. 1.10.10. 缺点
  2. 2. Chapter 6:基于样本的解释
    1. 2.1. 反事实解释
      1. 2.1.1. 生成反事实解释
      2. 2.1.2. 优点
      3. 2.1.3. 缺点
    2. 2.2. 对抗样本
      1. 2.2.1. 方法与示例
      2. 2.2.2. 网络安全视角
    3. 2.3. 原型与批评
      1. 2.3.1. 理论
      2. 2.3.2. 优点
      3. 2.3.3. 缺点
    4. 2.4. 有影响力的实例
      1. 2.4.1. 删除诊断
      2. 2.4.2. 影响函数
      3. 2.4.3. 识别有影响力的实例的优点
      4. 2.4.4. 识别有影响力的实例的缺点
  3. 3. Chapter 7:水晶球
    1. 3.1. 机器学习的未来
    2. 3.2. 可解释性的未来