Understanding black-box predictions via influence functions

1. 前言众所周知，现在很多流行的机器学习模型对于我们来说就是一个黑盒子，尤其对于深度神经网络来说，网络的解释性一直是学者们很头疼的问题。一种对机器学习模型进行解释的方法是尝试找到训练数据中对结果影响最大的那部分数据点。作者应用了稳健统计学概念中的Influence Function ，来获得损失函数关于单个数据点的变化。另外，针对该方法计算量大的问题，作者提出了高效的近似算法；针对该方法对于函数可

Purpose **To formalize the impact of a training point on a prediction, we ask the counterfactual: what would happen if we did not have this training point, or if the values of this training point w

2017年ICML的最佳论文奖被来自于斯坦福大学的Pang Wei Koh和Percy Liang拿下，论文名是《Understanding Black-box Predictions via Influence Functions》，研究内容是关于神经网络的可解释性。...

该文章从鲁棒性扰动的角度出发，对深度学习模型的可解释性进行分析。

原文标题：Paper Dissected: Understanding Black Box Predictions via Influence Functions Explained 原文作者：Keita Kurita (Personal Page) 译文作者：Morton Wang 假设你正在训练一个图片分类器，然而模型的预测结果就像下图一样让你猝不及防： 问题：面对这种情况，你会采取怎样的措施呢？ Understanding Black Box Predictions via Influence .

论文——Understanding Black-box Predictions via Influence Functions1. 介绍2. 方法2.1 一些定义2.2 更新（扰动）一个训练点未完待更新 1. 介绍 《Understanding Black-box Predictions via Influence Functions》 这篇paper是来自2017年的ICML best paper的，其背景在摘要部分已经写明，即为了解释黑盒预测。 所谓黑盒预测，在深度学习中，一个深层次的神经网络，往往能

考虑一个预测问题，设X是输入空间（例如：图片），Y是输出空间（例如：样本），记训练数据为，其中,对于一个训练点和网络参数,记是模型在参数下在数据点的损失。表示经验风险。对于一个机器学习问题，记模型在给定训练集上的最优参数是.假设经验风险对于模型参数二阶可导且凸。考虑以下问题。

Understanding Black-box Predictions via Influence Functions阅读笔记，主要对利用影响函数的4个案例进行理解。

作者：tonygsw 论文地址：https://arxiv.org/pdf/1703.04730.pdf 论文对应的github：https://github.com/kohpangwei/influence-release 1.背景：     额。。之前去某学校夏令营中听一个老师说现在的机器学习中，用到的CNN，RNN啥的神经网络模型最大的问题就是可解释性差，对与绝大数的开发者来说：基本...

Cite: Koh P W, Liang P. Understanding black-box predictions via influence functions[J...

我们先讨论了模型是如何做出预测的。我们知道模型是通过训练数据得到的，我们将其写成公式，然后就知道改变训练数据以后模型会如何变化，而且我们还能通过它偏离训练数据的程度更好地理解模型的预测结果。影响函数为这些事情提供了一种高效的手段。 如何解释黑箱模型的预测呢？这篇论文利用影响函数（稳健统计学中的经典技术），通过学习算法跟踪模型的预测并追溯到训练数据，从而确定对给定预测影响最大训练点。为了将影响函数扩展到现代机器学习中，论文中设计了一个简单，高效的实现，仅需梯度oracle访问和Hessian矢量积。而且即使在

文章目录Cook DistanceInfluence Function参数影响Iup,params(z)\mathcal{I}_{up,params}(z)Iup,params​(z)损失影响Iup,loss(z,ztest)\mathcal{I}_{up,loss}(z,z_{test})Iup,loss​(z,ztest​) 网上关于这篇论文的阅读已经不少，这篇文章主要是想简单说说影响函数的具体意义 Cook Distance Di=(y^(−i)−y^)T(y^(−i)−y^)ps2=(θ(−i)

《Understanding Black-box Predictions via Influence Functions》中一些数学内容的解释

一 Hessian矩阵： 实值函数f(x)相对于n×1n×1n\times 1实向量x的二阶偏导是一个由m2m2m^2个二阶偏导组成的矩阵（称为Hessian矩阵），定义为： ∂2f(x)∂x∂xT=∂∂xT[∂f(x)∂x]∂2f(x)∂x∂xT=∂∂xT[∂f(x)∂x]{\partial ^2f(x)\over \partial x \partial x^T}={\partial \ov...

Preprocessing是Python scikit learn第六个模块，主要介绍了如何对于数据集的预处理。 以下内容包含了一些个人观点和理解，如有疏漏或错误，欢迎补充和指出。 Should I standardize the input cases (row vectors)？ 这句话的意思其实是问要不要对每一个样本做归一化。 对样本做归一化常用的有如下方式：