设为首页 | 收藏本站欢迎来到!

NeurIPS 2019:两种视角带你了解网络可解释性的研

作者:admin      来源:admin      发布时间:2020-10-31

以下就两篇论文从两种不同的视点来描绘研讨者们关于泛化才能的了解和解说。

论文 1: Intrinsic dimension of data representations in deep neural networks

论文链接:https://arxiv.org/pdf/1905.12784v1.pdf

关于一个深度网络,网络经过多层神经层渐进的转化输入,这其间的几许解说应该是什么样的呢?本文的作者经过试验发现,以固有维度为切入点,可以发现练习好的网络比较较未练习网络而言,其每层的固有维度数量级均小于每层单元数,并且 ID 的存在可以来衡量网络的泛化功用。

ID 是描绘数据信息所需求的最小的且不形成重要信息丢失的维度。现在的深度神经网络中,咱们遍及的都知道过量的参数导致了模型的过参数化,带来了冗余信息,神经网络紧缩便是由此发生的。那么,有没有什么定量的统计量来显现网络的复杂度或许评价网络呢,本文便是以固有维度为切入点来探究该统计量和模型泛化才能之间的联络。

作者用 TwoNN 这个办法来估量 ID,TwoNN 的简略流程如下图所示。

图 1: TwoNN 估量 ID 的流程。

图 1 左图标明的是某神经网络第二层的两个维度的数据点集,右图是运用 TwoNN 算法扼要估量 ID 的流程。首要,TwoNN 算法随机采样一个数据点,并经过核算间隔选取出这个数据点对应的最近邻和其次近邻,核算这两个街坊之间的比值。经过概率散布预算出这个比值的散布,终究经过屡次采样核算预算出数据的 ID,例如,在图 1 中的数据中 ID 约为 1。

当 ID 在 20 以下的时分,TwoNN 算法可以无限的迫临实在的 ID。而 ID 的实在数值较大,且仅有有限的采样数据的时分,TwoNN 估量出来的 ID 是小于实在值的。因而,在这个情况下,使用 TwoNN 估量出来的 ID 值可以看做一个实在 ID 值的下界。

以上是对 ID 的介绍以及评价办法的介绍。使用这个预算办法,本文。可是,总的来说本文的要点部分便是经过对 ID 的研讨,答复如下的几个问题。

在 CNN 网络中,不同的 layer 之间,ID 是否会改变?

ID 和网络的线性维度是否有差异?

ID 和网络泛化功用之间是否有联络?

接下来,咱们来一个个的答复如上的三个问题。

问题 1: 在 CNN 网络中,不同的 layers 之间,ID 是否会改变?

首要,作者在 VGG-16 上用 ImageNet 预练习,并在一个 1440 张的归纳数据集上微调,得到如下图所示的曲线。

图 2: ID 在不同的 layer 之间的改变。

从图 2 中,咱们可以显着的看到,ID 在不同层之间是有个先上升后下降的进程。尤其是在终究一层,ID 到达一个最小的量级。

图 3: ID 和肯定深度、相对深度的联络。

在图 2 中,咱们现已发现 ID 在层级之间是够「驼背」的款式,那么这个驼峰的呈现是和肯定深度仍是相对深度有关呢?

图 3 可以答复这个问题,在图 3 的右图中,咱们可以发现这个趋势跟相对深度有关,根本的驼峰呈现在 0.2-0.4 的相对深度之间。当然从图 3 的许多试验,也更能佐证图 2 的 ID 和层之间的趋势。

问题 2: ID 和网络的线性维度是否有差异?

为了答复第二个问题,作者选用了 PCA 作为线性降维的办法来和 ID 比照。

图 4: PCA 和 ID 与模型数据降维之间的联络。

在图 4A 中,PCA 的特征值谱中呈现了一个空隙,这个可以标明数据降维之后并不在一个线性的空间中,而是一个曲折流形中。

问题 3: ID 和网络泛化功用之间是否有联络?

图 5: 网络终究一层 ID 和精度之间的联络。

图 5 是作者在一系列的网络试验中,以精度为衡量方针,核算不同网络终究一层的 ID。咱们可以看到这个趋势大概是一个线性的联络。这就标明,终究一层的 ID 跟网络的测验精度之间是存在这严密的联络的,那是否也可以换句话说,该层的 ID 可以标明网络的泛化功用。

作者还做了许多的其他辅佐的试验,比方以上的定论在未练习的网路上不成立,在随机的标签 labels 上练习出来的网络中也不成立等等。可是,总的来说作者仍是会集在是三个问题。

ID 可以用来标明网络中的信息。其趋势体现为层级之间的先上升后下降。

网络的泛化功用可以用 ID 来衡量,也便是终究一层的 ID。

深度网络的降维进程将数据降维到一个曲折流形的空间,而不是线性空间,这也可以在必定程度上标明网络的泛化功用。

笔者以为,只是用 ID 这个统计量来解说网络功用当然仍是不行的,可是这并不阻碍经过 ID 来指明之后网络练习或许测验的提高方向。比方说,咱们是否可以用 ID 的趋势来判别一个网络规划的是够合理,练习的是否充沛呢,或许又比方说,咱们还可以经过终究一层的 ID 来开始评价网络的泛化功用呢?

论文 2: This Looks Like That: Deep Learning for Interpretable Image Recognition

论文链接:https://arxiv.org/pdf/1806.10574.pdf

当人遇到图画判别的时分,总是会分化图片并解说分类的理由,而机器在判别的时分总是跟人的判别会有些间隔。本文旨在缩小机器分类和人分类之间的间隔,提出了一个 ProtoPNet,依据人判别的机理来分类图画。本文网络经过分化图画,得到不同的原型部分,经过组成这些信息终究得到正确的分类。

图 1: 怎样判别这个鸟的品种?

图 1 显现的是一个褐雀鹀,那么你怎样判别出来的呢?一般来说,咱们会答复,它的头部、它的翅膀部分很像一个典型的褐雀鹀。这个时分,你会发现在人类的判别机制中,咱们是侧重重视图画的几个部分并且跟给定的物种典型的部分来比照。这便是所谓的「这个看上去像那个」。

已然人是经过 this looks like that 来解说的,那么机器学习的模型是否可以仿照这个进程来解说模型推理的依据呢?本文提出的 ProtoPNet 便是从推理的可解说性视点来处理图画。该网络的结构如下图所示:

图 2: ProtoPNet 网络结构。

如图 2 所示,输入一张推理图片,输出分类的成果。该网络首要由卷积网络 f,原型层以及一个全衔接层 h 组成。

卷积网络 f:在卷积网络部分,网络可以是 VGG,ResNet 等经典结构,并且以 ImageNet 的预练习参数初始化。假定输入图画的巨细为 224*243,经过卷积网络输出的巨细为 HWD,令 z=f 标明卷积输出。这一部分也便是常见的特征提取效果。

原型层:在 prototype layer 部分,网络学习了 m 个原型 P,这些原型 P 以卷积层的特征图为输入,经过 m 组的卷积网络得到不同 patch 的原型激活值,该原型激活图的巨细在本文中为 h=w=1。不同的原型 p 可以标明不同的典型部位,核算 pj 和 z 之间的 L2 间隔,并将这个间隔转化为类似度分数。这种由分数标明的激活图标明晰图画中的典型部分的明显强度。

全衔接层 h:经过前面的提取特征并聚类到原型得到类似度分数后,m 个类似度分数经过全衔接层 h,得到终究的输出单元,经过 softmax 之后得到猜测概率,分类图片成果。

本文在练习这个网络的时分,经过对以下三个进程迭代的进行优化完结网络更新。

除了终究一层前面运用 SGD

典型特征的映射进程

终究一层的凸优化

在第二部分,咱们概述了这个网络的结构部分并且解说了每个部分的效果和组成,可是咱们并不知道这个网络为什么能学习人的解说机制呢?那么接下来,咱们来看看怎么经过这个网络的前历来描绘这个网络的解说原理。

图 3: 网络的解说进程。

如图 3 所示,最上面的是一张测验图片。在网络的推理进程中,为什么可以判定为一个红腹啄木鸟而不是红顶啄木鸟呢?

图 3 的左半部分是网络判别测验图片为红腹啄木鸟的依据。

榜首列的三张图为测验相片的经过网络圈出来的典型部分,第二列和第三列标明的是练习图片中的原型,第四列为激活特征图显现测验图画中的原型地点的明显性方位。

在第二列和第三列咱们可以看到三个典型的特征部分,头部,翅膀以及喙。当网络经过卷积层 f 提取特征之后,并经过原型层得到这些明显特征之后,网络经过对这些典型分数进行加权求和,终究网络得到判别为红腹啄木鸟的置信度得分 32.736。

相同,图 3 的右边是判别为红顶啄木鸟的置信度分数为 16.886。经过选取最大的 softmax 的数值,网络可以得出这个测验图画的终究分类。这一个进程也便是网络在推理进程中,looks like 可以得到很好的解说。

作为一个解说性的网络,并不代表网络本身的推理才能不强,作者在这个视点上做了如下的比照试验。

图 4: ProtoPNet 和其他网络的功用比照。

网络首要以没有解说功用的网络为主,也便是辨认网络,比方常见的分类网络。图 4 上半部分比照没有可解说性功用的网络例如 VGG16,ResNet34 等等,ProtoPNet 精度下降约 3.5%。可是,经过添加适宜的原型数量,ProtoPNet 仍是可以提高功用的。

而与其他研讨者提出的解说网络比较,图 4 下半部分比照这些网络的辨认功用,比方重视方针层面的 CAM,重视部分注意力的 Part R-CNN,ProtoPNet 使用部分层次注意力和原型之间的结合,能到达一个比较好的成果。

总而言之,本文的解说性网络不只仅在解说网络的判别原理,并且依据这个原理可以到达一个较好的辨认精度。在我看来,经过比照 ProtoPNet 和不同网络功用,验证了作者论说的,ProtoPNet 不只仅重视实例层或许只是重视部分信息,而是结合了部分层次以及原型 case 之间的信息,才能在解说和辨认之间到达一个很好的平衡。

本文的首要意图是探究机器模型在推理进程中的为什么这个问题,其比较独出机杼的参照了人类的「这个看上去像那个」的答复思路,提出的 ProtoPNet,在可解说性和分类精度上都有不错的体现。

这两篇论文均是研讨论文可解说性原理的,只不过论说的视点有所不同。论文 1 从统计学的视点,剖析网络的固有维度,以此来展现网络的泛化功用。而论文 2 从可视化的视点来展现了这个网络的推理的功用。这些不同的视点都企图剖析网络的可解说性,并给网络功用的提高提出不同的提高方向。

剖析师简介:立早,工学硕士,研讨方向为模式辨认。现在从事人脸辨认、检测和神经网络紧缩方向的作业。期望可以一向学习,多多沟通,不断进步。

机器之心全球剖析师网络是由机器之心建议的全球性人工智能专业知识同享网络。在曩昔的四年里,已有数百名来自全球各地的 AI 范畴专业学生学者、工程专家、事务专家,使用自己的学业作业之余的空闲时刻,经过线上同享、专栏解读、知识库构建、陈述发布、评测及项目咨询等方式与全球 AI 社区同享自己的研讨思路、工程经历及工作洞悉等专业知识,并从中获得了本身的才能生长、经历积累及工作开展。