主页 > K懂生活 >Google 提出 TCAV 技术,有望成为深度学习的全新框 >

Google 提出 TCAV 技术,有望成为深度学习的全新框

2020-06-07 责任编辑:

Google 提出 TCAV 技术,有望成为深度学习的全新框

可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使我们能够建立极度複杂的模型,包括数千隐藏层和数千万神经元。效果惊人的前沿深度神经网路模型建构相对简单,但了解这些模型如何创造和使用知识仍然是一个挑战。

最近,Google Brain 团队的研究人员发表了一篇论文,提出了一种名为概念激发向量(Concept Activation Vectors, CAV)的新方法,它为深度学习模型的可解释性提供了一个新的视角。

深度学习模型的两难:可解释性 vs. 準确性

要理解 CAV 技术,需要了解深度学习模型中可解释性难题的本质。在当今一代深度学习技术中,模型的準确性与可解释性之间存在着永恆的矛盾。可解释性–準确性矛盾存在于完成複杂知识任务的能力和理解这些任务是如何完成能力之间。知识与控制,绩效表现与可核查性,效率与简便性等等,任意一项抉择其实都是準确性和可解释性之间的权衡。

你是关心获得最佳结果,还是关心结果是如何产生的?这是数据科学家在每个深度学习场景中都需要回答的问题。 许多深度学习技术本质上非常複杂,儘管它们在许多场景中都很準确,解释起来却非常困难。如果我们在一个準确性–可解释性图表中绘製一些最着名的深度学习模型,我们将得到以下结果:

Google 提出 TCAV 技术,有望成为深度学习的全新框

深度学习模型中的可解释性不是一个单一的概念。我们可以从多个层次理解它:

Google 提出 TCAV 技术,有望成为深度学习的全新框

要得到上图每层定义的可解释性,需要几个基本的建构模组。在最近的一篇论文中,谷歌的研究人员概述了他们看来的一些可解释性的基本建构模组。

Google 总结了以下三项可解释性原则:

这些原则是 Google 新 CAV 技术背后的理论基础。

Google 提出 TCAV,量化预测 CAV 的敏感度

遵循前面讨论的想法,通常所认为的可解释性,就是透过深度学习模型的输入特徵来描述其预测。逻辑回归分类器就是一个典型的例子,其係数权重通常被解释为每个特徵的重要性。然而,大多数深度学习模型对例如像素值之类的特徵进行操作,这些特徵与人类容易理解的高级概念并不对应。此外,模型的内部值(例如神经元激励)也很晦涩难懂。虽然诸如显着图之类的技术可以有效测量特定像素区域的重要性,但是它们无法与更高层级的概念相关联。

CAV 背后的核心思想,是衡量一个概念在模型输出中的相关性。 概念的 CAV 就是一组该概念的实例,在不同方向的值(例如激发)构成的向量。论文中,Google 研究团队概述了一种名为 Testing with CAV(TCAV)的线性可解释方法,该方法使用偏导数来量化预测 CAV 表示的潜在高级概念的敏感度。他们构想 TCAV 定义有四个目标:

Google 提出 TCAV 技术,有望成为深度学习的全新框

为实现上述目标,TCAV 方法分为三个基本步骤:

Google 提出 TCAV 技术,有望成为深度学习的全新框

TCAV 方法的第一步,是定义相关的概念(CAV)。为实现此目的,TCAV 选择一组代表该概念的实例,或寻找标记为该概念的独立数据集。我们可以透过训练线性分类器,区分概念实例产生的激发和各层中的实例来学习 CAV。

第二步是生成一个 TCAV 分数,用于量化预测对特定概念的敏感度。TCAV 使用了用于衡量 ML 预测值在某一概念方向、在激励层对输入敏感度的偏导数。

最后一步尝试评估学到的 CAV 的全局相关性,避免依赖不相关的 CAV。毕竟 TCAV 技术的一个缺陷,就是可能学到无意义的 CAV,因为使用随机选择的一组图像仍然能得到 CAV,在这种随机概念上的测试不太可能有意义。为了应对这一难题,TCAV 引入了统计显着性检验,该检验以随机的训练次数(通常为 500 次)评估 CAV。其基本思想是,有意义的概念应该在多次训练中得到一致的 TCAV 分数。

TCAV 将被主流深度学习框架採用

团队进行了多次实验来评估 TCAV 相比于其他可解释性方法的效率。在一项最引人注目的测试中,团队使用了一个显着图,尝试预测计程车这一概念与标题或图像的相关性。显着图的输出如下所示:

Google 提出 TCAV 技术,有望成为深度学习的全新框

使用这些图像作为测试数据集,Google Brain 团队在 Amazon Mechanical Turk 上邀请 50 人进行了实验。每个实验人员执行一系列共六个针对单个模型的随机顺序任务(3 类对象 x 2 种显着图)。

在每项任务中,实验人员首先会看到四幅图片和相应的显着性蒙版。然后,他们要评估图像对模型的重要程度(10 分制),标题对模型的重要程度(10 分制),以及他们对答案的自信程度(5 分制)。实验人员总共评定了 60 个不同的图像(120 个不同的显着图)。

实验的基本事实是图像概念比标题概念更相关。然而,看显着图时,人们认为标题概念更重要(0% 杂讯的模型),或者辨别不出差异(具有 100% 杂讯的模型)。相比之下,TCAV 结果正确地表明图像概念更重要。

TCAV 是这几年最具创新性的神经网路解释方法之一。初始的程式码可以在 GitHub 上看到。许多主流深度学习框架可能会在不久的将来採用这些想法。

更多关于深度学习的文章

PyTorch 深度学习入门推荐!清楚的 PPT 讲解,让你 5 天就上手
R 语言可用来开发深度学习!不只是统计分析,R 还有这 10 个强大隐藏功能
最伟大人工智慧三巨头:少了这些研究,深度学习就掰掰了

相关阅读

精彩资讯

《海贼王》鲁夫为什幺从来不使用任何「武器」?官方只用这3张图
《海贼王》鲁夫为什幺从来不使用任何「武器」?官方只用这3张图

海贼王是一部经典的动漫作品,尤其是对人物个性的塑造。在海贼王

《海贼王》鲁夫在和之国学会两色「高级霸气」后,接下来要跟当初
《海贼王》鲁夫在和之国学会两色「高级霸气」后,接下来要跟当初

最近海贼王的剧情进展,似乎把重点放在了提升鲁夫的霸气水平上面

《海贼王》鲁夫已经能够「预知未来」,看似孱弱的花豹五郎竟曾是
《海贼王》鲁夫已经能够「预知未来」,看似孱弱的花豹五郎竟曾是

又是半个月的等待,《海贼王》漫画总算给我们带来最新集剧情了,

《海贼王》鲁夫成为海贼王的最大障碍不是四皇和海军,而是「恶魔
《海贼王》鲁夫成为海贼王的最大障碍不是四皇和海军,而是「恶魔

海贼王中的主角鲁夫,是一个满腔热血梦想成为海贼王的男人。作为

《海贼王》鲁夫新模型手办释出,披挂黑色大斗篷,霸气散发经典海
《海贼王》鲁夫新模型手办释出,披挂黑色大斗篷,霸气散发经典海

在本文中,小编将会给大伙带来一款最新上市的鲁夫模型,好让大伙

《海贼王》鲁夫新模型释出「和之国」三档姿态造型,巨大拳头犹如
《海贼王》鲁夫新模型释出「和之国」三档姿态造型,巨大拳头犹如

前段时间小编给你们送上了帅气炸裂的《海贼王》索隆模型。其中一