在上一節(jié)中我們介紹了建模后深度學(xué)習(xí)可解釋性方法之一：隱層分析法，但我們也會發(fā)現(xiàn)隱層分析法的一個(gè)問題在于，通過端到端訓(xùn)練的隱層很多時(shí)候并沒有什么特定的含義，多數(shù)依賴我們的主觀判斷。但是深度學(xué)習(xí)模型中往往只有輸入層對我們來說才是有意義的，所以了解深度學(xué)習(xí)模型的一個(gè)更直觀的方法是通過研究輸入層的變化對結(jié)果的影響來判斷輸入變量或輸入樣本的重要性，這也是通常所說的敏感性分析方法。

敏感性分析（Sensitivity Analysis）是一類非常重要的，用于定量描述模型輸入變量對輸出變量的重要性程度的方法，在經(jīng)濟(jì)、生態(tài)、化學(xué)、控制等領(lǐng)域都已經(jīng)有了非常成熟的應(yīng)用。假設(shè)模型表示為  ，敏感性分析就是令每個(gè)屬性在可能的范圍變動，研究和預(yù)測這些屬性的變化對模型輸出值的影響程度。我們將影響程度的大小稱為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，就說明屬性對模型輸出的影響越大。一般來講對于神經(jīng)網(wǎng)絡(luò)的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來檢驗(yàn)輸入屬性變量對模型的影響程度，樣本敏感性分析用來研究具體樣本對模型的重要程度，也是敏感性分析研究的一個(gè)新方向。

1. 變量敏感性分析

神經(jīng)網(wǎng)絡(luò)中的變量敏感性分析方法大概有以下幾種：基于連接權(quán)的敏感性方法，基于偏導(dǎo)的敏感性分析方法、通過改變輸入變量觀察其影響的方法和與統(tǒng)計(jì)方法結(jié)合的敏感性分析方法。

基于連接權(quán)的敏感性分析方法

基于連接權(quán)的方法中比較有代表性的工作是Garson等人1991年在《Interpreting neural network connection weights》提出的方法，這種來自于“遠(yuǎn)古時(shí)期”的智慧相對來說就要簡單粗暴一點(diǎn)。輸入變量  對輸出變量 的影響程度為：