可解釋機器學(xué)習最新綜述：應用于實(shí)時(shí)場(chǎng)景中的機遇與挑戰
加入技術(shù)交流群
大數據文摘授權轉載自將門(mén)創(chuàng )投
作者：Guanchu Wang
論文鏈接：
https://arxiv.org/abs/2302.03225代碼鏈接：https://github.com/ynchuang/awesome-efficient-xai
什么是可解釋機器學(xué)習？
深度模型（神經(jīng)網(wǎng)絡(luò )）的推理過(guò)程是黑盒化的、不可解釋的。機器學(xué)習發(fā)展至今仍然無(wú)法完全打開(kāi)這個(gè)黑盒子?？山忉寵C器學(xué)習的研究?jì)热菥褪菫樯疃饶Ｐ偷耐评斫Y果提供人類(lèi)可以理解的解釋?zhuān)ㄔ颍?。這在有道德約束下的應用場(chǎng)景中是極其重要的。例如，某****利用深度學(xué)習算法來(lái)預測用戶(hù)的信用度以決定是否貸款給用戶(hù)。對于信用度預測值較低的用戶(hù)，****有責任提供合理的解釋來(lái)說(shuō)明認定該用戶(hù)信用度低的原因。
模型解釋可分為兩種：模型層面的解釋和樣本層面的解釋?zhuān)鐖D1所示。模型層面的解釋是展示出模型判斷的邏輯，如圖1（a）所示；樣本層面的解釋是展示出每個(gè)樣本的不同特征對于模型預測的貢獻度，如圖1（b）所示。由于復雜模型對于不同樣本的推理過(guò)程是多樣性的，所以宏觀(guān)的模型層面解釋很難適用于所有樣本。目前主流的研究工作更關(guān)注樣本層面的解釋。
因此，本文所討論的解釋算法都是樣本層面的解釋?zhuān)簧婕澳Ｐ蛯用娴慕忉尅?/span>
實(shí)時(shí)系統需要怎樣的模型解釋算法？
雖然解釋算法能夠客觀(guān)地反映深度模型的推理依據，但是為每個(gè)樣本生成解釋的過(guò)程有相當高的計算復雜度。以目前主流的解釋算法為例：Shapley解釋如式（1）所示，其中 U 是全部特征組成的集合。計算規模隨著(zhù)特征數量的增多而指數級增長(cháng)；積分梯度是一種有效的圖像解釋算法，如式（2）所示。它需要沿著(zhù)積分路徑多次采樣模型的梯度值來(lái)近似估計積分值。然而，在實(shí)時(shí)場(chǎng)景中，如在線(xiàn)推薦系統，醫療系統的實(shí)時(shí)監測以及自動(dòng)駕駛的實(shí)時(shí)目標檢測等，我們需要算法可以快速高效地生成解釋。這就需要對現有解釋算法進(jìn)行加速，以滿(mǎn)足實(shí)時(shí)系統的需求。本文匯總了目前主流的（算法層面）加速模型解釋算法（不涉及系統層面），分析了已有工作的局限性，并提出了未來(lái)研究的技術(shù)難點(diǎn)。
非批量解釋的加速方法
非批量解釋的加速是指直接加速解釋量的估計，即直接加速式（1）以及式（2）或者其他解釋量的估計。該類(lèi)方法可以分為以下幾種技術(shù)路線(xiàn)：優(yōu)化特征選取、優(yōu)化采樣過(guò)程、基于近似算法加速等。下面詳細描述每一種技術(shù)路線(xiàn)的代表工作。
優(yōu)化特征選?。?nbsp;這類(lèi)方法通過(guò)去掉在Shapley解釋的估計過(guò)程中影響較小的特征來(lái)減少計算復雜度。比較有代表性的工作是 SHEAR [1]。SHEAR 選取每個(gè)特征與待估計特征的相互作用強度來(lái)選取少量的伴隨特征，這樣。其他有代表性的工作是 L-Shapley 和 C-Shapley [2]。該工作在圖結構的解釋中提出兩種概念：Local Shapley 和 Connected Shapley，分別指的是每個(gè)節點(diǎn)在其所在子圖中的貢獻以及邊緣貢獻。L-Shapley 和 C-Shapley 可以通過(guò)對鄰居節點(diǎn)的枚舉快速估計。進(jìn)一步，該工作指出 L-Shapley 和 C-Shapley 在某些條件下是 Shapley 解釋的無(wú)偏估計。因此可通過(guò)估計 L-Shapley 和 C-Shapley 來(lái)近似加速 Shapley 解釋。
優(yōu)化采樣過(guò)程： 這類(lèi)方法通過(guò)優(yōu)化采樣分布來(lái)加速Shapley解釋估計的收斂速度。比較有代表性的工作是 APS [3] 和 OSC [4]。APS 的全稱(chēng)是 Antithetical Permutation Sampling。該工作提出一種對稱(chēng)采樣策略（Antithetical Sampling）來(lái)減小 Permutation Sampling 對于Shapley解釋的估計方差，從而加速估計值收斂與Shapley解釋?zhuān)煌?，OSC 是 Orthogonal Spherical Codes 的縮寫(xiě)。該方法提出了在希爾伯特空間選取相互正交的特征排序。這種特征排序可以應用到估計Shapley解釋中來(lái)提高估計值收斂于真值的速度。
基于近似算法加速： 這類(lèi)方法通過(guò)將不可解釋的深度模型近似為可解釋的模型進(jìn)而實(shí)現快速得到解釋。具有代表性的工作是 Tree-SHAP [5] 和 Fast-IG [6]。Tree-SHAP 是針對樹(shù)模型的解釋算法，其時(shí)間復雜度是 O(TLD2)，其中T、L和D分別是樹(shù)的數量、平均葉子數和平均深度。實(shí)際應用中，可以用樹(shù)模型來(lái)逼近神經(jīng)網(wǎng)絡(luò )這類(lèi)黑盒模型的輸出，進(jìn)而用樹(shù)模型的解釋來(lái)代表神經(jīng)網(wǎng)絡(luò )的解釋?zhuān)籉ast-IG 是一種加速積分梯度的算法。該工作發(fā)現具有非負齊次性的模型的積分梯度解釋可以通過(guò)模型的一次前饋傳播估計得到。但是神經(jīng)網(wǎng)絡(luò )模型不具有非負齊次的性質(zhì)，因此該工作提出了將神經(jīng)網(wǎng)絡(luò )模型進(jìn)行適當的近似從而滿(mǎn)足非負齊次性，進(jìn)而實(shí)現加速模型解釋?；诮扑惴ǖ募铀儆捎趯υＰ瓦M(jìn)行了一定近似，所以會(huì )影響模型的性能（準確率、召回率、F1得分等）。
批量解釋的方法
批量解釋方法是針對實(shí)時(shí)場(chǎng)景的解釋方法。從本文前幾段的內容可知，非批量解釋方法對每一個(gè)樣本的解釋都是分別進(jìn)行的，即對每個(gè)樣本都分別執行一次解釋過(guò)程，如圖3（a）所示。這無(wú)疑是浪費時(shí)間的。為了實(shí)現高速估計模型解釋?zhuān)恍┕ぷ鏖_(kāi)創(chuàng )性地提出了批量解釋方法，如圖3（b）所示。
總的來(lái)說(shuō)，批量解釋方法假設模型解釋的結果服從某種分布，這種分布可以通過(guò)一個(gè)全局解釋器來(lái)學(xué)習。學(xué)習過(guò)程在訓練集上進(jìn)行，訓練好的解釋器可以在實(shí)際場(chǎng)景中批量生成解釋。批量解釋方法是模型解釋加速的質(zhì)的飛躍。
批量模型解釋的技術(shù)路線(xiàn)有：基于預測模型、基于生成模型和基于強化學(xué)習等。下面詳細敘述每一條技術(shù)路線(xiàn)的代表工作。
基于預測模型： 這類(lèi)方法通過(guò)監督或者半監督的方式來(lái)學(xué)習全局解釋器。代表作有 L2X [7]、FastSHAP [8] 以及 CORTX [9]。L2X 訓練全局解釋器對數據特征進(jìn)行遮掩，訓練目標是遮掩的特征不影響原模型的推理過(guò)程。這樣未被遮掩的特征就是重要特征。L2X 只能將特征大致分為重要的和不重要的。FastSHAP 訓練全局解釋器生成Shapley解釋?zhuān)柧毮繕耸荢hapley解釋的必要條件：任何一個(gè)特征子集的Shapley解釋之和表征了原模型基于該特征子集的預測值。FastSHAP 可以快速生成較為精確的解釋?zhuān)切枰迷Ｐ瓦M(jìn)行監督訓練。CORTX 開(kāi)創(chuàng )性地提出通過(guò)對比學(xué)習的方式來(lái)預訓練解釋器，而后通過(guò)少量的解釋標注來(lái) Fine-tune 解釋器，從而實(shí)現輕量級的解釋器訓練以及實(shí)際場(chǎng)景中的高精度解釋。
基于生成模型： 這類(lèi)方法通過(guò)訓練生成模型來(lái)快速提供因果解釋。代表作有 MCS [10] 和 DiVE [11]。MCS 通過(guò)訓練一個(gè)條件對抗生成網(wǎng)絡(luò )來(lái)生成反事實(shí)樣本。反事實(shí)樣本可以推翻原模型的預測結果，這樣從原樣本到反事實(shí)樣本變化量就是模型預測值的因果解釋。DiVE 通過(guò)一個(gè)變分自編碼器來(lái)學(xué)習特征空間的非耦合隱空間（特征在原空間中是相互耦合的），進(jìn)而在隱空間中生成反事實(shí)樣本，在通過(guò)變分自編碼器把反事實(shí)樣本映射至原空間進(jìn)而估計解釋值。
基于強化學(xué)習： 這類(lèi)方法通過(guò)強化學(xué)習來(lái)優(yōu)化反事實(shí)樣本的生成過(guò)程。代表作有 RELAX [12] 和 FASTAR [13]。這類(lèi)將原樣本變換為反事實(shí)樣本的過(guò)程抽象為馬爾科夫過(guò)程決策過(guò)程，即原樣本在每個(gè)時(shí)刻都發(fā)生一點(diǎn)變化，經(jīng)過(guò)多個(gè)時(shí)刻的演化最終變?yōu)榉词聦?shí)樣本。RELAX 和 FASTAR 用強化學(xué)習的方式學(xué)習一個(gè)演化策略。原樣本經(jīng)過(guò)演化策略生成的一系列變化量成為反事實(shí)樣本，累計變化量就是原模型的因果解釋值。
現有工作的局限性及未來(lái)研究的難點(diǎn)
解釋性能和速度的此消彼長(cháng)： 目前大部分的模型解釋方法都存在解釋性能和速度的此消彼長(cháng)，例如 KernelSHAP [14]、LIME [15]、IG [16] 等。
對原模型采樣更多的預測值可以提高解釋的精度，但是會(huì )降低解釋生成的速度。此外，批量解釋方法需要在訓練集上學(xué)習全局解釋器。訓練過(guò)程的時(shí)間及空間消耗和訓練精度之間也存在類(lèi)似的平衡關(guān)系。已有工作為可解釋機器學(xué)習提供了基準，未來(lái)解釋算法需要能達到性能和速度二者更優(yōu)的平衡。
解釋方法的部署： 在已有工作中，解釋及加速方法的設計、實(shí)現及驗證都是基于 CPU 和 GPU結構的硬件。但是在實(shí)際應用場(chǎng)景中有很多其他種類(lèi)及結構的硬件。已有算法無(wú)法從系統層面上達到最優(yōu)的性能（內存消耗及運行速度）。部署模型解釋方法以適應不用種類(lèi)及結構的硬件系統將會(huì )推動(dòng)可解釋機器學(xué)習走向實(shí)際應用。
全局解釋器的隱私保障： 在目前批量解釋算法中，由于全局解釋器學(xué)到了訓練數據的分布，因此這會(huì )有信息泄露的風(fēng)險。所謂信息泄露指的是第三方可以從訓練好的全局解釋器中恢復出訓練數據的分布。因此防止解釋器泄露訓練數據的分布也是推動(dòng)可解釋機器學(xué)習走向實(shí)際應用需要克服的困難之一。
加速方法的選擇： 本文所介紹的以及更多的模型解釋算法都存在此消彼長(cháng)的關(guān)系，即不存在某一種算法在所有的應用場(chǎng)景中都是最優(yōu)的。然而決策者需要在實(shí)際應用中從眾多的解釋方法中選取最符合需求的一種或者幾種解釋方法。這無(wú)疑是困難的。一個(gè)解決方案是用算法來(lái)實(shí)現解釋方法的選取，這使得決策者在不用了解所有解釋方法的情況下仍然可以得到一種符合需求的解釋方法。
結束語(yǔ)
本文首先闡明了可解釋機器學(xué)習部署到實(shí)際場(chǎng)景中的速度需求，進(jìn)而系統地介紹了目前主流的加速模型解釋算法；最后分析了已有工作的局限性，并提出了未來(lái)研究的技術(shù)難點(diǎn)。
如果讀者想要了解更多內容，歡迎閱讀綜述原文：
http://128.84.21.203/abs/2302.03225
綜述論文所涉及的所有技術(shù)論文已被匯總于：https://github.com/ynchuang/awesome-efficient-xai
參考文獻
[1] Chuang Y N, Wang G, Yang F, et al. “Efficient XAI Techniques: A Taxonomic Survey.” arXiv preprint arXiv:2302.03225, 2023.
[2] J. Chen, L. Song, M. J. Wainwright, and M. I. Jordan, “L-shapley and c-shapley: Efficient model interpretation for structured data,” arXiv preprint arXiv:1808.02610, 2018.
[3] Rubinstein R Y, Kroese D P. “Simulation and the Monte Carlo method.” John Wiley & Sons, 2016.
[4] R. Mitchell, J. Cooper, E. Frank, and G. Holmes, “Sampling permutations for shapley value estimation,” 2022.
[5] S. M. Lundberg, G. Erion, H. Chen, A. DeGrave, J. M. Prutkin, B. Nair, R. Katz, J. Himmelfarb, N. Bansal, and S.-I. Lee, “From local explanations to global understanding with explainable ai for trees,” Nature machine intelligence, vol. 2, no. 1, pp. 56–67, 2020.
[6] Hesse R, Schaub-Meyer S, Roth S. “Fast axiomatic attribution for neural networks.” Advances in Neural Information Processing Systems, 2021.
[7] Chen J, Song L, Wainwright M, et al. “Learning to explain: An information-theoretic perspective on model interpretation”, International Conference on Machine Learning. PMLR, 2018.
[8] N. Jethani, M. Sudarshan, I. C. Covert, S.-I. Lee, and R. Ranganath, “Fastshap: Real-time shapley value estimation,” in International Conference on Learning Representations, 2021
[9] Yu-Neng Chuang, Guanchu Wang, Fan Yang, Quan Zhou, Pushkar Tripathi, Xuanting Cai, Xia Hu, “CoRTX: Contrastive Framework for Real-time Explanation,” in International Conference on Learning Representations, 2022.
[10] Yang F, Alva S S, Chen J, et al. “Model-based counterfactual synthesizer for interpretation,” Proceedings of the 27th ACM SIGKDD conference on knowledge discovery & data mining. 2021.
[11] Rodriguez, Pau, et al. “Beyond trivial counterfactual explanations with diverse valuable explanations.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
[12] Chen, Ziheng, et al. “ReLAX: Reinforcement Learning Agent Explainer for Arbitrary Predictive Models.” Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022.
[13] Verma, Sahil, Keegan Hines, and John P. Dickerson. “Amortized generation of sequential algorithmic recourses for black-box models.” Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 8. 2022.
[14] Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in neural information processing systems, 2017.
[15] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. “Why should i trust you? Explaining the predictions of any classifier.” Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
[16] Sundararajan, Mukund, Ankur Taly, and Qiqi Yan. “Axiomatic attribution for deep networks.” International conference on machine learning. PMLR, 2017.
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
