機器學(xué)習真能產(chǎn)生智能決策嗎？

出品 | AI科技大本營(yíng)（ID：rgznai100）

歷經(jīng)三年時(shí)間，我們在2022年完成了圖靈獎獲得者、加州大學(xué)洛杉磯分校計算機科學(xué)教授，美國國家科學(xué)院院士，被譽(yù)為“貝葉斯網(wǎng)絡(luò )之父”的朱迪亞·珀爾大作《因果論：模型、推理和推斷》。

這本書(shū)原版的第1版寫(xiě)于2000年，開(kāi)創(chuàng )了因果分析和推斷的新思想和新方法，一出版就得到廣泛的好評，促進(jìn)了數據科學(xué)、人工智能、機器學(xué)習、因果分析等領(lǐng)域新的革命，在學(xué)術(shù)界產(chǎn)生了很大的影響。

后來(lái)又于2009年修訂出了第2版，內容上結合當時(shí)因果研究的新發(fā)展，做了較大的改動(dòng)。目前我們翻譯的這本書(shū)英文原版是在2009年出版的，到目前已經(jīng)有十多年了。

該書(shū)中文版的出版有利于廣大中國學(xué)者、學(xué)生和各領(lǐng)域的實(shí)踐人員了解和掌握因果模型、推理和推斷相關(guān)的內容。特別是在當前統計學(xué)和機器學(xué)習流行的時(shí)代，如何實(shí)現從“數據擬合”到“數據理解”的轉變？如何在下一個(gè)十年里，從“所有知識都來(lái)自數據本身”這一目前占據主流的假設到一個(gè)全新的機器學(xué)習范式？是否會(huì )引發(fā)“第二次人工智能革命”？

正如圖靈獎授予珀爾時(shí)評價(jià)他的工作為“人工智能領(lǐng)域的基礎性貢獻，他提出概率和因果性推理演算法，徹底改變了人工智能最初基于規則和邏輯的方向?！?nbsp;我們期待這種范式能夠為機器學(xué)習帶來(lái)新的技術(shù)方向和前進(jìn)動(dòng)力，并且最終能夠在實(shí)際應用中發(fā)揮作用。

正如珀爾所說(shuō)“數據擬合目前牢牢地統治著(zhù)當前的統計學(xué)和機器學(xué)習領(lǐng)域，是當今大多數機器學(xué)習研究者的主要研究范式，尤其是那些從事連接主義、深度學(xué)習和神經(jīng)網(wǎng)絡(luò )技術(shù)的研究者?！?nbsp;這種以“數據擬合”為核心的范式在計算機視覺(jué)、語(yǔ)音識別和自動(dòng)駕駛等應用領(lǐng)域取得了令人矚目的成功。但是，許多數據科學(xué)領(lǐng)域的研究人員也已經(jīng)意識到，從當前實(shí)踐效果來(lái)看，機器學(xué)習無(wú)法產(chǎn)生智能決策所需的那種理解能力。這些問(wèn)題包括：穩健性、可遷移性、可解釋性等。下面我們來(lái)看看例子。

數據統計靠譜嗎？

近年來(lái)自媒體上的很多人都會(huì )覺(jué)得自己是統計學(xué)家。因為“數據擬合”“所有知識都來(lái)自數據本身”為許多重大決策提供了數據統計依據。但是，在進(jìn)行分析時(shí)，我們需要謹慎分析。畢竟，事情可能并不總是乍看之下！一個(gè)與我們生活息息相關(guān)的案例。10年前，某城市市中心的房?jì)r(jià)是8000元/平米，共銷(xiāo)售了1000萬(wàn)平；高新區是4000元/平米，共銷(xiāo)售了100萬(wàn)平；整體來(lái)看，該市的平均房?jì)r(jià)為7636元/平米?，F在，市中心10000元/平米，但由于市中心的土地供應少了，只銷(xiāo)售了200萬(wàn)平；高新區是6000元/平米，但由于新開(kāi)發(fā)的土地變多了，銷(xiāo)售了2000萬(wàn)平；整體來(lái)看，現在該市的平均房?jì)r(jià)為6363元/平米。因此，分區來(lái)看房?jì)r(jià)分別都漲了，但從整體上看，會(huì )有產(chǎn)生疑惑：為什么現在的房?jì)r(jià)反而跌了呢？

圖1 房?jì)r(jià)趨勢按照不同區域劃分后與總體結論相悖

我們知道這種現象叫作辛普森悖論。這些案例清楚地表明當我們沒(méi)有給予足夠的觀(guān)察變量時(shí)，我們是如何從統計數據中得到了完全錯誤的模型和結論。就這次新冠大流行而言，我們通常會(huì )獲得全國范圍的統計數據。如果我們按地區或市縣進(jìn)行分組，我們可能會(huì )得出截然不同的結論。在全國范圍內，我們可以觀(guān)察到新冠病例數量在下降，盡管某些地區的病例數量會(huì )有所增加（這可能預示著(zhù)下一波浪潮的開(kāi)始）。如果存在差異很大的群體，例如人口差異很大的地區，則也可能會(huì )發(fā)生這種情況。在國家數據中，人口密度較低地區的病例激增可能與人口稠密地區的病例下降相形見(jiàn)絀。

類(lèi)似的基于“數據擬合”的統計問(wèn)題比比皆是。比如下面兩個(gè)有趣的例子。

如果我們每年收集尼古拉斯·凱奇每年出演的電影數量和美國溺死人數的數據，我們會(huì )發(fā)現這兩個(gè)變量高度相關(guān)，數據擬合程度奇高。

圖2 尼古拉斯·凱奇每年出演的電影數與美國溺死的人數

如果我們收集每個(gè)國家人均牛奶銷(xiāo)售量和獲得諾貝爾獎人數的數據，我們會(huì )發(fā)現這兩個(gè)變量高度相關(guān)。

圖3 人均牛奶消費量與諾貝爾獎人數

從我們人類(lèi)的常識認知來(lái)說(shuō)，這些都是偽相關(guān)，甚至是悖論。但從數學(xué)和概率論的角度來(lái)看，表現出偽相關(guān)或者悖論的案例無(wú)論從數據上還是計算上都是沒(méi)有問(wèn)題的。如果有一些因果基礎的人都知道，發(fā)生這種情況是因為數據中隱藏著(zhù)所謂的潛伏變量，即未被觀(guān)察到的混雜因子。

圖4 獨立變量導致了兩個(gè)變量之間偽相關(guān)

珀爾在《因果論》中給出了解決的范式，詳細分析和推導了以上問(wèn)題，強調了因果與統計之間有著(zhù)本質(zhì)的區別，雖然因果分析與推斷仍然是建立在統計學(xué)的語(yǔ)境上。珀爾提出了干預操作（算子）的基本計算模式，包括后門(mén)原則和具體的計算公式，這是當前對于因果關(guān)系最為數學(xué)化的描述?！耙蚬约跋嚓P(guān)的概念（例如隨機化、混雜、干預等）不是統計概念”，這是貫穿珀爾因果分析思想的一條基本原理，珀爾稱(chēng)之為第一原理[2]。

那么，目前基于數據驅動(dòng)的機器學(xué)習方法，特別是那些嚴重依賴(lài)于統計學(xué)方法的算法，學(xué)習到的模型極大可能也會(huì )出現半真半假、誤導性或者反轉性的結果。這是因為這些模型往往是基于觀(guān)察數據的分布情況進(jìn)行學(xué)習，而非數據生成的機制。

機器學(xué)習亟需解決的三個(gè)問(wèn)題

穩健性：隨著(zhù)深度學(xué)習方法的流行，計算機視覺(jué)、自然語(yǔ)言處理和語(yǔ)音識別等研究大量利用了最先進(jìn)的深層神經(jīng)網(wǎng)絡(luò )結構。但仍然長(cháng)期存在這樣一個(gè)事實(shí)問(wèn)題，即在現實(shí)世界中，我們采集到數據的分布通常很少是完整的，與實(shí)際世界中的分布可能不一致。在計算機視覺(jué)應用中，訓練集與測試集數據分布可能受到來(lái)自諸如像素差、壓縮質(zhì)量，或來(lái)自于攝像機位移、旋轉或角度等的影響。這些變量其實(shí)就是因果概念中的“干預”問(wèn)題。由此，人們提出了簡(jiǎn)單的算法來(lái)模擬干預，以專(zhuān)門(mén)測試分類(lèi)和識別模型的泛化能力，如空間偏移、模糊、亮度或對比度的變化、背景控制和旋轉，以及在多種環(huán)境中采集的圖像等。到目前為止，盡管我們利用數據增強、預訓練、自監督學(xué)習等方法在穩健性上取得了一定的進(jìn)展，但對于如何解決這些問(wèn)題還沒(méi)有明確的共識。有人認為這些修正可能是不夠的，在獨立同分布假設之外進(jìn)行泛化不僅需要學(xué)習變量之間的統計關(guān)聯(lián)，還需要學(xué)習潛在的因果模型，以明確數據生成的機制，并允許通過(guò)干預概念模擬分布變化。 

可遷移性：嬰兒對物體的理解基于跟蹤隨時(shí)間變化表現一致的物體，這樣的方法可以讓嬰兒快速學(xué)習新的任務(wù)，因為他們對物體的知識和直觀(guān)理解可以重復使用。類(lèi)似地，能夠高效地解決現實(shí)世界中的任務(wù)需要在新的場(chǎng)景中重用學(xué)習到的知識技能。研究已經(jīng)證明，學(xué)習了環(huán)境知識的機器學(xué)習系統效率更高，通用性更好。如果我們將現實(shí)世界模型化，許多模塊在不同的任務(wù)和環(huán)境中表現出相似的行為。因此，面對新環(huán)境或新任務(wù)，人類(lèi)或者機器可能只需要調整其內部表示中的幾個(gè)模塊。當學(xué)習因果模型時(shí)，由于大多數知識（即模塊）可以在無(wú)須進(jìn)一步訓練的情況下重復使用，從而只需要較少的樣本以適應新環(huán)境或新任務(wù)。

可解釋性：可解釋性是一個(gè)微妙的概念，不能僅僅使用布爾邏輯或統計概率的語(yǔ)言完全描述，它需要額外的干預概念，甚至是反事實(shí)的概念。因果關(guān)系中的可操縱性定義關(guān)注的是這樣一個(gè)事實(shí)，即條件概率（“看到人們打開(kāi)雨傘表明正在下雨”）無(wú)法可靠地預測主動(dòng)干預的結果（“收起雨傘并不能阻止下雨”）。因果關(guān)系被視為推理鏈的組成部分，它可以為與觀(guān)察到的分布相去甚遠的情況提供預測，甚至可以為純粹假設的場(chǎng)景提供結論。從這個(gè)意義上說(shuō)，發(fā)現因果關(guān)系意味著(zhù)獲得可靠的知識，這些知識不受觀(guān)察到的數據分布和訓練任務(wù)的限制，從而為可解釋的學(xué)習提供明確的說(shuō)明。

因果學(xué)習建模的三個(gè)層次

具體地說(shuō)，基于統計模型的機器學(xué)習模型只能對相關(guān)關(guān)系進(jìn)行建模，而相關(guān)關(guān)系往往會(huì )隨著(zhù)數據分布的變化而變化；而因果模型基于因果關(guān)系建模，則抓住了數據生成的本質(zhì)，反映了數據生成機制的關(guān)系，這樣的關(guān)系更加穩健，具有分布外泛化的能力。比如，在決策理論中，因果關(guān)系和統計之間的區別更加清楚。決策理論中有兩類(lèi)問(wèn)題，一類(lèi)是已知當前環(huán)境，擬采取干預，預測結果。另一類(lèi)是已知當前環(huán)境和結果，反推原因。前者稱(chēng)為求果問(wèn)題，后者稱(chēng)為溯因問(wèn)題[3]。

在獨立同分布條件下的預測能力

統計模型只是對觀(guān)察到的現實(shí)世界的粗淺描述，因為它們只關(guān)注相關(guān)關(guān)系。對于樣本和標簽，我們可以通過(guò)估計來(lái)回答這樣的問(wèn)題：“這張特定的照片中有一只狗的概率是多少？”“已知一些癥狀，心力衰竭的概率是多少？”。這樣的問(wèn)題是可以通過(guò)觀(guān)察足夠多的由所生成的獨立同分布數據來(lái)回答的。盡管機器學(xué)習算法可以把這些事做得很好，但是準確的預測結果對于我們的決策是不夠，而因果學(xué)習為其提供了一種有益的補充。就前面的例子來(lái)說(shuō)，尼古拉斯·凱奇出演電影的頻率和美國溺亡率正相關(guān)，我們的確可以訓練一個(gè)統計學(xué)習模型通過(guò)尼古拉斯·凱奇出演電影的頻率來(lái)預測美國溺亡率，但顯然這兩者并沒(méi)有什么直接的因果關(guān)系。統計模型只有在獨立同分布的情況下才是準確的，如果我們做任何的干預來(lái)改變數據分布，就會(huì )導致統計學(xué)習模型出錯。

在分布偏移/干預下的預測能力

我們進(jìn)一步討論干預問(wèn)題，它更具挑戰性，因為干預（操作）會(huì )使我們跳出統計學(xué)習中獨立同分布的假設。繼續用尼古拉斯·凱奇的例子，“今年增加邀請尼古拉斯·凱奇出演電影的數量會(huì )增加美國的溺亡率嗎？”就是一個(gè)干預問(wèn)題。顯然，人為的干預會(huì )使得數據分布發(fā)生變化，統計學(xué)習賴(lài)以生存的條件就會(huì )被打破，所以它會(huì )失效。另一方面，如果我們可以在存在干預的情況下學(xué)習一個(gè)預測模型，那么這有可能讓我們得到一個(gè)在現實(shí)環(huán)境中對分布變化更加穩健的模型。實(shí)際上，這里所謂的干預并不是什么新鮮事，很多事情本身就是隨時(shí)間變化的，例如人的興趣偏好，或者模型的訓練集與測試集本身在分布上就存在不匹配的現象。我們前面已經(jīng)提到，神經(jīng)網(wǎng)絡(luò )的穩健性已經(jīng)獲得了越來(lái)越多的關(guān)注，成為一個(gè)與因果推斷緊密連接的研究話(huà)題。在分布偏移的情況下預測不能只局限于在測試集上取得高準確率，如果我們希望在實(shí)際應用中使用機器學(xué)習算法，那么我們必須相信在環(huán)境條件改變的情況下，模型的預測結果也是準確的。實(shí)際應用中的分布偏移類(lèi)別可能多種多樣，一個(gè)模型僅僅在某些測試集上取得好效果，不能代表我們可以在任何情況下都能夠信任這個(gè)模型，這些測試集可能只是恰好符合這些測試集樣本的分布。為了讓我們可以在盡可能多的情況下信任預測模型，就必須采用具有回答干預問(wèn)題能力的模型，至少僅僅使用統計學(xué)習模型是不行的。

回答反事實(shí)問(wèn)題的能力

反事實(shí)問(wèn)題涉及推理事情為什么會(huì )發(fā)生，想象實(shí)施不同行為所帶來(lái)的后果，并由此可以決定采取何種行為來(lái)達到期望的結果?；卮鸱词聦?shí)問(wèn)題比干預更加困難，但也是對于A(yíng)I非常關(guān)鍵的挑戰。如果一個(gè)干預問(wèn)題是“如果我們現在讓一個(gè)病人有規律地進(jìn)行鍛煉，那么他心力衰竭的概率會(huì )如何變化？”，對應的反事實(shí)問(wèn)題就是“如果這個(gè)已經(jīng)發(fā)生心力衰竭的病人一年前就開(kāi)始鍛煉，那他還會(huì )得心力衰竭嗎？”顯然回答這樣的反事實(shí)問(wèn)題對于強化學(xué)習是很重要的，它們可以通過(guò)反思自己的決策，制定反事實(shí)假說(shuō)，再通過(guò)實(shí)踐驗證，就像我們的科學(xué)研究一樣。

因果學(xué)習應用

最后，我們來(lái)看看如何在各個(gè)領(lǐng)域上應用因果學(xué)習。2021年諾貝爾經(jīng)濟學(xué)獎授予了約書(shū)亞·安格里斯特（Joshua D.Angrist）和吉多·因本斯（Guido W.Imbens），表彰“他們對因果關(guān)系分析的方法論”貢獻。他們研究了因果推斷在實(shí)證勞動(dòng)經(jīng)濟學(xué)中的應用。諾貝爾經(jīng)濟學(xué)獎評選委員認為“自然實(shí)驗（隨機試驗或者對照試驗）有助于回答重要問(wèn)題”，但如何“使用觀(guān)測數據回答因果關(guān)系”更具有挑戰性。經(jīng)濟學(xué)中的重要問(wèn)題是因果關(guān)系問(wèn)題。如移民如何影響當地人的勞動(dòng)力市場(chǎng)前景？讀研究生能夠影響收入增加嗎？最低工資對技術(shù)工人的就業(yè)前景有何影響？這些問(wèn)題很難回答，因為我們缺乏正確的反事實(shí)解釋方法。

自從20世紀70年代以來(lái)，統計學(xué)家就發(fā)明了一套計算“反事實(shí)”的框架，以揭示兩個(gè)變量之間的因果效應。經(jīng)濟學(xué)家又在此基礎上進(jìn)一步發(fā)展了斷點(diǎn)回歸、雙重差分、傾向得分等方法，并且大量地應用在各種經(jīng)濟政策問(wèn)題的因果性研究上。從6世紀的宗教文本到2021年的因果機器學(xué)習，包括因果自然語(yǔ)言處理，我們可以使用機器學(xué)習、統計學(xué)和計量經(jīng)濟學(xué)來(lái)模擬因果效應。經(jīng)濟和其他社會(huì )科學(xué)的分析主要圍繞因果效應的估計，即一個(gè)特征變量對于結果變量的干預效應。實(shí)際上，在大多數情況下，我們感興趣的事情是所謂的干預效應。干預效應是指干預或者治療對結果變量的因果影響。比如在經(jīng)濟學(xué)中，分析最多的干預效應之一是對企業(yè)進(jìn)行補貼對企業(yè)收入的因果影響。為此，魯賓（Rubin）提出了潛在結果框架(potential outcome framework)。

盡管經(jīng)濟學(xué)家和其他社會(huì )科學(xué)家對因果效應的精確估計能力強于預測能力，但他們對機器學(xué)習方法的預測優(yōu)勢也十分感興趣。例如，精確的樣本預測能力或處理大量特征的能力。但正如我們所見(jiàn)到的，經(jīng)典機器學(xué)習模型并非旨在估計因果效應，使用機器學(xué)習中現成的預測方法會(huì )導致對因果效應的估計存在偏差。那么，我們必須改進(jìn)現有的機器學(xué)習技術(shù)，以利用機器學(xué)習的優(yōu)勢來(lái)持續有效地估計因果效應，這就促使了因果機器學(xué)習的誕生！

目前，根據要估計的因果效應類(lèi)型，因果機器學(xué)習可以大致分為兩個(gè)研究方向。一個(gè)重要的方向是改進(jìn)機器學(xué)習方法以用于無(wú)偏且一致的平均干預效應估計。該研究領(lǐng)域的模型試圖回答以下問(wèn)題：客戶(hù)對營(yíng)銷(xiāo)活動(dòng)的平均反應是什么？?jì)r(jià)格變化對銷(xiāo)售額的平均影響是多少？此外，因果機器學(xué)習研究的另一條發(fā)展路線(xiàn)是側重于改進(jìn)機器學(xué)習方法以揭示干預效應的特異性，即識別具有大于或小于平均干預效應的個(gè)體亞群。這類(lèi)模型旨在回答以下問(wèn)題：哪些客戶(hù)對營(yíng)銷(xiāo)活動(dòng)的反應最大？?jì)r(jià)格變化對銷(xiāo)售額的影響如何隨著(zhù)顧客年齡的變化而變化？

除了這些活生生的例子，我們還可以感覺(jué)到因果機器學(xué)習引起數據科學(xué)家興趣的一個(gè)更深刻的原因是模型的泛化能力。具備描述數據之間因果關(guān)系的機器學(xué)習模型可泛化到新的環(huán)境中，但這仍然是目前機器學(xué)習的最大挑戰之一。

珀爾更深層次地分析這些問(wèn)題，認為如果機器不會(huì )因果推理，我們將永遠無(wú)法獲得達到真正人類(lèi)水平的人工智能，因為因果關(guān)系是我們人類(lèi)處理和理解周?chē)鷱碗s世界的關(guān)鍵機制。珀爾在《因果論》中文版的序中寫(xiě)到“在下一個(gè)十年里，這個(gè)框架將與現有的機器學(xué)習系統相結合，從而可能引發(fā)‘第二次因果革命’。我希望這本書(shū)也能使中國讀者積極參與到這一場(chǎng)即將到來(lái)的革命之中?！?/span>

參考文獻：[1] 珀爾. 因果論：模型、推理和推斷（原書(shū)第2版）[M]. 劉禮，等譯. 北京：機械工業(yè)出版社，2022.[2] 劉禮，吳飛，李廉. 因果關(guān)系學(xué)習的思維取向和概念分析[J]. 中國大學(xué)教學(xué)，2021（10）：35-42.[3] WANG A G, LIU L, YANG J Y, LI L, Causality Fields in Nonlinear Causal Effect Analysis [J]. Frontiers of Information Technology & Electronic Engineering, 2022，23（8）：1277-1286.