AI研究:如何讓機器學(xué)習算法解釋自己的決策?
神經(jīng)網(wǎng)絡(luò )的預測能力推動(dòng)了最近的人工智能熱潮,但很難解釋他們是如何做出決定的。一項旨在揭示語(yǔ)言處理網(wǎng)絡(luò )內部工作原理的新技術(shù),只是為揭示這些“黑匣子”而做出的最新努力。
本文引用地址:http://dyxdggzs.com/article/201709/364854.htm我們發(fā)現神經(jīng)網(wǎng)絡(luò )如此神秘,這可能并不奇怪,因為它們基本上是基于人類(lèi)大腦而建立的,我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò )。他們學(xué)習的模型并不像傳統的計算機程序那樣整齊地存儲在數據庫中,而是由成千上萬(wàn)的虛擬神經(jīng)元之間的連接組成。
這些連接不是由人類(lèi)程序員設定的,相反,神經(jīng)網(wǎng)絡(luò )本質(zhì)上是通過(guò)在大量數據中尋找模式來(lái)進(jìn)行編程。因此,雖然你可以測試一個(gè)神經(jīng)網(wǎng)絡(luò )在照片中檢測到貓的效果,但要判斷出它們的存在與否,你很難辨明它們的視覺(jué)模式。
“當涉及到照片中貓的檢測時(shí),這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域,能夠解釋這些決定可能很重要。”
說(shuō)到檢測到貓的存在,這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域中,能夠解釋這些決策可能很重要,比如金融交易和疾病診斷。這導致了越來(lái)越多的研究試圖讓這些算法的決策能解釋得更清楚。
本月上旬,麻省理工學(xué)院的工程師們公布了一項技術(shù),該技術(shù)有望提供關(guān)于任何自然語(yǔ)言處理網(wǎng)絡(luò )的洞察和分析,而不管其背后的軟件是什么。這是因為它的工作原理是簡(jiǎn)單地把輸入轉換成算法,并測量對輸出的影響。
該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò ),對自然句子進(jìn)行壓縮和解壓,得出與之相關(guān)的句子,然后將這些句子輸入到被訪(fǎng)問(wèn)的神經(jīng)網(wǎng)絡(luò )中。通過(guò)分析輸入的細微變化如何改變輸出,研究人員能夠發(fā)現網(wǎng)絡(luò )對特定詞匯和短語(yǔ)的反應。
他們進(jìn)行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進(jìn)行的。法語(yǔ)有不同的名詞形式,這些名詞形式取決于主語(yǔ)的性別。例如,男舞者是“danseur”,而女性舞者則是“danseuse”。
研究人員發(fā)現,在包含諸如博士、教授等職業(yè)的句子中,這種模型容易表現出男性化的傾向,比如聰明的或有天賦的,而在模型表現成女性化的形式時(shí),則傾向于迷人的或者富有同情心的主體,比如舞者或護士。
這種性別傾向很難通過(guò)簡(jiǎn)單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò )架構來(lái)發(fā)現,但其影響可能是潛在的。能夠發(fā)現這種傾向是促使神經(jīng)網(wǎng)絡(luò )更容易解釋的關(guān)鍵因素,但它也可以幫助研究人員排除那些導致錯誤的假設,從而提高他們的表現。
麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類(lèi)似研究,該研究也使用了輸入的變量來(lái)觀(guān)察模型的預測行為。它解決了分類(lèi)算法更簡(jiǎn)單的問(wèn)題,但它也可以通過(guò)突出顯示圖像的某些部分來(lái)進(jìn)行預測,從而在圖像處理算法方面發(fā)揮作用。
英偉達提出了一種更簡(jiǎn)單的方法,可以在處理自動(dòng)駕駛汽車(chē)的PilotNet系統所使用的視頻時(shí)實(shí)現同樣的效果。通過(guò)把網(wǎng)絡(luò )的更高層次的輸出疊加到下層上,他們就能創(chuàng )建一個(gè)“可視化的面具”,突出顯示網(wǎng)絡(luò )認為重要的實(shí)時(shí)視頻消息流的功能。
更進(jìn)一步的話(huà),一些研究人員試圖創(chuàng )造出人工智能來(lái)解釋它的決定,而不僅僅是專(zhuān)家來(lái)進(jìn)行解釋。來(lái)自美國和德國的研究人員最近公布了一種算法,該算法不僅可以分析圖片,回答“哪種運動(dòng)正在播放”等問(wèn)題,還可以用“棒球員手握球棒”這樣的短語(yǔ)來(lái)回答“棒球”這樣的問(wèn)題。
MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂(lè )情報實(shí)驗室的主任,他讓一些人玩了電腦游戲“青蛙”,并在他們玩的過(guò)程中解釋他們的策略。他將這些數據與描述游戲狀態(tài)的代碼一起記錄下來(lái),然后在這兩種情況下訓練了一個(gè)神經(jīng)網(wǎng)絡(luò )。當他把這個(gè)網(wǎng)絡(luò )連接到另一個(gè)設計游戲的網(wǎng)絡(luò )時(shí),他創(chuàng )造了一個(gè)人工智能,使其可以在玩游戲的過(guò)程中合理化自己的行為。
雖然對可解釋的人工智能研究還處于初級階段,但歐盟最近的一項指令可能會(huì )給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數據保護條例(GDPR)將有效地創(chuàng )造一種“解釋權”,使公民能夠要求做出關(guān)于算法決策背后的邏輯。
正如埃森哲的分析師在一篇博客文章中指出的那樣,關(guān)于這種新權利的程度存在爭議,但他們仍然建議企業(yè)接受可解釋的人工智能,以便在未來(lái)證明自己的企業(yè)不受監管機構的影響。
這一領(lǐng)域也可能會(huì )有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習算法來(lái)解釋他們的決策,美國國防高級研究計劃局(DARPA)正在資助13個(gè)致力于解決這個(gè)問(wèn)題的研究小組。這其中包括來(lái)自俄勒岡州立大學(xué)的一個(gè)小組,他們計劃用第二個(gè)神經(jīng)網(wǎng)絡(luò )來(lái)分析神經(jīng)網(wǎng)絡(luò ),以確定神經(jīng)活動(dòng)對特定決策的影響。
但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會(huì )有多大用處。他說(shuō),即使有了人類(lèi),認知心理學(xué)家也發(fā)現,當你讓別人解釋他們的決定時(shí),他們通常會(huì )以可能與實(shí)際決策過(guò)程無(wú)關(guān)的方式來(lái)理解他們的行為。他在悉尼的一次活動(dòng)上說(shuō):“因此,我們可能會(huì )在機器學(xué)習領(lǐng)域處于同一個(gè)位置,在這個(gè)階段我們訓練一個(gè)系統來(lái)獲得答案,考慮到第一個(gè)系統的輸入,然后我們才會(huì )訓練另一個(gè)系統,現在你的工作就是做出解釋。”
相反,他說(shuō),隨著(zhù)時(shí)間的推移,研究這些算法的輸出可能會(huì )更有用,以識別偏差和錯誤。那么,問(wèn)題是這是誰(shuí)的責任:是過(guò)度擴張的公共機構、還是學(xué)術(shù)機構或企業(yè),在保護其人工智能能力的聲譽(yù)方面擁有既得利益。
在現實(shí)中,這可能需要兩者的結合。人工智能開(kāi)發(fā)者需要找到方法來(lái)解釋他們的創(chuàng )意所做出的決定,但我們不能只接受他們的說(shuō)法。還需要對這些決定如何影響人們的生活進(jìn)行密切的觀(guān)察。
神經(jīng)網(wǎng)絡(luò )的預測能力推動(dòng)了最近的人工智能熱潮,但很難解釋他們是如何做出決定的。一項旨在揭示語(yǔ)言處理網(wǎng)絡(luò )內部工作原理的新技術(shù),只是為揭示這些“黑匣子”而做出的最新努力。
我們發(fā)現神經(jīng)網(wǎng)絡(luò )如此神秘,這可能并不奇怪,因為它們基本上是基于人類(lèi)大腦而建立的,我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò )。他們學(xué)習的模型并不像傳統的計算機程序那樣整齊地存儲在數據庫中,而是由成千上萬(wàn)的虛擬神經(jīng)元之間的連接組成。
這些連接不是由人類(lèi)程序員設定的,相反,神經(jīng)網(wǎng)絡(luò )本質(zhì)上是通過(guò)在大量數據中尋找模式來(lái)進(jìn)行編程。因此,雖然你可以測試一個(gè)神經(jīng)網(wǎng)絡(luò )在照片中檢測到貓的效果,但要判斷出它們的存在與否,你很難辨明它們的視覺(jué)模式。
“當涉及到照片中貓的檢測時(shí),這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域,能夠解釋這些決定可能很重要。”
說(shuō)到檢測到貓的存在,這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域中,能夠解釋這些決策可能很重要,比如金融交易和疾病診斷。這導致了越來(lái)越多的研究試圖讓這些算法的決策能解釋得更清楚。
本月上旬,麻省理工學(xué)院的工程師們公布了一項技術(shù),該技術(shù)有望提供關(guān)于任何自然語(yǔ)言處理網(wǎng)絡(luò )的洞察和分析,而不管其背后的軟件是什么。這是因為它的工作原理是簡(jiǎn)單地把輸入轉換成算法,并測量對輸出的影響。
該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò ),對自然句子進(jìn)行壓縮和解壓,得出與之相關(guān)的句子,然后將這些句子輸入到被訪(fǎng)問(wèn)的神經(jīng)網(wǎng)絡(luò )中。通過(guò)分析輸入的細微變化如何改變輸出,研究人員能夠發(fā)現網(wǎng)絡(luò )對特定詞匯和短語(yǔ)的反應。
他們進(jìn)行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進(jìn)行的。法語(yǔ)有不同的名詞形式,這些名詞形式取決于主語(yǔ)的性別。例如,男舞者是“danseur”,而女性舞者則是“danseuse”。
研究人員發(fā)現,在包含諸如博士、教授等職業(yè)的句子中,這種模型容易表現出男性化的傾向,比如聰明的或有天賦的,而在模型表現成女性化的形式時(shí),則傾向于迷人的或者富有同情心的主體,比如舞者或護士。
這種性別傾向很難通過(guò)簡(jiǎn)單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò )架構來(lái)發(fā)現,但其影響可能是潛在的。能夠發(fā)現這種傾向是促使神經(jīng)網(wǎng)絡(luò )更容易解釋的關(guān)鍵因素,但它也可以幫助研究人員排除那些導致錯誤的假設,從而提高他們的表現。
麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類(lèi)似研究,該研究也使用了輸入的變量來(lái)觀(guān)察模型的預測行為。它解決了分類(lèi)算法更簡(jiǎn)單的問(wèn)題,但它也可以通過(guò)突出顯示圖像的某些部分來(lái)進(jìn)行預測,從而在圖像處理算法方面發(fā)揮作用。
英偉達提出了一種更簡(jiǎn)單的方法,可以在處理自動(dòng)駕駛汽車(chē)的PilotNet系統所使用的視頻時(shí)實(shí)現同樣的效果。通過(guò)把網(wǎng)絡(luò )的更高層次的輸出疊加到下層上,他們就能創(chuàng )建一個(gè)“可視化的面具”,突出顯示網(wǎng)絡(luò )認為重要的實(shí)時(shí)視頻消息流的功能。
更進(jìn)一步的話(huà),一些研究人員試圖創(chuàng )造出人工智能來(lái)解釋它的決定,而不僅僅是專(zhuān)家來(lái)進(jìn)行解釋。來(lái)自美國和德國的研究人員最近公布了一種算法,該算法不僅可以分析圖片,回答“哪種運動(dòng)正在播放”等問(wèn)題,還可以用“棒球員手握球棒”這樣的短語(yǔ)來(lái)回答“棒球”這樣的問(wèn)題。
MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂(lè )情報實(shí)驗室的主任,他讓一些人玩了電腦游戲“青蛙”,并在他們玩的過(guò)程中解釋他們的策略。他將這些數據與描述游戲狀態(tài)的代碼一起記錄下來(lái),然后在這兩種情況下訓練了一個(gè)神經(jīng)網(wǎng)絡(luò )。當他把這個(gè)網(wǎng)絡(luò )連接到另一個(gè)設計游戲的網(wǎng)絡(luò )時(shí),他創(chuàng )造了一個(gè)人工智能,使其可以在玩游戲的過(guò)程中合理化自己的行為。
雖然對可解釋的人工智能研究還處于初級階段,但歐盟最近的一項指令可能會(huì )給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數據保護條例(GDPR)將有效地創(chuàng )造一種“解釋權”,使公民能夠要求做出關(guān)于算法決策背后的邏輯。
正如埃森哲的分析師在一篇博客文章中指出的那樣,關(guān)于這種新權利的程度存在爭議,但他們仍然建議企業(yè)接受可解釋的人工智能,以便在未來(lái)證明自己的企業(yè)不受監管機構的影響。
這一領(lǐng)域也可能會(huì )有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習算法來(lái)解釋他們的決策,美國國防高級研究計劃局(DARPA)正在資助13個(gè)致力于解決這個(gè)問(wèn)題的研究小組。這其中包括來(lái)自俄勒岡州立大學(xué)的一個(gè)小組,他們計劃用第二個(gè)神經(jīng)網(wǎng)絡(luò )來(lái)分析神經(jīng)網(wǎng)絡(luò ),以確定神經(jīng)活動(dòng)對特定決策的影響。
但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會(huì )有多大用處。他說(shuō),即使有了人類(lèi),認知心理學(xué)家也發(fā)現,當你讓別人解釋他們的決定時(shí),他們通常會(huì )以可能與實(shí)際決策過(guò)程無(wú)關(guān)的方式來(lái)理解他們的行為。他在悉尼的一次活動(dòng)上說(shuō):“因此,我們可能會(huì )在機器學(xué)習領(lǐng)域處于同一個(gè)位置,在這個(gè)階段我們訓練一個(gè)系統來(lái)獲得答案,考慮到第一個(gè)系統的輸入,然后我們才會(huì )訓練另一個(gè)系統,現在你的工作就是做出解釋。”
相反,他說(shuō),隨著(zhù)時(shí)間的推移,研究這些算法的輸出可能會(huì )更有用,以識別偏差和錯誤。那么,問(wèn)題是這是誰(shuí)的責任:是過(guò)度擴張的公共機構、還是學(xué)術(shù)機構或企業(yè),在保護其人工智能能力的聲譽(yù)方面擁有既得利益。
在現實(shí)中,這可能需要兩者的結合。人工智能開(kāi)發(fā)者需要找到方法來(lái)解釋他們的創(chuàng )意所做出的決定,但我們不能只接受他們的說(shuō)法。還需要對這些決定如何影響人們的生活進(jìn)行密切的觀(guān)察。
神經(jīng)網(wǎng)絡(luò )的預測能力推動(dòng)了最近的人工智能熱潮,但很難解釋他們是如何做出決定的。一項旨在揭示語(yǔ)言處理網(wǎng)絡(luò )內部工作原理的新技術(shù),只是為揭示這些“黑匣子”而做出的最新努力。
我們發(fā)現神經(jīng)網(wǎng)絡(luò )如此神秘,這可能并不奇怪,因為它們基本上是基于人類(lèi)大腦而建立的,我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò )。他們學(xué)習的模型并不像傳統的計算機程序那樣整齊地存儲在數據庫中,而是由成千上萬(wàn)的虛擬神經(jīng)元之間的連接組成。
這些連接不是由人類(lèi)程序員設定的,相反,神經(jīng)網(wǎng)絡(luò )本質(zhì)上是通過(guò)在大量數據中尋找模式來(lái)進(jìn)行編程。因此,雖然你可以測試一個(gè)神經(jīng)網(wǎng)絡(luò )在照片中檢測到貓的效果,但要判斷出它們的存在與否,你很難辨明它們的視覺(jué)模式。
“當涉及到照片中貓的檢測時(shí),這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域,能夠解釋這些決定可能很重要。”
說(shuō)到檢測到貓的存在,這并不是什么大問(wèn)題,但這項技術(shù)正在悄然進(jìn)入一些領(lǐng)域,在這些領(lǐng)域中,能夠解釋這些決策可能很重要,比如金融交易和疾病診斷。這導致了越來(lái)越多的研究試圖讓這些算法的決策能解釋得更清楚。
本月上旬,麻省理工學(xué)院的工程師們公布了一項技術(shù),該技術(shù)有望提供關(guān)于任何自然語(yǔ)言處理網(wǎng)絡(luò )的洞察和分析,而不管其背后的軟件是什么。這是因為它的工作原理是簡(jiǎn)單地把輸入轉換成算法,并測量對輸出的影響。
該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò ),對自然句子進(jìn)行壓縮和解壓,得出與之相關(guān)的句子,然后將這些句子輸入到被訪(fǎng)問(wèn)的神經(jīng)網(wǎng)絡(luò )中。通過(guò)分析輸入的細微變化如何改變輸出,研究人員能夠發(fā)現網(wǎng)絡(luò )對特定詞匯和短語(yǔ)的反應。
他們進(jìn)行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進(jìn)行的。法語(yǔ)有不同的名詞形式,這些名詞形式取決于主語(yǔ)的性別。例如,男舞者是“danseur”,而女性舞者則是“danseuse”。
研究人員發(fā)現,在包含諸如博士、教授等職業(yè)的句子中,這種模型容易表現出男性化的傾向,比如聰明的或有天賦的,而在模型表現成女性化的形式時(shí),則傾向于迷人的或者富有同情心的主體,比如舞者或護士。
這種性別傾向很難通過(guò)簡(jiǎn)單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò )架構來(lái)發(fā)現,但其影響可能是潛在的。能夠發(fā)現這種傾向是促使神經(jīng)網(wǎng)絡(luò )更容易解釋的關(guān)鍵因素,但它也可以幫助研究人員排除那些導致錯誤的假設,從而提高他們的表現。
麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類(lèi)似研究,該研究也使用了輸入的變量來(lái)觀(guān)察模型的預測行為。它解決了分類(lèi)算法更簡(jiǎn)單的問(wèn)題,但它也可以通過(guò)突出顯示圖像的某些部分來(lái)進(jìn)行預測,從而在圖像處理算法方面發(fā)揮作用。
英偉達提出了一種更簡(jiǎn)單的方法,可以在處理自動(dòng)駕駛汽車(chē)的PilotNet系統所使用的視頻時(shí)實(shí)現同樣的效果。通過(guò)把網(wǎng)絡(luò )的更高層次的輸出疊加到下層上,他們就能創(chuàng )建一個(gè)“可視化的面具”,突出顯示網(wǎng)絡(luò )認為重要的實(shí)時(shí)視頻消息流的功能。
更進(jìn)一步的話(huà),一些研究人員試圖創(chuàng )造出人工智能來(lái)解釋它的決定,而不僅僅是專(zhuān)家來(lái)進(jìn)行解釋。來(lái)自美國和德國的研究人員最近公布了一種算法,該算法不僅可以分析圖片,回答“哪種運動(dòng)正在播放”等問(wèn)題,還可以用“棒球員手握球棒”這樣的短語(yǔ)來(lái)回答“棒球”這樣的問(wèn)題。
MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂(lè )情報實(shí)驗室的主任,他讓一些人玩了電腦游戲“青蛙”,并在他們玩的過(guò)程中解釋他們的策略。他將這些數據與描述游戲狀態(tài)的代碼一起記錄下來(lái),然后在這兩種情況下訓練了一個(gè)神經(jīng)網(wǎng)絡(luò )。當他把這個(gè)網(wǎng)絡(luò )連接到另一個(gè)設計游戲的網(wǎng)絡(luò )時(shí),他創(chuàng )造了一個(gè)人工智能,使其可以在玩游戲的過(guò)程中合理化自己的行為。
雖然對可解釋的人工智能研究還處于初級階段,但歐盟最近的一項指令可能會(huì )給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數據保護條例(GDPR)將有效地創(chuàng )造一種“解釋權”,使公民能夠要求做出關(guān)于算法決策背后的邏輯。
正如埃森哲的分析師在一篇博客文章中指出的那樣,關(guān)于這種新權利的程度存在爭議,但他們仍然建議企業(yè)接受可解釋的人工智能,以便在未來(lái)證明自己的企業(yè)不受監管機構的影響。
這一領(lǐng)域也可能會(huì )有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習算法來(lái)解釋他們的決策,美國國防高級研究計劃局(DARPA)正在資助13個(gè)致力于解決這個(gè)問(wèn)題的研究小組。這其中包括來(lái)自俄勒岡州立大學(xué)的一個(gè)小組,他們計劃用第二個(gè)神經(jīng)網(wǎng)絡(luò )來(lái)分析神經(jīng)網(wǎng)絡(luò ),以確定神經(jīng)活動(dòng)對特定決策的影響。
但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會(huì )有多大用處。他說(shuō),即使有了人類(lèi),認知心理學(xué)家也發(fā)現,當你讓別人解釋他們的決定時(shí),他們通常會(huì )以可能與實(shí)際決策過(guò)程無(wú)關(guān)的方式來(lái)理解他們的行為。他在悉尼的一次活動(dòng)上說(shuō):“因此,我們可能會(huì )在機器學(xué)習領(lǐng)域處于同一個(gè)位置,在這個(gè)階段我們訓練一個(gè)系統來(lái)獲得答案,考慮到第一個(gè)系統的輸入,然后我們才會(huì )訓練另一個(gè)系統,現在你的工作就是做出解釋。”
相反,他說(shuō),隨著(zhù)時(shí)間的推移,研究這些算法的輸出可能會(huì )更有用,以識別偏差和錯誤。那么,問(wèn)題是這是誰(shuí)的責任:是過(guò)度擴張的公共機構、還是學(xué)術(shù)機構或企業(yè),在保護其人工智能能力的聲譽(yù)方面擁有既得利益。
在現實(shí)中,這可能需要兩者的結合。人工智能開(kāi)發(fā)者需要找到方法來(lái)解釋他們的創(chuàng )意所做出的決定,但我們不能只接受他們的說(shuō)法。還需要對這些決定如何影響人們的生活進(jìn)行密切的觀(guān)察。
評論