當AI出現問(wèn)題時(shí)，我們竟無(wú)能無(wú)力？

　　這場(chǎng)競賽目的是開(kāi)發(fā)智能系統，能夠自動(dòng)駕駛汽車(chē)，診斷、治療復雜的醫療狀況，甚至還能訓練其他機器。

　　問(wèn)題在于，沒(méi)有人十分確定該如何診斷這些系統中潛在的、不那么明顯的缺陷，或者更好的情況應該是要防止它們發(fā)生。雖然機器可以很好地完成某些工作，但人類(lèi)仍然需要設計系統來(lái)訓練和觀(guān)察它們，并且這個(gè)系統還遠遠不夠完善。

　　“調試是一個(gè)開(kāi)放的研究領(lǐng)域，”IBM research Almaden副總裁兼實(shí)驗室主任Jeff Welser說(shuō)?！暗俏覀冎两襁€有一個(gè)好的答案?！?/p>

　　在這個(gè)問(wèn)題上他不是一個(gè)人。盡管人工智能、深度學(xué)習和機器學(xué)習正在被應用于包括半導體設計和制造業(yè)在內的多個(gè)行業(yè)，但重點(diǎn)在于如何使用這些技術(shù)，而不是在出了差錯時(shí)發(fā)生了什么。

　　“調試是一個(gè)開(kāi)放的研究領(lǐng)域，但這個(gè)問(wèn)題沒(méi)有解決?！盇NSYS首席技術(shù)專(zhuān)家這樣表示。

　　至少部分問(wèn)題是，沒(méi)人能完全確定一旦設備被訓練后會(huì )發(fā)生什么，特別是在深度學(xué)習、人工智能以及各種神經(jīng)網(wǎng)絡(luò )方面。

　　企業(yè)解決方案技術(shù)副總裁、杰出的發(fā)明家Steven Woo表示，調試是建立在理解的基礎上的，關(guān)于大腦是如何運作的，還有很多需要學(xué)習。所以從傳統意義上來(lái)說(shuō)，調試仍然是一個(gè)挑戰，因為需要了解何時(shí)發(fā)生了錯誤并進(jìn)行錯誤分類(lèi)。我們需要進(jìn)一步研究“我不知道”類(lèi)型的分類(lèi)。

　　這與科幻小說(shuō)中描述的一些場(chǎng)景相去甚遠，在科幻小說(shuō)中，機器可以控制整個(gè)世界。錯誤的算法可能導致在某處發(fā)生意外，如果它涉及到功能安全系統，可能會(huì )造成不可預估的危害;其他情況下，它可能會(huì )使機器產(chǎn)生惱人的行為。但是人工智能(AI)、深度學(xué)習(DL)和機器學(xué)習(ML)的不同之處在于，僅僅通過(guò)一個(gè)軟件補丁修復這些bug是不可行的。更何況，這些bug可能在數月或數年內都不會(huì )出現，或者直到與其他設備進(jìn)行交互才出現。

　　Synopsys嵌入式視覺(jué)處理器產(chǎn)品營(yíng)銷(xiāo)經(jīng)理則這樣認為，如果我們正在訓練一個(gè)網(wǎng)絡(luò )，那么它的吸引力就在于我們可以讓它更快、更準確。一旦我們訓練的網(wǎng)絡(luò )出了問(wèn)題，只能追蹤到代碼?，F在，調試成了一個(gè)棘手的問(wèn)題，而且它并不是一個(gè)能提前避免的事情。

　　什么足夠好?

　　“什么足夠好?”是半導體行業(yè)一個(gè)潛在主題，答案因市場(chǎng)、應用的不同而有很大差異。就算在在同一設備中，不同功能之間甚至都可能有所不同。例如，在玩手機游戲的時(shí)候，出現bug會(huì )很煩人，可能需要重新啟動(dòng)才能解決;但如果打不了電話(huà)，那我們可能會(huì )直接選擇換掉手機。對于工業(yè)設備，這項技術(shù)可能直接與收入掛鉤，因此它可能是計劃維修更換的一部分，而不是等待失敗。

　　對于人工智能，深度學(xué)習和機器學(xué)習，則不存在上面那樣的標準。推斷結果是數學(xué)分布，而不是固定的數字或行為。

　　eSilicon市場(chǎng)副總裁在某次采訪(fǎng)中表示：而它們最大的問(wèn)題是，是否正確，以及如何與人類(lèi)相提并論。是否當它們超越人類(lèi)時(shí)，就可以認為它們足夠好了?事實(shí)上，這個(gè)問(wèn)題可能我們永遠也無(wú)法證明。所有這些都是訓練數據的結果，一般來(lái)說(shuō)，擁有的訓練數據越多，就越接近完美。這也是與以往最大不同的地方，因為過(guò)去我們只關(guān)心算法和布線(xiàn)是否正確。

　　這是一個(gè)可能會(huì )出現問(wèn)題的地方。雖然在批量制造方面有大量的數據，但設計方面卻少得多。

　　“對我們來(lái)說(shuō)，每顆芯片都是如此獨特，我們只處理幾百個(gè)系統，所以輸入數據量很小，”ArterisIP首席技術(shù)官說(shuō)?！斑@個(gè)東西是一個(gè)黑盒子。如何處理以前從未處理過(guò)的事情，特別是涉及偏見(jiàn)和道德的問(wèn)題。需要更多的訓練數據?！?/p>

　　對于AI/DL/ML，即使是對bug的定義，也是不同的。

　　因為算法性能在一個(gè)領(lǐng)域中得到了發(fā)展，而它又不是確定性的，所以bug的定義也會(huì )改變。有時(shí)候，可能無(wú)法從這類(lèi)算法中分離出一個(gè)作為bug的特定輸出，因為它是基于算法中捕獲的進(jìn)化概率分布。

　　但我們可以通過(guò)預先設定算法可接受行為的明確邊界條件，來(lái)避免這種情況。然而，理解這些邊界條件并不簡(jiǎn)單，一則算法本身處于不斷優(yōu)化的狀態(tài)，再則是這些算法被廣泛用于各種應用中。

　　了解未知的

　　調試AI/ML/DL的一個(gè)起點(diǎn)是描述你所做的和不理解的。

　　這在機器學(xué)習中比在深度學(xué)習中簡(jiǎn)單，這兩者都適合在A(yíng)I的保護傘下，因為算法本身更簡(jiǎn)單。深度學(xué)習是一種基于多層矩陣的數據表示，其中每一層使用上一層的輸出作為輸入。機器學(xué)習則使用為特定任務(wù)開(kāi)發(fā)的算法。

　　在一個(gè)生產(chǎn)環(huán)境中，我們要知道哪里出了問(wèn)題?？梢粤私鈾C器學(xué)習算法來(lái)自于哪個(gè)模型，并對不同的算法進(jìn)行大量比較，但不同產(chǎn)品之間可能會(huì )有所不同?？赡茉诋a(chǎn)品A上，隨機森林效果不錯;而在產(chǎn)品B上，另一個(gè)算法或某種組合效果更好。但是，如果沒(méi)有大量的數據，或者有很多獨立變量在改變的時(shí)候，機器學(xué)習可能就沒(méi)什么作用了。

　　而這正是當下研究的重點(diǎn)。

　　人工智能系統觀(guān)察一只狗，將它識別為小狗或某種類(lèi)型的狗。機器能識別五到六個(gè)特征，但這些特征是否正確?是否存在過(guò)分強調一個(gè)特征?這一切都將回歸到人們對機器的擅長(cháng)程度上。

　　人們很容易理解導致這一決定的一系列事件，但決策過(guò)程并非如此。

　　一位Arm研究員說(shuō)：“這或許是人工智能，就是把一些數據輸入到系統中，然后彈出一個(gè)答案。它不一定解釋得出這個(gè)答案的精確推理，輸入數據的屬性，強烈地影響了這個(gè)答案是這樣出來(lái)的。如果我們給AI程序或機器學(xué)習算法提供了更多的決策控制，對于各種各樣的環(huán)境也是有幫助的?！?/p>

　　訓練數據偏差在這方面也起著(zhù)關(guān)鍵作用。

　　這對醫療數據來(lái)說(shuō)是一巨大挑戰，因為在某些領(lǐng)域，專(zhuān)家們在如何給某些東西貼上標簽的問(wèn)題上存在分歧，因此不得不開(kāi)發(fā)在標簽中容忍噪音的算法。我們從算法的角度知道它在做什么，我們發(fā)現它告訴我們看起來(lái)有用的東西。但與此同時(shí)，我們也向自己證明，不管輸入設置中出現任何偏差，都會(huì )影響輸出結果。這是一個(gè)關(guān)于智力的例子，或只是一個(gè)推理濫用的例子，亦或是我們還不知道的事情?

　　什么可行，什么不可行?

　　一旦錯誤被識別出來(lái)，處理它們的實(shí)際過(guò)程也不清楚。

　　解決這個(gè)問(wèn)題的方法之一，是從傳統方面著(zhù)手，比如支持系統和優(yōu)化內存帶寬。但沒(méi)人知道這些系統實(shí)際上是如何運作的。如何配置黑盒?這可能是需要機器學(xué)習來(lái)調試機器學(xué)習的情況，需要一名主管來(lái)訓練這些系統，并確定什么是好的，什么是壞的。

　　訓練數據的微小變化也會(huì )蔓延開(kāi)來(lái)。用于培訓一臺機器的數據可以由另一臺機器生成，后者可能實(shí)現不同的算法，或者它可能是實(shí)現相同算法的不同實(shí)例。例如，兩臺機器(兩臺機器都實(shí)現一種玩圍棋的算法)可能會(huì )互相玩，這樣每臺機器就會(huì )產(chǎn)生數據供給另一臺機器用來(lái)訓練。調試原理與上述相同，因為每個(gè)機器的行為分別根據可接受行為的邊界條件進(jìn)行驗證。

　　另一種方法是使AI/DL/ML的應用范圍足夠小，這樣就可以在內部不斷優(yōu)化。從TensorFlow算法開(kāi)始，很快會(huì )發(fā)現它們是不夠的，所以要轉用隨機森林。今天我們做分析，還能夠改變方法靈活適應。但是如何才能在一個(gè)已經(jīng)是虛構的深度學(xué)習中做到這一點(diǎn)呢?

　　迄今為止取得的進(jìn)展

　　更令人困惑的是，所有這些系統都是基于訓練算法，幾乎處于不斷變化的狀態(tài)。當它們用于現實(shí)世界的應用程序時(shí)，問(wèn)題就會(huì )顯現出來(lái)。在此基礎上對訓練數據進(jìn)行修正，并對推理系統進(jìn)行分析和測試，以了解這些變化是如何影響行為的。

　　西門(mén)子商業(yè)公司Mentor產(chǎn)品營(yíng)銷(xiāo)經(jīng)理表示：為了生成一組好的測試數據，我想做很多不同的事情。我提出一套特定的刺激裝置，并且在我的模擬農場(chǎng)里一天內做了1000次測試，卻總得到同樣的結果。因為我將得到同樣的結果，所以它必須做一些不同的事情。這實(shí)際上是一些方法的應用，這些方法與我們所說(shuō)的形式化技術(shù)非常相似，但這并不是純粹意義上的形式化驗證，就像我們考慮屬性檢查和基于斷言的驗證一樣。就形式數學(xué)而言，它是正式的。

　　領(lǐng)先的公司已經(jīng)為此努力了一段時(shí)間。我們還沒(méi)有看到任何商業(yè)上的東西，但你可以想象貝爾實(shí)驗室的客戶(hù)類(lèi)型。有一些客戶(hù)早就站在了這項技術(shù)的前沿——為自己開(kāi)發(fā)，不一定是用于商業(yè)目的。

　　未來(lái)之路

　　多年來(lái)，人工編寫(xiě)算法由大學(xué)和研究機構開(kāi)發(fā)和測試，調試人工智能一直被擱置一旁。在過(guò)去一年里，一切都變了。機器學(xué)習、深度學(xué)習和人工智能無(wú)處不在，這項技術(shù)甚至在去年還在測試的系統中得到了更廣泛的應用。

　　這種情況必須迅速改變。其中一些應用背后的想法是，人工智能可以用于培訓其他系統，并提高制造業(yè)的質(zhì)量和可靠性，但只有在培訓數據本身沒(méi)有缺陷的情況下，這種方法才有效。但也是在這一點(diǎn)上，沒(méi)有人可以很確定。