「超深度學(xué)習」創(chuàng )造新一代人工智能的核心理論

　　針對深度學(xué)習存在的上述問(wèn)題，超深度學(xué)習一舉將深度學(xué)習所存在的所有問(wèn)題全部給予解決。超深度學(xué)習的數學(xué)基礎就是公式1所示的一個(gè)基于概率尺度的自組織的機器學(xué)習算法。

　　公式1

　　這里，給定一個(gè)屬于集合G的一組隨機分布的數值pi (i=1,2,…,m)，某一集合Gn-1中必然存在一個(gè)最大概率值A^n-1，以及可以標定最大概率空間的尺度M^n-1，如果把最大概率空間看成是新的一集合Gⁿ，就可以通過(guò)迭代，獲得最終可以超越統計學(xué)公式化的解，為了區別于傳統的統計學(xué)的結果，我們可以把A^n-1稱(chēng)為最大幾率值，把M^n-1，稱(chēng)為最大幾率空間的尺度。這就是概率尺度自組織的模型。

　　概率尺度自組織在圖像識別中，可以從一個(gè)小區域的若干個(gè)像素灰度值通過(guò)概率尺度自組織得到一個(gè)最大幾率值，用于表達該區域的圖像特征。概率尺度自組織還具有遷移特性，可以自律的朝著(zhù)大概率的方向遷移，當圖像移位時(shí)可以自動(dòng)的遷移，這是傳統模式識別所做不到的。

　　圖4是概率尺度自組織具有向大概率方向遷移的特性。 如圖4所示，概率尺度自組織在給定的任何地方，只要是初步滿(mǎn)足一定條件，通過(guò)迭代就可以自律的朝著(zhù)大概率的方向遷移，中間遇到小概率的擾動(dòng)，也可以跨越小概率的阻擋最終落在大概率的位置上。

　　圖4 概率尺度自組織具有向大概率方向遷移的特性示意圖

　　在自動(dòng)駕駛的車(chē)道線(xiàn)識別與障礙物的3D識別的應用中，還可以驗證概率尺度自組織可以無(wú)訓練的將圖像中最大概率分布的目標圖像直接識別出，還可以按照圖像中的各個(gè)最大概率的分布狀態(tài)進(jìn)行特征抽出，可以得到結構化的特征信息抽出結果，從而實(shí)現圖像理解的識別效果。

　　例如圖5所示進(jìn)行人臉識別時(shí)可以自動(dòng)的尋找到概率分布最集中的人的臉部。傳統的摸著(zhù)石頭過(guò)河的程序搜索方法存在一個(gè)嚴重的問(wèn)題是需要對人臉膚色的事先定義，這樣不同膚色在程序規則上就要調整，需要大量的程序進(jìn)行規則堆積，嚴重影響人臉識別精度的提高，采用概率尺度自組織按照人臉圖像的顏色分布，在整個(gè)圖像中是最大的概率，可以直接通過(guò)概率尺度自組織的遷移特性直接獲得人臉位置。

　　圖5 用概率尺度自組織的遷移特性獲得人臉位置示意圖

　　概率尺度自組織的遷移軌跡，以及最終的結果需要嚴格的對應數據空間，用一維的概率尺度衡量二維空間的數據就會(huì )產(chǎn)生錯誤的結果。另外概率尺度自組織的解也符合最佳化解的特性，遷移路徑與結果具有一定的邊界條件。

　　在模式識別中需要計算樣本數據與學(xué)習后登錄數據之間的距離，我們在實(shí)際大量應用中所接觸的數據證明概率空間一定是存在于歐幾里得空間的，也就是說(shuō)在歐幾里德空間存在著(zhù)無(wú)數個(gè)概率空間，因此如何找到一個(gè)跨越歐幾里得空間與概率空間的距離是提高模式識別的關(guān)鍵。這里我們提出了公式2的概率空間的距離的定義方法，設是兩個(gè)集合的要素，分別是集合要素的復數個(gè)學(xué)習數據，通過(guò)多次的概率尺度自組織機器學(xué)習所得到的最大幾率空間的尺度，則從 的概率空間到 (j=1,2,…,n)的概率空間的跨越歐幾里得空間與概率空間的距離G可定義如下：

　　公式2

　　公式2雖然是定義出來(lái)的，但是可以嚴格證明其正確性，因為概率空間是測度等于1的空間，在概率空間中的距離誤差是概率密度，也可以證明最大幾率空間尺度就是概率密度的近似值。

　　下面具體介紹超深度學(xué)習的架構，超深度學(xué)習與普通的深度學(xué)習最大的不同是，傳統的深度學(xué)習是通過(guò)層與層之間的復雜連接關(guān)系產(chǎn)生海量數據，這種人為的將問(wèn)題復雜化恐怕是典型學(xué)界的做法，這種做法可以引起眾多的學(xué)者們的興趣，是起到推動(dòng)人工智能在理論上的完善必不可少的過(guò)程，幾乎科學(xué)技術(shù)的發(fā)展都需要這個(gè)過(guò)程，當發(fā)展到一定程度時(shí)，必定有人出來(lái)從另一條路出發(fā)將多年積累的理論顛覆，產(chǎn)生可以實(shí)際應用的新理論。人工智能也一定要走這一道路。超深度學(xué)習就是拋磚引玉引發(fā)新一代人工智能創(chuàng )出的理論之一，同深度學(xué)習不同的是超深度學(xué)習是概率模型，可直接對數據進(jìn)行概率尺度自組織機器學(xué)習，可以定量的對輸入的隨機分布信息進(jìn)行分析，對數據進(jìn)行分類(lèi)，沉淀深層信息，最終產(chǎn)生定量化的識別與分類(lèi)，使傳統的系統只有通過(guò)實(shí)際數據的驗證才可以知道識別精度與數據分類(lèi)精度，成為識別結果的精度可計算性的系統，從而使模式識別與數據分類(lèi)進(jìn)入一個(gè)嶄新的時(shí)代。

　　超深度學(xué)習始終基于最大概率尺度的自組織，所以是一個(gè)新的無(wú)監督學(xué)習模型，無(wú)需海量數據來(lái)承載目標函數的信息，是對具有隨機特性的輸入數據的直接學(xué)習，可以產(chǎn)生非常高效率的處理效果，無(wú)需巨大的硬件支持，一個(gè)最低的硬件配置就完全可以實(shí)現各種的人工智能的應用，可做到的最佳分類(lèi)，最佳的模式識別處理結果。

　　圖6 超深度學(xué)習架構示意圖

　　超深度學(xué)習如圖6所示;超深度學(xué)習的每一個(gè)功能單元是由輸入層，腦神經(jīng)層，以及腦皮層組成的新型神經(jīng)網(wǎng)絡(luò )。在輸入層與腦神經(jīng)層之間的節點(diǎn)與節點(diǎn)之間直接連接著(zhù)大量的概率尺度的自組織機器學(xué)習，構成了分散機器學(xué)習處理系統。

　　在超深度學(xué)習的神經(jīng)網(wǎng)絡(luò )的層數是與大腦一致，在圖像識別時(shí)，提取的是圖像最大概率的特征值，判斷每一個(gè)特征值是否屬于某個(gè)已登陸的特征向量，是以最大幾率空間的尺度為依據，相當于最大幾率空間的尺度是一個(gè)神經(jīng)元的閥值，所對應的腦神經(jīng)層的節點(diǎn)就產(chǎn)生一個(gè)腦神經(jīng)信號輸入到腦皮層，以最大幾率空間的尺度為基準值刺激腦皮層，腦皮層被刺激的信號越多越興奮，依據腦皮層的興奮程度決定是否為目標函數信息，這豈不是與大腦的機理非常接近嗎?最大幾率空間的尺度就相當于腦神經(jīng)的閥值，并不是深度學(xué)習中人為定義的參數，因此大腦機理應該建立在概率空間的模型上，通過(guò)超深度學(xué)習的架構終于搞清楚了，這也是通過(guò)算法仿真生物神經(jīng)的機理的一個(gè)重要的成果。

　　圖7 在如何深入上超深度學(xué)習與深度學(xué)習的比較

　　下面讀者會(huì )問(wèn)超深度學(xué)習只有三層如何深入，當今的潮流是大模型，大數據，大硬件構成的大系統是主流。如圖7所示;深度學(xué)習是靠大量的增加層數，由于復雜度是指數性的，其結果使系統很快就超負荷了。超深度學(xué)習是按照導入解決復雜系統問(wèn)題的空間映射原理，可以把任何的復雜系統的目標函數映射到任意多的子空間，針對每一個(gè)子空間的目標函數的信息用增加輸入層的節點(diǎn)的方法進(jìn)行深入，這使超深度學(xué)習可以把目標函數的處理無(wú)限的深入下去，卻不增加系統的復雜度O(n2)。利用這個(gè)特點(diǎn)可以無(wú)限的增加特征數據集的規模，深度學(xué)習的數據集只能幾百萬(wàn)個(gè)，而超深度學(xué)習可以達到數萬(wàn)以至數億個(gè)以上，隨著(zhù)系統應用的需要可以無(wú)限的增加機器學(xué)習的數量，可以預測今后的人工智能系統用的能力指標將以有多少個(gè)機器學(xué)習來(lái)計算。50年來(lái)的計算機由簡(jiǎn)單的門(mén)電路組成發(fā)展至今原理沒(méi)有任何變化，使用的門(mén)電路的規模卻發(fā)生了巨大的變化，計算機的性能也出現了驚人的提高，相信未來(lái)的人工智能系統由眾多的機器學(xué)習組成的，其能力不管如何過(guò)高的估計也不會(huì )過(guò)分。

　　再有在目標函數概率分布模型的優(yōu)勢上，通過(guò)小數據的訓練可以獲得目標函數的概率分布，可以相當于無(wú)窮的函數映射的效果。這也是深度學(xué)習所望塵莫及的。由于超深度學(xué)習可以構造比深度學(xué)習還大規模的分散機器學(xué)習模型，可以通過(guò)小數據的訓練獲得超過(guò)深度學(xué)習的還要大規模的特征數據集，以及無(wú)限多的機器學(xué)習所構成的大的分散處理硬件系統，因此超深度學(xué)習更加適應時(shí)代潮流。

　　將任意一個(gè)圖像通過(guò)手機拍照后，通過(guò)超深度學(xué)習變換成一個(gè)

　　1036的代碼，導入了超深度學(xué)習無(wú)需通過(guò)噴印標記的方式構成光學(xué)可讀性二維碼，而是靠圖像的灰度的自然分布，自組織成一個(gè)二維碼，也就是說(shuō)可以通過(guò)手機拍攝商品標識，直接生成一個(gè)可以連接網(wǎng)絡(luò )的二維碼，讓全世界的商品一夜之間就可連接網(wǎng)絡(luò )。

　　超深度學(xué)習的實(shí)際應用的例子之一是如圖8所示;

　　圖8超深度學(xué)習實(shí)現圖像變換代碼的例子

　　超深度學(xué)習的圖像直接生成代碼，是對市場(chǎng)流行的開(kāi)源程序AR圖像識別技術(shù)的顛覆，AR技術(shù)是通過(guò)傳統的圖像輪廓識別，產(chǎn)生一個(gè)將近10兆字節識別結果的文件，由于識別結果所占用的容量，遠比圖像本身的容量要大，所以一般識別引擎是放到網(wǎng)絡(luò )服務(wù)器上，用手機將被識別的圖像送到網(wǎng)上，網(wǎng)絡(luò )服務(wù)器識別圖像后將網(wǎng)絡(luò )下載的結果送回手機，這樣的應用如果網(wǎng)絡(luò )環(huán)境差，就得不到很好的用戶(hù)體驗。超深度學(xué)習克服了由于手機在不同情況下拍攝的圖像所產(chǎn)生的非常大的隨機分布信息，通過(guò)概率尺度的自組織變換成一個(gè)穩定的代碼，這個(gè)代碼不到十個(gè)字節，可以把識別引擎放到手機上做在線(xiàn)圖像變換代碼的應用。

　　超深度學(xué)習與深度學(xué)習在機理上的比較表1.

　　超深度學(xué)習與普通的深度學(xué)習的對比如表1所示;首先從方法上進(jìn)行比較：

　　深度學(xué)習是在歐幾里得空間里訓練出海量的參數，用海量的參數承載目標函數的信息，超深度學(xué)習是直接針對輸入的隨機分布數據進(jìn)行概率空間的自組織機器學(xué)習，將隨機分布的數據進(jìn)行去偽存真的處理，得出定量的并且穩定的最大概率的解，以及可以提煉出深層的信息。

　　在前面已經(jīng)討論了，深度學(xué)習是將目標函數映射到數據集的模型，因此面對具有隨機特性的數據，需要數百萬(wàn)次的訓練，需要付出巨大的數據標注費用。超深度學(xué)習是概率模型，通過(guò)概率分布信息可以將小數據的訓練生成具有無(wú)限映射效果的概率分布。

　　在計算復雜度上兩種模型具有截然不同的區別，因此在硬件開(kāi)銷(xiāo)上差距很大，在相同硬件環(huán)境下，超深度學(xué)習具有超越深度學(xué)習的應用效果是不可置疑的。

　　深度學(xué)習是把概率空間的數據映射到歐幾里得空間的，所以要對概率空間的隨機數據進(jìn)行全部的訓練，致使應用成本巨大不易普及。

　　特別是深度學(xué)習的應用效果是靠數據集的規模所產(chǎn)生的，超深度學(xué)習不僅在概率模型上優(yōu)于深度學(xué)習，在特征集的規模上同樣可以超越深度學(xué)習的數據規模，因此超深度學(xué)習在應用效果上超越深度學(xué)習是名副其實(shí)的。

　　超深度學(xué)習與深度學(xué)習在應用效果上的比較表2.

　　如表2所示;在神經(jīng)網(wǎng)絡(luò )的結構上深度學(xué)習是數十層乃至數百層，這樣就使問(wèn)題的復雜度急劇擴大，造成組合的空間無(wú)窮的大，導致不可能得到最佳組合的解，因此出現黑箱問(wèn)題等，超深度學(xué)習同大腦的構造近似，只有輸入層，腦神經(jīng)層，以及腦皮層三層，而且數學(xué)模型很接近大腦的機理，證明超深度學(xué)習符合大腦的機理。

　　再有，在模型能力擴大的方法上深度學(xué)習是靠增加隱藏層的數量來(lái)實(shí)現的!超深度學(xué)習是靠增加輸入層的節點(diǎn)的個(gè)數，通過(guò)將復雜系統空間的映射，把目標函數變換成若干子空間，并把子空間的特征分量對應輸入層的各個(gè)節點(diǎn)，通過(guò)擴大節點(diǎn)的個(gè)數達到深入學(xué)習的目的。

　　下面準備介紹一下我和我的團隊正在進(jìn)行的超深度學(xué)習視覺(jué)芯片的開(kāi)發(fā)情況。

　　圖9是超深度學(xué)習視覺(jué)芯片的構成，這個(gè)項目是同由日立，NEC以及三菱電機，三個(gè)公司的半導體事業(yè)部剝離組建的日本最大的芯片公司RENESAS公司聯(lián)合開(kāi)發(fā)的，采用硬件加軟件的形式。對于非常占用處理時(shí)間的顏色變換，以及為盡可能獲取圖像的本來(lái)信息，針對圖像的空間映射等采用硬件處理，算法用軟件處理。超深度學(xué)習獨特的兩種對抗學(xué)習以及無(wú)監督學(xué)習的算法均在這一款芯片里搭載，因此，可以使這一芯片在圖像感知方面做到傳統的算法無(wú)可比擬的天衣無(wú)縫的精度與應用效果。

　　圖9超深度學(xué)習視覺(jué)芯片的構成

　　我們的超深度學(xué)習的研發(fā)戰略是，首先從算法上布局，既然已經(jīng)證實(shí)，導入超深度學(xué)習可以顛覆傳統的統計學(xué)的兩大參數，那么與這兩大參數有關(guān)的相關(guān)分析，回歸分析等等大量的統計學(xué)的數學(xué)模型，將成為超深度學(xué)習的重要架構，這些成果可以分別通過(guò)論文的形式發(fā)表。同時(shí)將深度學(xué)習理論作為一個(gè)鏡子，逐一的將深度學(xué)習的一些特殊的算法在超深度學(xué)習上實(shí)現，在應用上從圖像感知，語(yǔ)音感知到預測推論等的應用可視化，在推廣上從提供SDK程序，SDL應用電路板，SDL芯片以及開(kāi)源平臺，聯(lián)合開(kāi)發(fā)等等分別進(jìn)行，我們是原創(chuàng )單位因此不同我們的用戶(hù)競爭，我們的角色是技術(shù)提供與服務(wù)，以及基礎性開(kāi)發(fā)，因此不獨立的進(jìn)行具體項目的開(kāi)發(fā)，可以為從事AI事業(yè)的創(chuàng )業(yè)公司進(jìn)行技術(shù)合作以及技術(shù)入股。

　　作為我們奉獻社會(huì )的超深度學(xué)習，由于不是通過(guò)組合方式訓練海量的參數的，是直接對隨機分量的數據進(jìn)行概率自組織的學(xué)習，因此不存在黑箱問(wèn)題。而且，最大的特點(diǎn)是硬件要求門(mén)檻極低，普通一個(gè)芯片，任何一個(gè)移動(dòng)終端都可以立即應用。超深度學(xué)習的基礎理論概念清楚，算法簡(jiǎn)單易懂，是可以大量普及的一個(gè)為大眾服務(wù)的AI算法。人工智能是國家戰略，自動(dòng)駕駛汽車(chē)是反映人工智能的國家水平的標準。為了證明超深度學(xué)習的能力，我們在社會(huì )的廣泛支持下，正在自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)上驗證超深度學(xué)習的應用效果。目前所有的自動(dòng)駕駛研發(fā)團隊，都因為控制過(guò)于復雜沒(méi)有現成的人工智能模型的支持，而處于停滯不前的現狀。我們寄托超深度學(xué)習可以沖破自動(dòng)駕駛的難關(guān)，使L4級別的自動(dòng)駕駛不再是偽命題。

　　我是中國人，我愿意將我發(fā)明的超深度學(xué)習在中國產(chǎn)業(yè)化，為中國及世界的人工智能發(fā)展服務(wù)。我現在是中國軟件行業(yè)協(xié)會(huì )嵌入式系統分會(huì )和中國嵌入式系統產(chǎn)業(yè)聯(lián)盟的理事、擔任著(zhù)中國嵌入式系統產(chǎn)業(yè)聯(lián)盟新一代人工智能專(zhuān)業(yè)委員會(huì )主任職務(wù)。為促進(jìn)超深度學(xué)習在中國的產(chǎn)業(yè)化，我已將超深度學(xué)習的宣傳和產(chǎn)業(yè)化的代理授權給中國嵌入式系統產(chǎn)業(yè)聯(lián)盟的負責人。希望通過(guò)中國嵌入式系統產(chǎn)業(yè)聯(lián)盟的積極組織，加快進(jìn)行超深度學(xué)習的產(chǎn)業(yè)化工作。我衷心的希望國家有關(guān)部門(mén)和相關(guān)的企事業(yè)單位大力支持超深度學(xué)習的產(chǎn)業(yè)化。歡迎從事人工智能的研究和應用的單位及專(zhuān)家、學(xué)者、技術(shù)人員加入到超深度學(xué)習的研究與推廣隊伍中來(lái)，共同為早日實(shí)現超深度學(xué)習的產(chǎn)業(yè)化做努力!