深度神經(jīng)網(wǎng)絡(luò )(DNN)是否模擬了人類(lèi)大腦皮層結構？

　　概要：人工智能交融了諸多學(xué)科，而目前對人工智能的探索還處于淺層面，我們需要從不同角度和層次來(lái)思考，比如人工智能和大腦的關(guān)系。

　　神經(jīng)元

　　在深度學(xué)習領(lǐng)域，神經(jīng)元是最底層的單元，如果用感知機的模型， wx + b, 加上一個(gè)激活函數構成了全部，輸入和輸出都是數字，研究的比較清楚。別的不說(shuō)，在參數已知的情況下，有了輸入可以計算輸出，有了輸出可以計算輸入。

　　但在神經(jīng)科學(xué)領(lǐng)域，神經(jīng)元并不是最底層的單位。

　　舉例來(lái)說(shuō)，有人在做神經(jīng)元膜離子通道相關(guān)的工作。一個(gè)神經(jīng)元的輸入，可以分為三部分，從其他神經(jīng)元來(lái)的電信號輸入，化學(xué)信號輸入，還有編碼在細胞內的信號(興奮，抑制類(lèi)型，這里可以類(lèi)比為 激活函數?)，輸出也是三個(gè)，電輸出，化學(xué)輸出，改變自身狀態(tài)(LTP 長(cháng)時(shí)程增強, LTD長(cháng)時(shí)程抑制)。

　　我們是否足夠了解神經(jīng)元? 我個(gè)人十分懷疑這一點(diǎn)，前幾天還看到一個(gè)關(guān)于神經(jīng)元的進(jìn)展，大意是神經(jīng)元不僅能對單一信號產(chǎn)生反應。還能對一定一定間隔的信號產(chǎn)生反應。。 神經(jīng)元的底層編碼能力其實(shí)更強。我們神經(jīng)科學(xué)發(fā)展了這么久，可能真的連神經(jīng)元都沒(méi)真正的搞清楚。

　　在這另外說(shuō)一句。 深度神經(jīng)網(wǎng)絡(luò )里面，大部分節點(diǎn)都是等同的，但是在人類(lèi)神經(jīng)網(wǎng)絡(luò )里面，并不是這樣。不同的腦區，甚至腦區內部，神經(jīng)元的形態(tài)都可以有很大的差異，如V1內部的六層就是基于神經(jīng)元形態(tài)的區分。從這個(gè)角度，人類(lèi)神經(jīng)系統要更復雜一些。我個(gè)人并不否認每一種神經(jīng)元可以用不同初始化參數的 節點(diǎn)來(lái)代替，但是目前來(lái)說(shuō)，復雜度還是要比深度神經(jīng)網(wǎng)絡(luò )要高。

　　信號編碼方式

　　再說(shuō)編碼方式，神經(jīng)科學(xué)里面的 神經(jīng)元是會(huì )產(chǎn)生0-1 的動(dòng)作電位，通過(guò)動(dòng)作電位的頻率來(lái)編碼相應的信號(腦子里面的大部分是這樣，外周會(huì )有其他形式的)，而人工神經(jīng)網(wǎng)絡(luò )?大部分我們聽(tīng)到的，看到的應該都不是這種方式編碼的，但是 脈沖神經(jīng)網(wǎng)絡(luò ) 這個(gè)東西確實(shí)也有，(去ASSC 開(kāi)會(huì )的時(shí)候看到了一個(gè)很有趣的工作，在評論區簡(jiǎn)單說(shuō)了下，有興趣可以去看。)

　　神經(jīng)網(wǎng)絡(luò )的結構

　　目前的深度神經(jīng)網(wǎng)絡(luò )主要是三種結構， DNN(全連接的)、CNN(卷積)， RNN(循環(huán))。還有一些很奇怪的， 比如說(shuō)...Attention 的?不好意思，文章還沒(méi)看，不敢亂說(shuō)。

　　DNN:

　　CNN：

　　出處： AlexNet

　　RNN：

　　出處： Understanding LSTM Networks

　　http://colah.github.io/posts/2015-08-Understanding-LSTMs/

　　神經(jīng)科學(xué)里面的網(wǎng)絡(luò )結構，此處以V1 為例：

　　和大家想的不同，視覺(jué)區分了V1，V2，V3，V4，V5(MT)，上面還有FFA， 和一些掌管更高級功能的腦區。在這里面每一個(gè)小的視皮層里面，并不是純由神經(jīng)元互相連接構成的，仍然存在不同的層級結構。這里去google 找了一張圖，不用管具體的文章，主要說(shuō)明的是V1 的精細結構和連接關(guān)系。V1 的主要功能是 識別點(diǎn)和不同角度的線(xiàn)段(Hubel 和W 在上世紀50年代在貓上的工作)，但是其實(shí)不止如此，V1 還對顏色有一定的感知。

　　如果在這個(gè)層面作比較，我自己的理解是， 人類(lèi)神經(jīng)網(wǎng)絡(luò )是 DNN+ CNN + RNN 再加上脈沖作為編碼方式。層內更像DNN， 層間和CNN 很類(lèi)似，在時(shí)間上展開(kāi)就是RNN。

　　好，我們繼續。

　　訓練方式

　　深度神經(jīng)網(wǎng)絡(luò )的訓練方式主要是反向傳播，從輸出層一直反向傳播到第一層，每一層不斷修正出現的錯誤。但是大腦里面并沒(méi)有類(lèi)似反向傳播機制，最簡(jiǎn)單的解釋?zhuān)窠?jīng)元信號傳遞具有方向性，并沒(méi)機會(huì )把信號返回上一層。舉個(gè)例子，我要拿起手邊的杯子，視覺(jué)發(fā)現向右偏移了一點(diǎn)，那我會(huì )自然而然的移動(dòng)整個(gè)手臂向左一點(diǎn)，然后試著(zhù)去重新抓住杯子。好像沒(méi)人是讓手指，手，最后是手臂朝杯子移動(dòng)，甚至多次才能最后成功吧。在此引用下一篇文章里面的圖。

　　來(lái)源文章： Towards Biologically Plausible Error Signal Transmission in Neural Networks

　　https://arxiv.org/abs/1702.07097

　　我們的大腦，更像最后 DFA 的原理。出錯了，把誤差送到一個(gè)更靠近輸入的地方，然后重新訓練。

　　記憶和遺忘

　　提到記憶的話(huà)，這里主要說(shuō)的是LSTM， LSTM 的記憶儲存在每個(gè)節點(diǎn)的權重里面，同時(shí)有專(zhuān)門(mén)的 遺忘門(mén) 控制遺忘速率。這些都是以數字的形式存儲的。

　　在神經(jīng)系統里面，記憶的存儲是由一些腦區的突觸的形成和消失來(lái)存儲的。其實(shí)他們有一個(gè)比較共通的地方在于，他們在訓練過(guò)程中都是漸變的。得益于反向傳播機制和 神經(jīng)系統的生物性，他們在訓練過(guò)程中和在不斷的學(xué)習過(guò)程中都只能以一個(gè)相對慢的速度發(fā)生改變，從學(xué)習速率角度來(lái)講，他們是比較相似的。

　　然后我們來(lái)說(shuō)遺忘。遺忘在LSTM 里面是通過(guò)門(mén)來(lái)控制的，在神經(jīng)系統里面，我覺(jué)得是和STDP相關(guān)的，它的基礎是 Hebb 假說(shuō)， Fire Together， Wire Together， 同步放電的神經(jīng)元傾向于建立一個(gè)更強的連接。STDP 拓展了這一點(diǎn)，考慮了兩神經(jīng)元放電的先后順序帶來(lái)的影響。

　　來(lái)源：Synaptic Modification by Correlated Activity: Hebb's Postulate Revisited

　　http://annualreviews.org/doi/abs/10.1146/annurev.neuro.24.1.139

　　簡(jiǎn)單來(lái)說(shuō)，如果突觸前神經(jīng)元放電先于突觸后神經(jīng)元(神經(jīng)元信號傳導具有方向性，從突觸前到突觸后)，這個(gè)突觸會(huì )進(jìn)入一個(gè)LTP 長(cháng)時(shí)程增強狀態(tài)，會(huì )對來(lái)自突觸前的信號有更強的反應。反之，如果突觸前神經(jīng)元放電后于突觸后，則會(huì )進(jìn)入一個(gè)長(cháng)時(shí)程抑制的狀態(tài)(說(shuō)明他倆并沒(méi)有接收到相同來(lái)源的信號，信號不相關(guān))，一段時(shí)間的反應更弱。

　　深度神經(jīng)網(wǎng)絡(luò )里面門(mén)的權重也是 反向傳播訓練出來(lái)的，也有漸變的這個(gè)性質(zhì)，當對于快速變化的刺激，有一定的滯后。從這個(gè)角度來(lái)說(shuō)，人類(lèi)神經(jīng)系統要更靈活一些，可以在很短的時(shí)間內完成狀態(tài)的切換。

　　覺(jué)得想說(shuō)的大概就是這些，因為我自己做的研究是 視覺(jué)注意，更多在人身上做，所以對于中間的環(huán)路級別的研究，并不是特別的熟悉。再往上，談到人類(lèi)大腦皮層的工作，個(gè)人覺(jué)得做的十分的有限，對于大部分腦區，我們并不知道他們是怎么工作的，只是能把不同的腦區和不同的功能對應起來(lái)(還不一定準)。在這個(gè)角度上談他們的異同是不太負責的。。容易被打臉。

　　接下來(lái)我會(huì )試著(zhù)邀請幾個(gè)朋友來(lái)說(shuō)下環(huán)路這個(gè)級別的事情。然后會(huì )找其他同行幫我挑錯和補充。很多東西都是按照記憶寫(xiě)的。一些東西不一定準確。。

　　我的觀(guān)點(diǎn)

　　正如在提綱里面提到的。 對的答案往往類(lèi)似，而錯誤的答案各有不同。地球上這么多高等的生命都有類(lèi)似的底層網(wǎng)絡(luò )結構，而其中的一種還發(fā)展出了這么偉大的文明，神經(jīng)網(wǎng)絡(luò )這個(gè)結構，至少已經(jīng)被我們自己證明是一種有效的形式。但是是不是智能這個(gè)形式的全局最優(yōu)解?我個(gè)人持懷疑態(tài)度。

　　神經(jīng)網(wǎng)絡(luò )是一個(gè)有效的結構，所以大家用這個(gè)結構做出一些很好的結果，我一定都不吃驚。但是如果談模擬的話(huà)，就是盡力要往這個(gè)方向靠。這點(diǎn)上，我個(gè)人并不是十分看好這種方式。我們向蝙蝠學(xué)習用聲音定位，發(fā)展的聲吶無(wú)論是距離還是效果都遠超蝙蝠。我們能超過(guò)蝙蝠的原因，第一是我們的技術(shù)有拓展性，底層原理共通的情況下，解決工程和機械問(wèn)題，我們可以不那么輕松但是也做到了探測幾千米，甚至幾十公里。第二個(gè)原因就是我們需要而蝙蝠不需要，他們天天在山洞里面睡覺(jué)。。哪用得著(zhù)探測幾十公里的距離，探到了也吃不著(zhù)。

　　其實(shí)人類(lèi)大腦也很類(lèi)似，大腦是一個(gè)進(jìn)化的產(chǎn)物。是由環(huán)境不斷塑造而成的，人為什么沒(méi)進(jìn)化出計算機一樣的計算能力，因為不需要。但是其實(shí)反過(guò)來(lái)也有一定的共通的地方，大腦里面的一些東西，我們也不需要，我們千百年來(lái)忍饑挨餓進(jìn)化出的 對于脂肪攝入的需求，在兒童時(shí)期對于糖類(lèi)攝取的需求。這么說(shuō)的話(huà)，我們對于大腦，同樣去其糟粕，取其精華不是更好嗎?

　　我上面提到的是一個(gè)理想的情況，我們對大腦已經(jīng)了解的比較透徹的，知道該去掉哪，留下哪。但是現在......可能還要走一段模擬的路子。

　　總結一下，就是深度神經(jīng)網(wǎng)絡(luò )和大腦皮層有共通的地方，但是并不能算是模擬。只是大家都找到了解題的同一個(gè)思路而已。