DNNBrain：北師大團隊出品的用于映射深層神經(jīng)網(wǎng)絡(luò )到大腦的工具箱

導讀

深度神經(jīng)網(wǎng)絡(luò )(DNN)通過(guò)端到端的深度學(xué)習策略在許多具有挑戰性的任務(wù)上達到了人類(lèi)水平的性能。深度學(xué)習產(chǎn)生了具有多層抽象層次的數據表示;然而，它沒(méi)有明確地提供任何關(guān)于DNNs內部運作的解釋?zhuān)瑩Q句話(huà)說(shuō)它的內部運作是一個(gè)黑盒子。深度神經(jīng)網(wǎng)絡(luò )的成功吸引了神經(jīng)科學(xué)家，他們不僅將DNN應用到生物神經(jīng)系統模型中，而且還采用了認知神經(jīng)科學(xué)的概念和方法來(lái)理解DNN的內部表示。盡管可以使用諸如PyTorch和TensorFlow之類(lèi)的通用深度學(xué)習框架來(lái)進(jìn)行此類(lèi)跨學(xué)科研究，但是使用這些框架通常需要高級編程專(zhuān)家和全面的數學(xué)知識。因此迫切需要一個(gè)專(zhuān)門(mén)為認知神經(jīng)科學(xué)家設計的工具箱，以繪制DNN和大腦的圖。在這項研究里，北京師范大學(xué)(后文稱(chēng)北師大)研究團隊設計并開(kāi)發(fā)了DNNBrain，這是一個(gè)基于Python的工具箱，旨在探索DNN和大腦中的內部表示形式。通過(guò)集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場(chǎng)景提供了應用程序和命令行界面，例如提取DNN激活，探測DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示，希望他們開(kāi)發(fā)的這款工具箱可以加速將DNN應用到生物神經(jīng)系統建模以及利用認知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

DNNBrain軟件介紹

DNNBrain被設計成為一個(gè)集成的工具箱，可以用于描述DNNs的人工表示和大腦的神經(jīng)表示，如下圖表示。

對DNNs和人進(jìn)行刺激后，可獲得人工神經(jīng)活動(dòng)和生物神經(jīng)活動(dòng)。通過(guò)將刺激、人工活動(dòng)數據和生物神經(jīng)活動(dòng)數據與定制設計的輔助IO文件組合在一起，DNNBrain允許用戶(hù)輕松地描述、比較和可視化DNNs和大腦的表示。

DNNBrain是一個(gè)模塊化框架，由IO、Base、Model、Algorithm四個(gè)模塊組成，如下圖所示。

IO模塊提供了管理與文件相關(guān)的輸入和輸出操作的工具。Base模塊定義用于數組計算和數據轉換的基礎類(lèi)。Model模塊包含各種DNN模型。Algorithm模塊定義了探索神經(jīng)網(wǎng)絡(luò )和大腦的各種算法。所有模塊都提供了用戶(hù)友好的API。針對各種研究場(chǎng)景開(kāi)發(fā)了一套CLIs。

Result

為了檢查DNN的人工表示，研究人員首先掃描DNN并獲得了其神經(jīng)活動(dòng)，就像我們使用大腦成像設備掃描人的大腦一樣。DNNBrain提供API和CLI來(lái)提取DNN用戶(hù)指定通道的激活狀態(tài)。下圖顯示了了三個(gè)示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個(gè)Conv層的激活圖，這些圖像顯示了五個(gè)Conv層中每個(gè)層的最大平均激活，這表明圖像的DNN表示隨著(zhù) 層的深度增加變得更加抽象。

上圖(A) AlexNet包含五個(gè)Conv層，3個(gè)FC層和一個(gè)1000-way的softmax分類(lèi)器。(B)提取了三個(gè)示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個(gè)Conv層的激活圖。所呈現的通道是在五個(gè)Conv層中每個(gè)層中顯示該示例圖像的最大平均激活的通道。

DNNBrain中還實(shí)現了編碼模型和表示相似性分析，以幫助研究人員檢查DNN與大腦表示之間的對應關(guān)系。

上圖(A)使用來(lái)自AlexNet Conv層的人工表示法預測VTC BOLD響應的體素式編碼模型的編碼精度圖。(B) BOLD5000刺激的RDM是根據AlexNet的Conv層的人工表示和人類(lèi)VTC的大腦激活模式計算得出的。將每對圖像之間的表示距離量化為它們的表示之間的相關(guān)距離。DNN和大腦之間的表示相似性進(jìn)一步計算為其RDM之間的Pearson相關(guān)性。

研究人員使用DNNBrain來(lái)可視化AlexNet的三個(gè)輸出單元（即鴕鳥(niǎo)，孔雀和火烈鳥(niǎo)）的首選功能。選擇輸出單元作為示例是因為它們產(chǎn)生的功能易于檢查（即每個(gè)單元對應一個(gè)唯一的類(lèi)別）。這些過(guò)程本質(zhì)上適用于DNN中的任何單元。

上圖(A)從BOLD5000數據集中發(fā)現的top刺激。(B)為(A)中顯示的top刺激計算的顯著(zhù)性圖。(C)通過(guò)增加相應神經(jīng)元的激活來(lái)引導從頭開(kāi)始合成的圖像。

總結

北師大研究團隊為探索DNN和大腦中的內部表示形式設計并開(kāi)發(fā)了一個(gè)基于Python的工具箱--DNNBrain。通過(guò)集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場(chǎng)景提供了應用程序和命令行界面，例如提取DNN激活，探測DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示，期待他們開(kāi)發(fā)的這款工具箱可以加速將DNN應用到生物神經(jīng)系統建模以及利用認知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

文章來(lái)源于公眾號"腦機接口社區"