嵌入式神經(jīng)網(wǎng)絡(luò )賦予機器視覺(jué)、聽(tīng)覺(jué)和分析能力

　　人工智能(AI)潛在的應用與日俱增。不同的神經(jīng)網(wǎng)絡(luò )(NN)經(jīng)過(guò)測試、調整和改進(jìn)，解決了不同的問(wèn)題。出現了使用AI優(yōu)化數據分析的各種方法。今天大部分的AI應用，比如谷歌翻譯和亞馬遜Alexa語(yǔ)音識別和視覺(jué)識別系統，還在利用云的力量。通過(guò)依賴(lài)一直在線(xiàn)的互聯(lián)網(wǎng)連接，高帶寬鏈接和網(wǎng)絡(luò )服務(wù)，物聯(lián)網(wǎng)產(chǎn)品和智能手機應用也可以集成AI功能。到目前為止，大部分注意力都集中在基于視覺(jué)的人工智能上，一部分原因是它容易出現在新聞報道和視頻中，另一部分原因是它更類(lèi)似于人類(lèi)的活動(dòng)。

　　聲音和視覺(jué)神經(jīng)網(wǎng)絡(luò )(圖片來(lái)源于：CEVA)

　　在圖像識別中，對一個(gè)2D圖像進(jìn)行分析(一次處理一組像素)，通過(guò)神經(jīng)網(wǎng)絡(luò )的連續層識別更大的特征點(diǎn)。最開(kāi)始檢測到的邊緣是具有高差異性的部位。以人臉為例，最早識別的邊緣是在眼睛、鼻子和嘴巴這些特征周邊。隨著(zhù)檢測過(guò)程在神經(jīng)網(wǎng)絡(luò )中的深入，將會(huì )檢測到整個(gè)面部的特征。

　　在最后階段，結合特征和位置信息，就能在可用的數據庫中識別到具有最大匹配度的一個(gè)特定的人臉。

　　神經(jīng)網(wǎng)絡(luò )的特征提取(圖片來(lái)源于：CEVA)

　　相機拍攝或捕捉的物體，可以通過(guò)神經(jīng)網(wǎng)絡(luò )在其數據庫找到具有最高匹配概率的人臉。尤其好的是物體不需要在完全相同的角度或位置，或者是相同的光線(xiàn)條件下進(jìn)行拍攝。

　　AI這么快就流行起來(lái)，在很大程度上是因為開(kāi)放的軟件工具(也稱(chēng)為框架)，使得構建和訓練一個(gè)神經(jīng)網(wǎng)絡(luò )實(shí)現目標應用程序變得容易起來(lái)，即使是使用各種不同的編程語(yǔ)言。兩個(gè)常見(jiàn)的通用框架是TensorFlow和Caffe。對于已知的識別目標，可以離線(xiàn)定義和訓練一個(gè)神經(jīng)網(wǎng)絡(luò )。一旦訓練完成，神經(jīng)網(wǎng)絡(luò )可以很容易地部署到嵌入式平臺上。這是一個(gè)聰明的劃分，允許借助PC或云的能力訓練神經(jīng)網(wǎng)絡(luò )，而功耗敏感的嵌入式處理器只需使用訓練好的數據來(lái)進(jìn)行識別。

　　類(lèi)人的識別人和物體的能力與流行的應用密切相關(guān)，比如工業(yè)機器人和自動(dòng)駕駛汽車(chē)。

　　然而，人工智能在音頻領(lǐng)域具備同樣的興趣點(diǎn)和能力。采用和圖像特征分析同樣的方式，可以將音頻分解成特征點(diǎn)來(lái)輸入給神經(jīng)網(wǎng)絡(luò )。有一種方法是使用梅爾頻率倒譜系數(MFCC)將音頻分解成有用的特征。最開(kāi)始音頻樣本被分解成短時(shí)間的幀，例如20 ms，然后對信號進(jìn)行傅里葉變換，使用重疊三角窗將音頻頻譜的功率映射到一個(gè)非線(xiàn)性尺度上。

　　聲音神經(jīng)網(wǎng)絡(luò )分解圖(圖片來(lái)源于：CEVA)

　　通過(guò)提取的特征，神經(jīng)網(wǎng)絡(luò )可以用來(lái)確定音頻樣本和音頻樣本數據庫中詞匯或者語(yǔ)音的相似度。和圖像識別一樣，神經(jīng)網(wǎng)絡(luò )為特定詞匯在數據庫中提取了可能的匹配。對于那些想要復制谷歌和亞馬遜的“OK Google”或“Alexa”語(yǔ)音觸發(fā)(VT)功能的人來(lái)說(shuō)，KITT.AI通過(guò)Snowboy提供了一個(gè)解決方案。觸發(fā)關(guān)鍵詞可以上傳到他們的平臺進(jìn)行分析，導出一個(gè)文件，集成到嵌入式平臺上的Snowboy應用程序中,這樣語(yǔ)音觸發(fā)(VT)的關(guān)鍵詞在離線(xiàn)情況下也可以被檢測到。音頻識別也并不局限于語(yǔ)言識別。TensorFlow提供了一個(gè)iOS上的示例工程，可以區分男性和女性的聲音。

　　另一個(gè)應用程序是檢測我們居住的城市和住宅周?chē)鷦?dòng)物和其它聲音。這已經(jīng)由安裝在英國伊麗莎白女王奧林匹克公園的深度學(xué)習蝙蝠監控系統驗證過(guò)了。它提供了將視覺(jué)和聽(tīng)覺(jué)識別神經(jīng)網(wǎng)絡(luò )集成到一個(gè)平臺的可能性。比如通過(guò)音頻識別特定的聲音，可以用來(lái)觸發(fā)安全系統進(jìn)行錄像。

　　有很多基于云的AI應用程序是不現實(shí)的，一方面有數據隱私問(wèn)題，另一方面由于數據連通性差或帶寬不夠造成的服務(wù)不能持續。另外，實(shí)時(shí)性能也是一個(gè)值得關(guān)注的問(wèn)題。例如工業(yè)制造系統需求一個(gè)瞬時(shí)響應，以實(shí)時(shí)操作生產(chǎn)線(xiàn)，連接云服務(wù)的延時(shí)就太長(cháng)了。

　　因此，將AI功能移動(dòng)到終端設備越來(lái)越受到關(guān)注。也就是說(shuō)，在正在使用的設備上發(fā)揮人工智能的力量。很多IP供應商提供了解決方案，比如CEVA的CEVA-X2和NeuPro IP核和配套軟件，很容易和現有的神經(jīng)網(wǎng)絡(luò )框架進(jìn)行集成。它為開(kāi)發(fā)具備人工智能的嵌入式系統提供了可能性，同時(shí)提供了低功耗處理器的靈活性。以一個(gè)語(yǔ)音識別系統作為例子，可以利用集成在芯片上的功耗優(yōu)化的人工智能，來(lái)識別一個(gè)語(yǔ)音觸發(fā)(VT)的關(guān)鍵詞和一個(gè)最小的語(yǔ)音命令(VC)的集合。更復雜的語(yǔ)音命令和功能，可以在應用程序從低功耗的語(yǔ)音觸發(fā)狀態(tài)下喚醒之后，由基于云的AI完成。

　　最后，卷積神經(jīng)網(wǎng)絡(luò )(CNN)也可以用來(lái)提高文本到語(yǔ)音(TTS)系統的質(zhì)量。一直以來(lái)TTS是將來(lái)自同一個(gè)配音員的許多小塊的高質(zhì)量錄音，整合成連續的聲音。雖然所輸出的結果是人類(lèi)可以理解的，但由于輸出結果存在奇怪的語(yǔ)調和音調，仍然感覺(jué)像是機器人的聲音。如果試圖表現不同的情緒則需要一組全新的錄音。谷歌的WaveNet改善了當前的情況，通過(guò)卷積神經(jīng)網(wǎng)絡(luò )(CNN)以每秒16000個(gè)采樣生成TTS波形。與之前的聲音樣本相比，其輸出結果是無(wú)縫連接的，明顯更自然更高質(zhì)量的聲音。