人工智能芯片的新用途
加入技術(shù)交流群
來(lái)源：semiengineering
復雜的 AI 流程可以分解為 AI 堆棧 來(lái)源：麥肯錫公司對于任何執行復雜算法和計算的 AI 芯片，都有幾個(gè)關(guān)鍵要求。首先，他們需要能夠并行處理數據，使用多個(gè)計算元素和寬數據路徑來(lái)減少延遲。在許多情況下，這還涉及一些與計算元素非常接近的局部?jì)却?，以及高帶寬內存。其次，這些設備需要針對尺寸、成本和功率預算進(jìn)行優(yōu)化，這通常需要根據預計工作負載調整大小的高吞吐量架構。反過(guò)來(lái)，這需要一些權衡，需要針對特定用例進(jìn)行平衡。第三，這些架構通常涉及混合處理器來(lái)管理復雜的數據流和電源管理方案，其中可能包括 CPU、GPU、FPGA、eFPGA、DSP、NPU、TPU 和 IPU。“在設計中，開(kāi)發(fā)人員需要考慮培訓、推理、低功耗、連接性和安全性的要求，”英飛凌物聯(lián)網(wǎng)、無(wú)線(xiàn)和計算業(yè)務(wù)部首席軟件產(chǎn)品營(yíng)銷(xiāo)經(jīng)理 Danny Watson 說(shuō)，“種方法可以實(shí)現需要本地快速決策的新用例，同時(shí)滿(mǎn)足當今物聯(lián)網(wǎng)產(chǎn)品的功耗預算?！?Watson 指出，關(guān)鍵是收集正確的數據，以便應用程序可以利用這些數據，從而使他們能夠利用技術(shù)改進(jìn)。無(wú)處不在的人工智能對于芯片公司來(lái)說(shuō)，這都是一件大事。根據 Precedence Research 的最新報告，整個(gè)人工智能市場(chǎng)將從 2021 年的 870 億美元增長(cháng)到 2030 年的超過(guò) 1.6 萬(wàn)億美元。這包括數據中心和邊緣設備，但增長(cháng)速度非?？?。事實(shí)上，人工智能是當今如此熱門(mén)的領(lǐng)域，幾乎所有主要科技公司都在投資或制造人工智能芯片。它們包括蘋(píng)果、AMD、Arm、百度、谷歌、Graphcore、華為、IBM、英特爾、Meta、NVIDIA、高通、三星和臺積電。這個(gè)市場(chǎng)五年前幾乎不存在，十年前大多數公司都在考慮云計算和高速網(wǎng)關(guān)。但是隨著(zhù)帶有更多傳感器的新設備的推出——無(wú)論是汽車(chē)、智能手機，甚至是內置某種程度智能的電器，正在生成如此多的數據，因此需要圍繞數據的輸入、處理、移動(dòng)和存儲設計架構。“在人工智能應用中，正在部署各種技術(shù)，”Arteris IP高級技術(shù)營(yíng)銷(xiāo)經(jīng)理 Paul Graykowski 說(shuō)?！白罱囊晃豢蛻?hù)開(kāi)發(fā)了一種復雜的多通道 ADAS SoC，它可以處理四個(gè)傳感器數據通道，每個(gè)通道都有自己的專(zhuān)用計算和 AI 引擎來(lái)處理數據。同樣，新的 AI 芯片架構也會(huì )不斷變化，以滿(mǎn)足新應用的需求?！?/span>從大到小獲得結果的時(shí)間通常與芯片間的距離成正比，更短的距離意味著(zhù)更好的性能和更低的功耗。因此，盡管超大規模數據中心仍需要處理海量數據集，但芯片行業(yè)正齊心協(xié)力將更多處理轉移到下游，無(wú)論是機器學(xué)習、深度學(xué)習還是其他人工智能變體。Cerebras 是深度學(xué)習領(lǐng)域的典型代表，在這個(gè)領(lǐng)域，速度至關(guān)重要，結果的準確性緊隨其后。Cerebras 產(chǎn)品管理總監 Natalia Vassilieva 報告說(shuō)，葛蘭素史克公司通過(guò)在其表觀(guān)基因組語(yǔ)言模型中使用晶片級設備，提高了****物發(fā)現效率。在一種情況下，葛蘭素史克能夠將大型化合物庫基于深度神經(jīng)網(wǎng)絡(luò )的虛擬篩選時(shí)間從在GPU集群上運行的183天減少到在大腦設備上運行的3.5天。該“芯片”擁有超過(guò) 2.6 萬(wàn)億個(gè)晶體管、85萬(wàn) 個(gè) AI 優(yōu)化內核、40 GB 片上內存和每秒 20 PB 的內存帶寬（1 PB 等于 1,024 TB）。它還消耗 23 kW 的功率，并使用內部閉環(huán)、直接對芯片的液體冷卻。Graphcore采用了不同的方法，引入了智能處理單元（IPU）技術(shù)。通過(guò)使用多指令、多數據 (MIMD) 并行性和本地分布式內存，IPU 可以提供 22.4 PFLOPS（每秒 1 petaflop 等于每秒 1000 teraflop），而只需要空氣冷卻。此外，IPU 在單精度下的理論算術(shù)吞吐量高達 31.1 TFLOPS。它比 A100 的 624 TFLOPS 快得多。在 Twitter 進(jìn)行的一項測試中，IPU 的性能優(yōu)于 GPU。
人工智能也可以變小。支持人工智能的智能事物，也稱(chēng)為物聯(lián)網(wǎng) (AIoT)/嵌入式人工智能，正在蓬勃發(fā)展。根據評估報告，邊緣人工智能硬件將從 2020 年的 70 億美元增長(cháng)到 2030 年的 390 億美元。人工智能為邊緣計算、網(wǎng)絡(luò )端點(diǎn)和移動(dòng)設備增加了智能。隨著(zhù)物聯(lián)網(wǎng)，越來(lái)越多的應用程序正在使用嵌入式人工智能。其中包括可穿戴設備、智能家居和智能遙控器，其中包括一些使用語(yǔ)音識別的設備。同樣依賴(lài)嵌入式 AI 的還有 AR/VR 游戲、智能汽車(chē)面板、物體和運動(dòng)檢測、家庭保健、抄表、智能工廠(chǎng)、智能城市、工業(yè)自動(dòng)化和智能建筑，包括控制和能源管理。Cadence Tensilica AI 產(chǎn)品的產(chǎn)品營(yíng)銷(xiāo)總監 Suhas Mitra 表示：“AI 能夠在本地更快地處理數據，從而使物聯(lián)網(wǎng)計算更加高效。這包括提供更好的響應時(shí)間和更小的延遲，因為生成的數據也在邊緣設備上即時(shí)處理。執行人工智能邊緣處理將更加可靠，因為它可能并不總是能夠通過(guò)實(shí)時(shí)無(wú)線(xiàn)或有線(xiàn)連接不斷向云發(fā)送大量數據。它還減輕了存儲和處理大量數據的壓力云中的大量數據，可能包含個(gè)人和敏感信息。關(guān)于向云發(fā)送用戶(hù)信息的隱私問(wèn)題可能會(huì )導致不經(jīng)同意就無(wú)法上傳數據。做更多的邊緣計算可以延長(cháng)電池壽命，因為當使用人工智能方法時(shí)，一些計算在邊緣平臺上需要更少的周期。因此，消耗的能量更少，散熱也更低?！?/span>在進(jìn)行推理之前，所有的 AI 芯片都需要經(jīng)過(guò)訓練。雖然數據集通常非常大，需要大型數據中心進(jìn)行培訓，但可以在個(gè)人計算機或開(kāi)發(fā)系統級別進(jìn)行進(jìn)一步培訓。開(kāi)發(fā)人員將經(jīng)歷一個(gè)艱苦的過(guò)程，以確保實(shí)現最佳推理算法。許多 AI 芯片制造商為其客戶(hù)提供培訓合作伙伴名單。即使有顧問(wèn)的幫助，開(kāi)發(fā)人員仍然需要支付咨詢(xún)時(shí)間并完成培訓工作。一種更簡(jiǎn)單的方法是使用預訓練模型來(lái)實(shí)現，例如 Flex Logix 的 EasyVision 平臺。通過(guò)預先培訓的X1M模塊芯片，開(kāi)發(fā)人員可以繞過(guò)培訓過(guò)程，直接進(jìn)行產(chǎn)品開(kāi)發(fā)和測試?！?Flex Logix推理營(yíng)銷(xiāo)高級總監 Sam Fuller 說(shuō)?！敖?jīng)過(guò)預訓練的解決方案已經(jīng)過(guò)現場(chǎng)測試和驗證，比開(kāi)發(fā)人員的試錯法效率更高。通常，專(zhuān)用預訓練芯片比常規CPU效率更高?！?/span>想得更小將 AI 包含在更小的設備中的可能性也在增加，這要歸功于由 tinyML 基金會(huì )建立的微型機器學(xué)習，以支持在 mW 范圍內運行的嵌入式設備機器學(xué)習和數據分析。其中許多設備可以在視覺(jué)、音頻、慣性測量單元（IMU）和生物醫學(xué)中執行ML。此外，它還提供了一個(gè)名為 ScaleDown 的開(kāi)源神經(jīng)網(wǎng)絡(luò )優(yōu)化框架，以簡(jiǎn)化將 ML 模型部署到 tinyML 設備的過(guò)程。TinyML 可以在任何可編程 AI 芯片上運行，包括 Arduino 板。Arduino 的使命是為愛(ài)好者、學(xué)生和教育工作者提供電子設備和軟件。它經(jīng)過(guò)多年的發(fā)展，基于 Arduino 的解決方案已用于當今的許多工業(yè)領(lǐng)域。但是結合 tinyML 和 Arduino 硬件可能會(huì )提供非常低成本的嵌入式 AI 解決方案，典型的硬件成本不到 100 美元。在這些微型設備中設計人工智能的挑戰之一是功率預算。Synaptics 已經(jīng)接受了開(kāi)發(fā)低功耗預算 AI 和傳感器芯片的挑戰。據領(lǐng)導 Synaptics 低功耗 AI 產(chǎn)品線(xiàn)的高級產(chǎn)品經(jīng)理 Ananda Roy 表示該公司的Katana AI SoC能夠進(jìn)行人員檢測/計數和跌倒檢測，并可以在24 MHz下以30 mW或90 MHz的更高功率運行主動(dòng)AI視覺(jué)推斷。深度睡眠模式的功耗小于100μW?？偟膩?lái)說(shuō)，它比其他AI芯片更節能。為了實(shí)現高效的電源管理，神經(jīng)處理單元 (NPU) 依賴(lài)于具有多個(gè)存儲體的存儲架構，這些存儲體可以在不使用時(shí)設置為超低功耗模式，以及可擴展的工作電壓和處理器速度，就像踩在當你需要你的車(chē)開(kāi)得更快時(shí)加油。FlexSense 是一款用于 AI 應用的傳感器芯片，其設計結合了低功耗 RISC CPU 和模擬硬件前端，該前端經(jīng)過(guò)高度優(yōu)化，可有效轉換電感和電容傳感器輸入。與車(chē)載霍爾效應和溫度傳感器一起，它包括四個(gè)傳感器，用于檢測觸摸、力、接近度和溫度等輸入，所有這些都在一個(gè)小封裝中（1.62 x 1.62 mm），在睡眠模式下僅使用240μW或10μW。
低功耗傳感器采用小封裝 (1.62 x 1.62 mm) 來(lái)源：Synaptics安全問(wèn)題和改進(jìn)在安全方面，人工智能既是一個(gè)潛在的漏洞，也是一個(gè)潛在的解決方案。隨著(zhù)人工智能芯片針對特定用例進(jìn)行了優(yōu)化，算法也在不斷更新，業(yè)界的經(jīng)驗教訓會(huì )減少，攻擊面也會(huì )擴大。但人工智能也可用于識別數據流量中的異常模式，發(fā)出警報或自動(dòng)關(guān)閉受影響的電路，直到可以進(jìn)行更多分析。恩智浦產(chǎn)品經(jīng)理 Srikanth Jagannathan 指出了電池驅動(dòng)設備的功能、芯片安全性和低功耗的正確組合的重要性。i.MX AI芯片結合了Arm的低功耗Cortex-M33、Arm TrustZone和NXP的片上EdgeLock、嵌入式ML和多i/O。功耗約為2.5瓦。然而，它能夠提供1個(gè)TOPS的性能（在 1 GHz 下進(jìn)行 512 次并行乘法累加運算）。
i.MX AI 芯片將 Arm 的低功耗 Cortex-M33 與 Arm TrustZone 和 NXP 的片上 EdgeLock、嵌入式 ML 和多個(gè) I/O 相結合 來(lái)源：恩智浦西門(mén)子 EDA 嵌入式軟件部門(mén)的高級產(chǎn)品經(jīng)理 Kathy Tufto指出需要建立軟件信任鏈，但這從硬件開(kāi)始。目標是防止任何未經(jīng)過(guò)身份驗證和驗證的代碼執行。在她確定的解決方案中：- 靜態(tài)數據：安全的信任引導根和信任訪(fǎng)問(wèn)控制的軟件鏈。
- Data at Motion：安全協(xié)議和加密加速。
- 使用中的數據：通過(guò)內存管理單元 (MMU) 進(jìn)行硬件強制分離。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
