70美元為第五代樹(shù)莓派添加AI套件

第五代樹(shù)莓派（RPi 5）有個(gè)特點(diǎn)，那就是具備PCI Express（PCIe）2.0接口，不過(guò)樹(shù)莓派基金會(huì )在設計RPi 5時(shí)希望維持電路板的嬌小特點(diǎn)，沒(méi)有使用一般計算機上已普遍使用的標準PCIe插槽，而是改用一個(gè)專(zhuān)屬連接器，透過(guò)該連接器再行轉接。

圖一 : 樹(shù)莓派AI套件的硬件為一個(gè)PCIe對M.2界面的轉接器及一張M.2接口的模塊子卡（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

70美元的AI套件
一般認為該PCIe接口會(huì )用來(lái)連接固態(tài)硬盤(pán)，畢竟RPi 5效能大幅提升，持續使用microSD記憶卡當硬盤(pán)實(shí)在委屈，不過(guò)既然是PCIe接口就有各種連接可能，而近期（英國時(shí)間6月4日）基金會(huì )就發(fā)表了一個(gè)70美元的人工智能（AI）套件，該套件附有一個(gè)轉接器，將RPi 5特有PCIe連接器轉成M.2界面，這稱(chēng)之為Raspberry Pi M.2 HAT+（注1），然后再與M.2接口的AI推論加速模塊子卡連接，讓RPi 5系統獲得AI推論的硬件加速能力。

注1：Raspberry Pi M.2 HAT+也有單獨出售，筆者查詢(xún)了美國DigiKey約12美元，主要設想還是用來(lái)連接M.2接口固態(tài)硬盤(pán)。
AI套件的重點(diǎn)是在模塊子卡，該子卡上有一顆以色列新創(chuàng )公司Hailo的AI推論硬件加速芯片Hailo-8L，實(shí)際上是該公司過(guò)去Hailo-8芯片的降規版，Hailo-8的推論效率約為26TOPS（8位整數精度而言），而Hailo-8L則降至13TOPS，芯片功耗也從2.5瓦降到1.5瓦。


 
圖二 : 模塊子卡上主要是一顆以色列Hailo公司的Hailo-8L推論加速芯片（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

為何會(huì )有降規版芯片？對此筆者只能推測，有可能是客戶(hù)反應有些AI推論應用不需要到26TOPS那么高的效能，如此何不推出一個(gè)更平價(jià)、更省電的版本給客戶(hù)？或者可能芯片生產(chǎn)上有若干良率問(wèn)題，若僅少部份電路壞損就讓整顆芯片報廢也有些可惜，在主功能無(wú)大礙下是可以改要求低規、低價(jià)版。
除了Hailo-8、Hailo-8L外，Hailo公司也有Hailo-8R芯片、針對AI視覺(jué)應用特別強化的Hailo-15芯片，甚至針對生成式AI應用而推出Hailo-10H芯片。
雖然是用以色列芯片，但這是基金會(huì )官方自己推行的AI硬件套件，并且標榜無(wú)論是不是使用基金會(huì )官方的攝影機AI套件都可以支持運作，一顆Hailo-8L芯片在一個(gè)攝影機下同時(shí)支持多個(gè)視覺(jué)影像模型的推論，或者是兩個(gè)攝影機下同時(shí)支持一個(gè)模型或多個(gè)模型的推論。


 
圖三 : 先搭裝上轉接器，而后在轉接器上安裝模塊子卡（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

除了硬件芯片外套件里另一個(gè)重點(diǎn)是軟件，Hailo公司隨Hailo-8L芯片提供豐富的預訓練模型可供運用，一堆預訓練模型的集合也稱(chēng)為模型動(dòng)物園（Model Zoo）；同時(shí)基金會(huì )官方也針對攝影機應用提供rpicam-apps suite的軟件套餐，里頭有實(shí)時(shí)攝影機推論的后處理范本（post-processing template）可用；或者也有Hailo公司的TAPPAS的后處理函式庫可用。有了這些只要再行撰寫(xiě)幾百行C++程序代碼就可以實(shí)現一個(gè)AI計算機視覺(jué)應用，而這些軟件整合很快也會(huì )套用到樹(shù)莓派官方的Picamera2上。
不僅是rpicam-apps或Picamera2，AI套件也能用在其他框架上，如GStreamer框架，或者供Python、C++撰寫(xiě)成的應用程序以API呼叫方式取用。另外上述這些軟件的安裝也很方便，使用Debian Linux常見(jiàn)的應用程序套件（package）安裝方式即可，即是用apt下達命令行安裝，安裝完重新啟動(dòng)RPi 5便可使用。


 
圖四 : Hailo公司針對其芯片提供完整的軟件支持，如Hailo模型動(dòng)物園、TAPPAS范例應用程序，另外也包含編譯程序、運行時(shí)間的軟件等（圖片來(lái)源：Hailo官網(wǎng)）

小結
最后，不知道基金會(huì )是只推行一款硬件AI套件，還是未來(lái)會(huì )廣泛推出不同芯片商的套件，畢竟現在Edge AI的推論芯片相當多廠(chǎng)商投入。但也可能怕創(chuàng )客眼花撩亂、選擇無(wú)力，短期內只讓創(chuàng )客用戶(hù)熟悉一款軟硬件，而集中心力推Hailo方案。
無(wú)論基金會(huì )態(tài)度如何，既然在官方已如此示范，估計會(huì )有許多協(xié)力商推出類(lèi)似方案，一樣透過(guò)M.2接口介接加速芯片，且讓我們拭目以待。