賽靈思AI產(chǎn)品方向及市場(chǎng)應用

1   嵌入式開(kāi)發(fā)挑戰及賽靈思的解決方案

在嵌入式AI 產(chǎn)品落地的過(guò)程中，開(kāi)發(fā)者遇到最多的問(wèn)題或者說(shuō)挑戰主要有三個(gè)：①該方案是否靈活可擴展，能夠適配不同規模的產(chǎn)品？②是否有簡(jiǎn)單易用的AI 開(kāi)發(fā)工具以降低FPGA 開(kāi)發(fā)門(mén)檻？③如何突破瓶頸，在算力有限的邊緣端實(shí)現最大性能？ 

賽靈思在2020 年初正式推出了Vitis^TM AI 解決方案，它是一套面向賽靈思自適應  Zynq? SoC，Zynq? MPSoC，Alveo?及Versal? ACAP 的AI開(kāi)發(fā)平臺，它能夠為用戶(hù)帶來(lái)最強大的機器學(xué)習加速性能，這主要通過(guò)方案中的神經(jīng)網(wǎng)絡(luò )加速引擎DPU、一系列自動(dòng)化軟件工具（定點(diǎn)器、編譯器、優(yōu)化器）和AI運行時(shí)來(lái)實(shí)現。 

與傳統的基于RTL語(yǔ)言開(kāi)發(fā)AI加速I(mǎi)P方案的最大不同在于，VitisTMAI 向用戶(hù)提供一個(gè)通用的且可配置的神經(jīng)網(wǎng)絡(luò )加速引擎DPU，同時(shí)，所配套的軟件工具也都完全一致，這就保證了開(kāi)發(fā)者在不同大小的器件、甚至不同工藝制程的器件上靈活切換的可能。其次，VitisTM AI支持主流的機器學(xué)習框架，如Pytorch，Tensorflow 和Caffe；在開(kāi)放模型庫AI model zoo中涵蓋了上百個(gè)經(jīng)過(guò)充分優(yōu)化、驗證及部署的模型文件，其中不乏業(yè)界最先進(jìn)的3D目標檢測算法、多任務(wù)學(xué)習算法、超分辨率增強算法，或時(shí)下最流行的Yolo、Mobilenet、RefineDet、ResNet 系列，用戶(hù)可以免費下載或重新訓練；此外，對賽靈思AI部署環(huán)節的軟件庫AI Library 也做了專(zhuān)門(mén)的優(yōu)化，除了用自動(dòng)化的定點(diǎn)器和編譯器將模型轉化為可部署形式外，用戶(hù)還可以直接調用相應的軟件API，無(wú)需額外開(kāi)發(fā)，從而實(shí)現快速部署。最后，為了幫助客戶(hù)實(shí)現邊緣端的性能突破，賽靈思在基于VitisTM 統一軟件開(kāi)發(fā)平臺環(huán)境中，集成了大量經(jīng)過(guò)底層優(yōu)化的加速庫，通過(guò)C++、OpenCL library 的方式提供給用戶(hù)，所以除了DPU 對AI 部分的加速以外，我們對包括前處理、后處理的整體應用（全流程）都可以加速，從而可實(shí)現邊緣端應用的性能最大化。 

2   關(guān)注汽車(chē)、智慧城市、工業(yè)等領(lǐng)域

 賽靈思（Xilinx）在嵌入式人工智能領(lǐng)域主要關(guān)注ADAS 及自動(dòng)駕駛，智慧城市，醫療，工業(yè)視覺(jué)這幾個(gè)領(lǐng)域。

 1）賽靈思在汽車(chē)領(lǐng)域已深耕多年，隨著(zhù)汽車(chē)產(chǎn)業(yè)向高度自動(dòng)化和全自動(dòng)駕駛方向發(fā)展，賽靈思也不斷在探索提供符合汽車(chē)質(zhì)量要求的自適應系列芯片及AI 解決方案。具體來(lái)說(shuō)，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區檢測、自動(dòng)泊車(chē)、智能座艙及多傳感器融合等，覆蓋從L2 到L5 級別的ADAS 及自動(dòng)駕駛領(lǐng)域的應用。 

2）我們知道，汽車(chē)是一個(gè)特殊的場(chǎng)景，它對整個(gè)ADAS 或自動(dòng)駕駛系統的實(shí)時(shí)性和正確性有極高的要求，這就需要嵌入式芯片具備卓越的AI加速能力，以實(shí)現低時(shí)延、靈活應變的芯片架構，以適配不同的軟硬件工作負載，此外還需要滿(mǎn)足行業(yè)最高的可靠性測試標準，而賽靈思恰恰具備了這些能力。賽靈思在2021年6 月推出7 nm VersalTM AI Edge  系列，和當前Zynq UltraScale+? MPSoC 系列，都涵蓋了汽車(chē)等級，并提供行業(yè)領(lǐng)先的算力及靈活性。 

其實(shí)，賽靈思在目前基于Zynq UltraScale+ MPSoC 的16nm 器件上，已經(jīng)取得了許多量產(chǎn)成績(jì)，例如斯巴魯的EyeSight選擇了賽靈思產(chǎn)品實(shí)現其ADAS系統中自適應巡航控制、車(chē)道保持輔助和預碰撞制動(dòng)等功能；在低速駕駛方案中，自動(dòng)泊車(chē)輔助（AVA）和代客自動(dòng)泊車(chē)（AVP）也有多家客戶(hù)選擇XA 系列芯片及VitisTM AI 來(lái)實(shí)現環(huán)視系統的AI加速。 

對于A(yíng)DAS和自動(dòng)駕駛而言，為了保證車(chē)輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個(gè)必然的趨勢。如今，汽車(chē)搭載了越來(lái)越多的傳感器，如攝像頭、雷達、激光雷達、毫米波雷達、超聲波等，賽靈思也為這種多傳感器架構帶來(lái)了巨大價(jià)值。賽靈思產(chǎn)品一方面能夠增強高級信號處理、點(diǎn)云預處理，另一方面，通過(guò)Vitis AI還可以實(shí)現點(diǎn)云機器學(xué)習加速、Image-Lidar  融合算法加速、4D 雷達機器學(xué)習加速等；這些在汽車(chē)多傳感器方案，甚至5G結合AI的車(chē)路協(xié)同中都扮演重要的角色。

3）賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP 支持策略、H264/H265 視頻編解碼處理單元等能力以外，還具備強大的實(shí)時(shí)AI處理能力。2021年4 月，賽靈思面向邊緣計算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260 視覺(jué)開(kāi)發(fā)套件。同樣得益于VitisTM AI 所帶來(lái)的AI性能加速，用戶(hù)能夠在相關(guān)的邊緣設備上實(shí)現多路、最高分辨率達4k、60幀的實(shí)時(shí)人臉檢測、ID跟蹤等功能；此外，Kria SoM 也完全兼容賽靈思開(kāi)放式AI 模型庫，用戶(hù)可以從中選取模型任意切換或重新訓練部署，總之，Kria SoM 非常適合智能相機、嵌入式視覺(jué)及其它安全、零售分析、智慧城市和機器視覺(jué)應用的生產(chǎn)和原型開(kāi)發(fā)。 

4）醫療及工業(yè)視覺(jué)也是賽靈思嵌入式AI 落地的重要場(chǎng)景。在醫療領(lǐng)域，我們可以提供基于深度學(xué)習的醫療影像分析或超分辨率增強，用AI為醫護人員在內窺鏡、超聲、核磁、X光檢測等場(chǎng)景提供更準確的判斷。自2019 年新冠病毒蔓延以來(lái)，賽靈思及業(yè)內合作伙伴Spline.ai 利用VitisTMAI，將集成了深度學(xué)習處理單元DPU 的MPSoC 邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結合，針對肺部感染及新冠病毒預測系統開(kāi)發(fā)了可擴展的智能解決方案。在工業(yè)視覺(jué)領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠(chǎng)、智能工業(yè)相機、視覺(jué)控制等方面發(fā)揮重要的影響力，AI的作用主要體現在如缺陷檢測、文字識別、實(shí)時(shí)分析等機器學(xué)習支持的預測性維護控制、遠程診斷等端上智能化。 

(注：本文部分內容來(lái)源于《電子產(chǎn)品世界》2021年9月期)