用“芯”看懂世界，黑芝麻為自動(dòng)駕駛帶來(lái)

　　2018年6月，在北京舉行的“安創(chuàng )成長(cháng)營(yíng)(ARM Accelerator Camp)”第五期路演上，黑芝麻智能科技(上海)有限公司獲得“最具潛力獎“。

安創(chuàng )加速器聯(lián)合創(chuàng )始人楊宇欣先生(左)為黑芝麻聯(lián)合創(chuàng )始人與COO劉衛紅先生頒獎

　　在此前的1月5日，黑芝麻曾宣布完成近億元A+輪戰略融資。該輪融資由蔚來(lái)資本領(lǐng)投，芯動(dòng)能投資基金、北極光創(chuàng )投等共同參與投資。2016年11月黑芝麻已獲得北極光領(lǐng)投的A輪融資。

　　那么，黑芝麻有哪些黑科技?

　　黑芝麻聯(lián)合創(chuàng )始人與COO劉衛紅在安創(chuàng )成長(cháng)營(yíng)上稱(chēng)，該公司要做感知系統全球領(lǐng)先者

　　黑芝麻的產(chǎn)品定位

　　黑芝麻提供基于圖像處理、計算圖像以及人工智能(AI)的嵌入式視覺(jué)感知平臺，不僅要看清楚世界，而且要理解世界，致力于成為全球領(lǐng)先的自動(dòng)駕駛“感知“技術(shù)方案提供商。

　　最近，總會(huì )看到一些關(guān)于自動(dòng)駕駛車(chē)禍的報道，例如Uber的感知系統不穩定，所以把warning關(guān)掉了，結果發(fā)生了車(chē)禍;特斯拉沒(méi)有把隔離帶識別出來(lái)，結果直接撞了上去;上圖右下角的是Intel Mobile無(wú)人駕駛測試車(chē)，沒(méi)有識別出紅綠燈，直接闖過(guò)去了……?？梢?jiàn)，如果沒(méi)有一個(gè)好的感知系統，自動(dòng)駕駛無(wú)從談起。

　　實(shí)際上，一個(gè)穩定、可靠的感知系統需要有四個(gè)方面的功能：清晰的視覺(jué)、優(yōu)質(zhì)的算法、多傳感器融合、足夠的計算能力。

　　黑芝麻的解決方案

　　上圖是黑芝麻提出的解決方案。面對復雜的外部環(huán)境，如車(chē)、人、道路、交通標識等，通過(guò)傳感器感知信號，利

　　用控光技術(shù)把光場(chǎng)進(jìn)行處理(攝像頭)，使攝像頭能夠在各種特殊工況條件下成像。再通過(guò)毫米波雷達、超聲波雷達、GPS、IMU(慣性測量單元)與攝像頭融合，將這些信號傳入到黑芝麻的感知系統。

　　在黑芝麻感知系統中搭載獨特的圖像處理技術(shù)，感知理解算法以及優(yōu)化的計算平臺。關(guān)于感知理解算法，例如人的特征、行為和場(chǎng)景的識別等;黑芝麻還有一個(gè)優(yōu)化的SoC計算平臺，這樣能夠將感知結果傳達給下游自動(dòng)駕駛企業(yè)去做決策、控制。因此，黑芝麻提供的是端到端、全棧式的感知解決方案。

　　智能感知計算芯片

　　上圖是黑芝麻第一次對外展示智能感知芯片SoC的架構。

　　上面中間的部分是Arm 架構CPU，藍色部分都是黑芝麻的技術(shù)，包含ISP(圖像信號處理器)、Codec(編/解碼器)、計算機視覺(jué)和神經(jīng)網(wǎng)絡(luò )等。和國內很多企業(yè)只關(guān)注神經(jīng)網(wǎng)絡(luò )加速相比，黑芝麻的技術(shù)更加豐富。

　　目前，汽車(chē)是黑芝麻著(zhù)重關(guān)注的領(lǐng)域。利用黑芝麻的獨特技術(shù)，黑芝麻能夠開(kāi)發(fā)出車(chē)規級的芯片，實(shí)現的功能包括支持多種傳感器的輸入，針對超低光、超高動(dòng)態(tài)范圍的圖像處理，也能夠滿(mǎn)足L3、L4自動(dòng)駕駛的計算能力。同Mobileye EyeQ4和EyeQ5相比，黑芝麻的感知芯片在單位功耗下的計算能力有優(yōu)勢。

　　在高動(dòng)態(tài)HDR成像當中，經(jīng)常會(huì )出現如上圖的亮暗高度對比的情景。通過(guò)黑芝麻的算法能夠得到比較完整、清晰的圖片，這樣能夠為深度學(xué)習、網(wǎng)絡(luò )加速提供很好的圖像信息來(lái)源。

　　上圖demo(演示)展示了在不同工況下，可有效識別出車(chē)道和汽車(chē)、行人、交通標志，此外，彎道、大逆光、低光、雨/霧天等也能進(jìn)行識別。

　　上圖demo展示了利用多種傳感器的融合，進(jìn)行高精度定位。綠線(xiàn)是黑芝麻定位的軌跡，紅色的是普通GPS信號的軌跡?？梢钥吹?，經(jīng)過(guò)傳感器融合后的定位與實(shí)際位置幾乎沒(méi)有偏差。

　　黑芝麻實(shí)力

　　黑芝麻成立于2016年8月，在美國硅谷、中國上海、深圳、武漢建立了自己的研發(fā)機構和辦事處，員工近百人，都是來(lái)自于細分領(lǐng)域的頂級公司，包括OV(豪威)、Ambarella(安霸)、高通、英偉達，甚至美國國防部，平均工作時(shí)間超過(guò)15年，在芯片的設計和驗證方面有著(zhù)豐富的經(jīng)驗。

　　與車(chē)廠(chǎng)的合作進(jìn)展

　　車(chē)規級芯片選擇了三家有代表性的汽車(chē)廠(chǎng)，一家是中國實(shí)力最強的主機廠(chǎng)，另一家是中國新能源汽車(chē)中的佼佼者，還有一家是新勢力造車(chē)的典型代表。

　　關(guān)于車(chē)規級芯片的進(jìn)展，目前芯片設計部分已經(jīng)結束，完成所有驗證要到2021年。

　　那么，在我國的智能網(wǎng)聯(lián)汽車(chē)規劃中提到，我國需要有自主的智能駕駛計算平臺，現在整車(chē)廠(chǎng)的進(jìn)程如何?劉衛紅先生介紹道，現在中國的自主品牌主機廠(chǎng)都有一個(gè)很明確的A/B方案，A方案就是上文提到的外圍公司(筆者注：英偉達等)，B方案就是黑芝麻，所以黑芝麻需要跟著(zhù)自主品牌一起成長(cháng)。

　　與傳感器、算法廠(chǎng)商的合作

　　感知平臺需要有與第三方傳感器有緊密的合作，為此，黑芝麻的芯片的功能特征是有雷達和GPS接口等。

　　現在也出現了新的激光雷達，但目前激光雷達商業(yè)化比較難，成本也比較高，目前黑芝麻只是留了接口，但還沒(méi)有進(jìn)行具體布局，實(shí)現商業(yè)化還需要一定時(shí)間。

　　那么，現在算法已經(jīng)固化到芯片里了嗎?劉衛紅先生稱(chēng)沒(méi)有固化，只是留了接口。黑芝麻有ISP(圖像信號處理)，再加上神經(jīng)網(wǎng)絡(luò )，SoC架構中還有基于RISK-V保密和加密安全方面等。

　　值得指出的是，基于視覺(jué)的識別都是黑芝麻自己做的。當然，第三方也有一些專(zhuān)門(mén)做機器視覺(jué)的公司，他們的算法也可以應用于黑芝麻的芯片。黑芝麻是比較開(kāi)放的平臺，會(huì )給第三方開(kāi)發(fā)兩種選擇：一是用黑芝麻提供的神經(jīng)網(wǎng)絡(luò )開(kāi)發(fā)工具直接進(jìn)行原始網(wǎng)絡(luò )的硬件合成;二是用黑芝麻提供的神經(jīng)網(wǎng)絡(luò )開(kāi)發(fā)工具進(jìn)行網(wǎng)絡(luò )的深度優(yōu)化，包括剪裁和再訓練。

　　關(guān)于“安創(chuàng )成長(cháng)營(yíng)”

　　前文提到，此次報道的是“安創(chuàng )成長(cháng)營(yíng)”路演活動(dòng)。

　　“安創(chuàng )成長(cháng)營(yíng)”(Arm Accelerator Camp)于2016年1月正式啟動(dòng)，每年運營(yíng)2期，致力于聚集創(chuàng )新創(chuàng )業(yè)力量，培養前沿科技獨角獸。借助Arm豐富的生態(tài)資源，為人工智能及物聯(lián)網(wǎng)領(lǐng)域創(chuàng )新創(chuàng )業(yè)提供以技術(shù)為核心的一站式深度加速服務(wù)，幫助初創(chuàng )企業(yè)走上良性成長(cháng)的軌道。

　　近三年，安創(chuàng )成長(cháng)營(yíng)成功運營(yíng)五期，共孵化與加速海內外項目89個(gè)，32% 項目具國際背景，項目總估值約325億元人民幣，被紅杉、經(jīng)緯、IDG、華登、真格、創(chuàng )新工場(chǎng)、晨興、高榕、高瓴、金沙江等知名機構投資;產(chǎn)品和技術(shù)被寶馬、吉利、戴姆勒、博世、海爾、科沃斯機器人、中移物聯(lián)網(wǎng)等廠(chǎng)商試用或采用;Demo Day(路演)更以黑馬之姿燃爆北京、上海、深圳、杭州，為學(xué)員們提供了一個(gè)展示各自創(chuàng )新成果及技術(shù)“硬”實(shí)力的平臺，為業(yè)界帶來(lái)了一場(chǎng)又一場(chǎng)無(wú)與倫比的科技盛宴。

　　關(guān)于“安創(chuàng )加速器”

　　安創(chuàng )加速器(Arm Accelerator)是Arm全球唯一加速器，聚焦于人工智能和物聯(lián)網(wǎng)產(chǎn)業(yè)的創(chuàng )新服務(wù)平臺。安創(chuàng )一直致力于幫助技術(shù)驅動(dòng)型創(chuàng )新創(chuàng )業(yè)企業(yè)精準對接生態(tài)資源、投資機構、銷(xiāo)售渠道、宣傳渠道，提供一站式深度加速服務(wù);幫助資本市場(chǎng)對接最具投資潛力的創(chuàng )新團隊，挖掘早期優(yōu)質(zhì)項目;幫助大企業(yè)尋找所需要的創(chuàng )新型項目，加速項目落地，做真正的創(chuàng )新引擎;幫助國外先進(jìn)技術(shù)在國內落地，以及國內項目在國外渠道布局，注重國際合作與交流，推動(dòng)全球創(chuàng )新。

Arm/安謀科技(中國)執行董事長(cháng)兼CEO吳雄昂在現場(chǎng)觀(guān)摩