Xilinx Zynq All Programmable SoC：Smarter Vision的最明智選擇

您是否見(jiàn)識過(guò)奧迪非凡的自動(dòng)泊車(chē)功能?在沒(méi)有駕駛員的情況下，轎車(chē)能自動(dòng)找到車(chē)位并泊車(chē)入位;或者，您是否使用Kinect控制器玩過(guò)Xbox 360游戲，或是剛剛咬下一口您從本地水果店購買(mǎi)的鮮香水果。如果是，那么您可以把自己看成是Smarter Vision系統時(shí)代到來(lái)的見(jiàn)證人。

從最尖端精密的電子系統到普普通通的蘋(píng)果，各種形式的產(chǎn)品都無(wú)不受到Smarter視頻技術(shù)的影響。雖然當今Smarter Vision的運用已足以讓人稱(chēng)奇，但專(zhuān)家稱(chēng)我們其實(shí)還什么都沒(méi)有看到。有人預測在10年時(shí)間里，從汽車(chē)到工廠(chǎng)自動(dòng)化、醫療、監控、消費類(lèi)、航空航天和軍用產(chǎn)品等絕大多數電子系統都將包含功能更豐富、出眾的Smarter Vision技術(shù)，極大地豐富人們的生活，乃至挽救生命。

Smarter Vision系統將迅速得到普及，而且隨著(zhù)它們在未來(lái)幾年將變得更加尖端復雜，我們很可能會(huì )乘坐自動(dòng)駕駛汽車(chē)盡情穿梭在高速公路網(wǎng)上。諸如Intuitive Surgical公司令人驚嘆的機器人輔助手術(shù)系統等醫療設備將進(jìn)一步得到發(fā)展，甚至能夠讓外科醫生遠程執行外科手術(shù)。電視和遠程監控系統讓人仿佛置身其中，達到前所未有的互操作水平，同時(shí)影院、家庭和店鋪屏幕上的內容也將迎合每個(gè)不同消費者的興趣，乃至情緒。

賽靈思All Programmable Smarter Vision解決方案正在引領(lǐng)這場(chǎng)變革創(chuàng )新。ZynqTM-7000 All Programmable SoC是業(yè)界首款在單個(gè)器件上將ARM雙核CortexTM-A9 MPCORETM、可編程邏輯及主要外設完美結合在一起的器件。賽靈思以其作為基礎，已推出了配套基礎架構(工具及SmartCORE IP組合)，其將在開(kāi)發(fā)和加速這些出色的創(chuàng )新產(chǎn)品上市進(jìn)程中發(fā)揮至關(guān)重要的作用。該輔助基礎架構包括VivadoTM HLS(高層次綜合)、最新IP Integrator工具、OpenCV(計算機視覺(jué))庫、SmartCORETM IP和專(zhuān)用開(kāi)發(fā)套件。

賽靈思企業(yè)戰略與市場(chǎng)營(yíng)銷(xiāo)高級副總裁Steve Glaser表示：“借助賽靈思All Programmable Smarter Vision解決方案，我們將幫助客戶(hù)率先推出新一代Smarter Vision系統。在過(guò)去10年中，客戶(hù)已充分利用我們的FPGA來(lái)為他們系統處理器中那些運行速度不足的功能提速。對于Zynq-7000 All Programmable SoC而言，處理器和FPGA邏輯均位于同一芯片上，這意味著(zhù)開(kāi)發(fā)人員現已擁有一款適用于Smarter Vision應用的理想的芯片平臺。我們現在又推出了一款由Vivado HLS、最新IP Integrator工具、OpenCV庫、SmartCORE IP和開(kāi)發(fā)套件組成的穩健可靠的開(kāi)發(fā)環(huán)境，進(jìn)一步完善了Zynq-7000 All Programmable SoC。借助這些Smarter Vision技術(shù)，我們的客戶(hù)可以立即啟動(dòng)他們的新設計，以更快的速度推出效率和系統性能更高、系統功耗和材料清單成本更低的創(chuàng )新產(chǎn)品，從而在提升盈利能力的同時(shí)豐富人們的生活，乃至挽救生命。”

從啞巴攝像機到Smarter Vision

Smarter Vision系統的根源在于嵌入式視覺(jué)。若您對嵌入式視覺(jué)知之甚少，那么就讓我們看看下面對這種技術(shù)及其演進(jìn)發(fā)展的介紹。

根據快速發(fā)展的行業(yè)組織“嵌入式視覺(jué)聯(lián)盟”(www.embedded-vision.com/)的定義，嵌入式視覺(jué)融合了兩種技術(shù)：嵌入式系統(區別于使用處理器的計算機的任何電子系統)和計算機視覺(jué)(有時(shí)也稱(chēng)機器視覺(jué))。

嵌入式視覺(jué)聯(lián)盟創(chuàng )始人兼咨詢(xún)公司BDTI首席執行官Jeff Bier表示，嵌入式視覺(jué)技術(shù)已經(jīng)給數個(gè)行業(yè)造成顯著(zhù)的影響，因為該技術(shù)的發(fā)展已遠遠超越了以往的通過(guò)電機驅動(dòng)實(shí)現平移/傾斜/縮放(motorized pan-tilt-zoom)功能的模擬攝像系統時(shí)代。Bier表示：“我們已在數字時(shí)代生活了一段時(shí)間，看到嵌入式視覺(jué)從擅長(cháng)壓縮、存儲或增強攝像頭拍攝內容觀(guān)感的早期數字系統迅速發(fā)展成為如今能知曉拍攝內容的Smarter嵌入式視覺(jué)系統。”此外，先進(jìn)的嵌入式視覺(jué)系統或Smarter視覺(jué)系統不僅能增強和分析圖像，而且還能根據那些分析結果觸發(fā)行動(dòng)。由此，處理量和計算能力以及算法的復雜性都顯著(zhù)增大。監控市場(chǎng)的快速發(fā)展就是這種顯著(zhù)演進(jìn)的最好例證之一。

20年前，監控系統廠(chǎng)商競相提供由機械系統強化的最佳透鏡，能夠執行可實(shí)現更清晰、更寬廣拍攝視野的平移/傾斜/縮放功能。這些系統基本上由模擬攝像機、連接用同軸電纜、模擬監控器和安保人員監控的視頻錄制裝置組成。這些系統的清晰度、可靠性和有效性由光學(xué)組件和透鏡的質(zhì)量以及監控攝像頭播放內容的安保人員的盡職程度決定。

嵌入式視覺(jué)技術(shù)的問(wèn)世使監控設備公司能夠使用基于數字技術(shù)的較低成本攝像頭。此類(lèi)數字處理能力可為其系統提供卓越的功能，在性能上超越模擬以及基于透鏡的保安系統，在價(jià)格上則更低廉。

魚(yú)眼透鏡和采用各種視覺(jué)專(zhuān)用算法的嵌入式處理系統大幅增強了攝像頭生成的畫(huà)質(zhì)。這些技術(shù)針對光照條件進(jìn)行了校正，能夠改善對焦，增強色澤和數字縮放觀(guān)測區域，另外無(wú)需使用機械電機控制來(lái)執行平移/傾斜/縮放，從而能夠進(jìn)一步提升系統可靠性。企業(yè)使用數字信號處理可提供視頻分辨率達到以及超過(guò)1080p的監控系統。實(shí)際上，就無(wú)人機(UAV)和軍用衛星而言，嵌入式視覺(jué)已能夠實(shí)現前所未有的超高分辨率。若以此分辨率捕獲圖像，就需要處理大量的像素，而增強和操控這些圖像則需要甚至更高的處理能力。

但通過(guò)數字信號處理操縱圖像，增強其清晰度只是開(kāi)始。憑借先進(jìn)得多的像素處理功能，監控系統制造商開(kāi)始創(chuàng )建更尖端的嵌入式視覺(jué)系統，以便能在其數字系統所采集的高畫(huà)質(zhì)圖像上實(shí)時(shí)執行分析功能。視覺(jué)系統設計人員每年都會(huì )推出一系列功能更為強大的高級算法，用于創(chuàng )建更為動(dòng)態(tài)的分析功能。這些嵌入式視覺(jué)系統的最早期類(lèi)型只能檢測特定的色彩、形狀和移動(dòng)。這項功能迅速地發(fā)展為具有下列功能的算法：能夠檢測跨越攝像頭視野中虛擬柵欄的物體;判斷圖像中的對象是否是一個(gè)人;以及，鏈接至數據庫后甚至能識別特定的人。

最先進(jìn)的監控系統所提供的分析功能能跟蹤受監測的個(gè)人穿越安保網(wǎng)絡(luò )的視野范圍，即便在他們離開(kāi)攝像頭的視野后進(jìn)入盲點(diǎn)，然后再進(jìn)入監控網(wǎng)絡(luò )的另一部攝像頭的視野后也能追蹤。視覺(jué)設計人員已經(jīng)設計出某些此類(lèi)系統，用于檢測異?；蚩梢傻囊苿?dòng)。賽靈思工業(yè)、科學(xué)及醫療(ISM)事業(yè)部系統架構師Mark Timmons表示：“分析功能是當今監控市場(chǎng)最大的發(fā)展趨勢。它可以克服人為錯誤，甚至取代細致的人工觀(guān)察和決策?？梢韵胂?，在火車(chē)站和運動(dòng)賽場(chǎng)等擁擠的環(huán)境中，監控的難度極大。所以如果有分析功能可以發(fā)現過(guò)度擁擠的危險情況或表現出危險行為或過(guò)激動(dòng)作的個(gè)人，就會(huì )帶來(lái)非常明顯的優(yōu)勢。”

為了進(jìn)一步增強這種分析功能并提升此類(lèi)系統的有效性，監控及眾多其它使用Smarter Vision技術(shù)的市場(chǎng)越來(lái)越多地采用“融合”架構，將攝像頭和熱成像、雷達、聲納和LIDAR(光/激光探測和測距)等其它感測技術(shù)相結合。這樣Smarter視覺(jué)設計人員就可進(jìn)一步增強最終圖像，實(shí)現夜視、檢測熱溫/熱能影像或是拾取單憑攝像頭不能采集或無(wú)法看到的對象。這項功能能顯著(zhù)地減少虛假檢測，從而實(shí)現更準確的分析。毫無(wú)疑問(wèn)，技術(shù)融合以及之后分析融合技術(shù)采集的數據會(huì )帶來(lái)更大的復雜性，要求更為強大的分析處理能力。

Timmons提到，這個(gè)市場(chǎng)上的另一大趨勢是執行所有這些類(lèi)型的復雜分析系統都位于監控系統網(wǎng)絡(luò )的“邊緣”，即位于每一部攝像頭中，而非由每一部攝像頭將自己的數據傳輸給中央大型機系統，然后再由大型機根據多路饋入的數據進(jìn)行更精確的分析。分析功能的本地化為整體安全系統增加了靈活性，使得系統中的每個(gè)點(diǎn)都能更加迅速準確地執行檢測，因而如果攝像頭能真正發(fā)現切實(shí)的威脅，就能更迅速地向操作人員發(fā)出告警。

分析功能本地化意味著(zhù)每個(gè)單元不僅需要更強大的處理功能來(lái)強化和分析攝像頭采集的圖像，而且還必須足夠緊湊，能夠集成至高度集成的電子系統中。且由于每個(gè)單元都必須能夠可靠地與網(wǎng)絡(luò )的其余部分進(jìn)行通信，攝像頭還必須集成電子通信功能，進(jìn)一步增大計算復雜度。這些監控單元逐漸通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò )連接構成更大型監控系統的組成部分;而且這些監控系統將不斷變成更大規模的企業(yè)網(wǎng)絡(luò )乃至更大規模的全球網(wǎng)絡(luò )的組成部分，正如美國軍方的全球信息網(wǎng)格(參見(jiàn)Xcell期刊第69期的封面介紹：http://china.xilinx.com/china/archives/xcell/Xcell69.pdf)。

這類(lèi)高度復雜性有望出現在監控等領(lǐng)域中，也正應用于軍事和防務(wù)市場(chǎng)的各個(gè)方面，從步兵的頭盔到與中央司令部聯(lián)網(wǎng)的軍用衛星等，無(wú)所不包?？赡芨钊梭@嘆的是，Smarter Vision技術(shù)正快速進(jìn)入其它領(lǐng)域，以提高生活質(zhì)量，確保生命安全。

Smarter Vision 成就完美蘋(píng)果

現在以蘋(píng)果為例。有沒(méi)有想過(guò)一個(gè)好蘋(píng)果是怎么進(jìn)入您的雜貨店的?賽靈思工業(yè)科學(xué)和醫療業(yè)務(wù)部的架構師Giulio Corradi說(shuō)，今天食品公司正在把最新Smarter Vision系統用于食品檢驗生產(chǎn)線(xiàn)，將壞蘋(píng)果從好蘋(píng)果中篩選出來(lái)。Corradi表示，高速食品檢驗生產(chǎn)線(xiàn)上使用的第一代嵌入式視覺(jué)系統通常使用一個(gè)或者多個(gè)攝像頭來(lái)發(fā)現蘋(píng)果或者其它農產(chǎn)品表面上的瑕疵。如果嵌入式視覺(jué)系統發(fā)現有非正常的色澤，該蘋(píng)果就會(huì )被打上標記/篩選出來(lái)進(jìn)行進(jìn)一步檢測，或者扔掉。

但是如果在此之前的某個(gè)時(shí)候水果曾掉落過(guò)，但傷痕難以察覺(jué)會(huì )怎么樣呢?Corradi表示“在某些情況下，掉落造成的傷痕可能難以被攝像頭發(fā)現，只能用肉眼查看。傷痕可能實(shí)際上位于蘋(píng)果的果肉中。所以一些Smarter Vision系統在攝像頭上集成了紅外傳感器。這樣這種更加高級的Smarter Vision系統就可以檢測到蘋(píng)果表皮之下的傷痕，觸發(fā)機械分揀機將蘋(píng)果推出生產(chǎn)線(xiàn)，以免被包裝發(fā)往雜貨店。”如果沒(méi)有Smarter融合視覺(jué)系統的幫助，有傷痕的蘋(píng)果會(huì )通過(guò)檢測，而傷痕會(huì )在蘋(píng)果擺放到雜貨店貨架上時(shí)變得明顯，這樣就可能不得不把它扔掉。一個(gè)壞蘋(píng)果會(huì )糟蹋一堆蘋(píng)果。

此外，分析功能還可以幫助食品公司判斷有傷痕的蘋(píng)果狀態(tài)是否足夠良好，可以轉入新的生產(chǎn)線(xiàn)，由另一個(gè)Smarter Vision系統判斷它是否適用于其它用途，比如制作蘋(píng)果醬、果脯或者如果狀態(tài)太差，用于制作肥料。

Corradi表示，Smarter Vision技術(shù)正在被應用于工廠(chǎng)車(chē)間，以幫助保護工人。越來(lái)越多的工廠(chǎng)今天都已完成自動(dòng)化，使用機器人輔助技術(shù)或者完全自動(dòng)化的機器人生產(chǎn)線(xiàn)。Corradi表示，最早的這些自動(dòng)化工廠(chǎng)中，每部機器人只執行生產(chǎn)產(chǎn)品的一小部分任務(wù)，然后將其傳送給生產(chǎn)線(xiàn)上的另一部機器人。由于這些機器人完成的是一系列可預測的工作，它們的活動(dòng)范圍也可以預測。因此，為保護在這些機器人生產(chǎn)線(xiàn)附近操作、維護或者工作的工人，許多設施在機器人周?chē)ㄓ斜Ｗo籠。

然而在現代化工廠(chǎng)中，制造商正在越來(lái)越多地使用更加靈活的機器人生產(chǎn)線(xiàn)按需生產(chǎn)更多數量的產(chǎn)品，而且可以重新裝備這些機器人生產(chǎn)線(xiàn)，用于制造未來(lái)的產(chǎn)品。為此，工廠(chǎng)為機器人提供更大的泊位，因其移動(dòng)范圍可能會(huì )發(fā)生顯著(zhù)的變化。對于需要制造不同產(chǎn)品系列的機器人來(lái)說(shuō)，安全籠顯得限制過(guò)多(或者過(guò)小)，無(wú)法適應機器人的移動(dòng)范圍。

因此，為了保護工人的安全，同時(shí)避免制約自動(dòng)化工廠(chǎng)生產(chǎn)線(xiàn)的活動(dòng)范圍，企業(yè)正在使用Smarter Vision技術(shù)創(chuàng )建安全系統。攝像頭和激光會(huì )豎立“虛擬柵欄或者屏障”，如果工作人員(和安全監測人員)在產(chǎn)品正在生產(chǎn)時(shí)過(guò)于靠近工廠(chǎng)生產(chǎn)線(xiàn)，會(huì )以聲音發(fā)出告警。部分裝置包含多相虛擬屏障系統，可以在有人跨越外部屏障時(shí)發(fā)出聲響報警，然后在這個(gè)人跨越第二道屏障、接近機器人時(shí)自動(dòng)關(guān)閉整條生產(chǎn)線(xiàn)，以避免發(fā)生傷害事故。嵌入式視覺(jué)聯(lián)盟的Bier提到，這種類(lèi)型的虛擬屏障技術(shù)正在越來(lái)越多地廣泛應用到有人員在具有潛在危險性設備和化學(xué)品周?chē)ぷ鞯钠渌鼞弥?。Bier說(shuō)：“這對于降低工廠(chǎng)中的事故數量能起到明顯的作用，不過(guò)為什么不能在游樂(lè )場(chǎng)、或在我們家中的游泳池周?chē)?、轎車(chē)上也安裝虛擬屏障呢?我想我們將很快看到我們日常生活中越來(lái)越多的虛擬屏障系統。”

Smarter Vision帶來(lái)完美駕駛體驗

為實(shí)現更輕松、更安全的駕駛體驗，汽車(chē)是另一個(gè)充分采用Smarter Vision技術(shù)的市場(chǎng)。賽靈思汽車(chē)業(yè)務(wù)部的系統架構師Paul Zoratti表示，在汽車(chē)市場(chǎng)中，高級駕駛員輔助系統(ADAS)就是關(guān)于使用包括Smarter Vision在內的遠程傳感技術(shù)，從而在駕駛過(guò)程中為駕駛員提供幫助(即讓駕駛員的駕駛水平提高)(參見(jiàn)賽靈思雜志第66期的封面報道，http://china.xilinx.com/publications/archives/xcell/Xcell66.pdf)。

在過(guò)去十年中，汽車(chē)制造商已經(jīng)開(kāi)始將一系列Smarter Vision技術(shù)支持的駕駛員輔助功能應用到各種高端車(chē)型中。每年他們都會(huì )在其豪車(chē)產(chǎn)品線(xiàn)上推出更強大的駕駛員輔助功能，同時(shí)在其運動(dòng)車(chē)型和標準車(chē)型產(chǎn)品線(xiàn)上引入越來(lái)越多的駕駛員輔助功能。

這些功能包括盲點(diǎn)檢測、變道輔助、行人和標牌檢測等，會(huì )在感知到潛在危險情況時(shí)向駕駛員發(fā)出警告。汽車(chē)制造商最近推出的車(chē)型甚至還可提供更高級的自動(dòng)緊急制動(dòng)和車(chē)道保持系統。它們不僅會(huì )監測車(chē)輛環(huán)境，發(fā)現潛在問(wèn)題，還會(huì )輔助駕駛員采取糾正措施，避免事故發(fā)生或者降低其嚴重性。

Zoratti指出，現在的某些新型轎車(chē)裝配有四個(gè)攝像頭，分別位于車(chē)身兩側、車(chē)前和車(chē)尾，為駕駛員提供車(chē)輛周?chē)h(huán)境的連續360度視角。雖然第一代環(huán)視系統只是使用這些攝像頭為駕駛員提供圖像，而未來(lái)的系統會(huì )融入更多的駕駛員輔助功能。使用相同的四個(gè)攝像頭和圖像處理分析功能，新一代系統可同時(shí)生成汽車(chē)的鳥(niǎo)瞰圖，還能在遇到行人時(shí)警告潛在危險。此外，當汽車(chē)以更高速度行駛時(shí)，汽車(chē)可使用車(chē)身側面和后面的攝像頭，用于盲點(diǎn)檢測、變道輔助和車(chē)道偏離警示等功能。在擋風(fēng)玻璃后增加一個(gè)前視攝像頭，可以支持交通標識識別和正向碰撞告警功能。最后，當駕駛員抵達自己的目的地時(shí)，可啟動(dòng)自動(dòng)停車(chē)功能。在這些攝像頭和其它傳感器的共同配合下，系統將幫助汽車(chē)半自動(dòng)地駛入停車(chē)位。

Zoratti重點(diǎn)指出，實(shí)時(shí)完成所有這些工作需要大量的處理功能，這恰好是并行硬件計算的優(yōu)勢所在。這就是為什么許多早期系統將獨立的微處理器和FPGA搭配使用，由FPGA處理大多數的并行計算，而微處理器則處理串行決策。

與監控等需要使用多個(gè)攝像頭的其它市場(chǎng)不同，它會(huì )給汽車(chē)帶來(lái)成本壓力，促使分析功能不是在每個(gè)攝像頭，而是在中央計算中心中完成。這樣做可以最大限度地降低每部攝像頭傳感器的成本，乃至最終整個(gè)系統的成本。但是這也意味著(zhù)中央單元的處理平臺需要具備極高的性能和帶寬，才能支持同時(shí)處理四路、五路乃至六路實(shí)時(shí)視頻輸入。

Smarter Vision 創(chuàng )造生命奇跡

另一個(gè)被Smarter Vision技術(shù)顯著(zhù)改變的領(lǐng)域是醫療電子行業(yè)。Smarter Vision技術(shù)在各種醫療成像技術(shù)中得到廣泛應用，包括內窺鏡和圖像掃描儀(CT、MRI等)、機器人外科手術(shù)系統(如Intuitive Surgical公司的Da Vinci(達芬奇))等。詳細介紹參見(jiàn)賽靈思中國通訊雜志第42期(http://issuu.com/xilinxdoc/docs/cn_xcell_42)。

在達芬奇眾多值得稱(chēng)道的嵌入式系統中，最高級的應該是3D視覺(jué)系統，它能夠讓外科醫生以極高的精度、流暢性和觸覺(jué)敏感性操作機器人外科儀器，完成一系列精細而又錯綜復雜的外科手術(shù)過(guò)程。每誕生一代新系統，外科醫生就能夠執行更多數量和種類(lèi)的外科手術(shù)，確保更好的治療效果和更短的恢復時(shí)間?？刂坪蛥f(xié)調手術(shù)過(guò)程的技術(shù)精密程度令人嘆為觀(guān)止，需要高度依賴(lài)處理能力和邏輯的完美結合。因此，每一代新技術(shù)都將從處理器和邏輯的更高集成度中獲益。

Smarter Vision帶來(lái)身臨其境的視覺(jué)體驗

Smarter Vision在讓我們保持聯(lián)系方面也取得了重大進(jìn)步。如果您在現代辦公樓工作，您的公司很可能至少有一個(gè)裝有高級遠程呈現會(huì )議系統的會(huì )議室。這不僅便于您與世界各地的參會(huì )者對話(huà)，而且還能親眼看到他們，就如同在身邊面對面交流一樣。這些視頻會(huì )議系統的精密程度在不斷提高，以至于能夠感知在桌邊或者會(huì )議中發(fā)言的人是誰(shuí)，然后自動(dòng)將鏡頭拉近并對準這個(gè)人，用更高畫(huà)質(zhì)的逼真視頻顯示。

賽靈思廣播及消費市場(chǎng)營(yíng)銷(xiāo)總監Ben Runyan表示，開(kāi)發(fā)遠程呈現技術(shù)的企業(yè)正在探尋如何為用戶(hù)創(chuàng )造更佳的浸入式體驗。Runyan稱(chēng)：“這樣做的目的是讓用戶(hù)感覺(jué)他們同處一間會(huì )議室，但實(shí)際上他們可能身處地球兩端。要實(shí)現這個(gè)目的，需要高級的攝像頭和顯示技術(shù)，以及高級的圖像處理功能。技術(shù)的不斷進(jìn)步會(huì )帶來(lái)更加逼真的體驗，這會(huì )讓協(xié)作變得更加簡(jiǎn)單，使企業(yè)的工作效率進(jìn)一步提高，同時(shí)減少差旅需求和費用。”

Smarter網(wǎng)絡(luò )

大部分Smarter Vision系統都是局域網(wǎng)的組成部分，同時(shí)越來(lái)越多的這種系統依次連接到更大型的外部網(wǎng)絡(luò )。例如在汽車(chē)應用中，嵌入式視覺(jué)系統通過(guò)CAN總線(xiàn)、LIN和FlexRay等標準協(xié)議進(jìn)行通信。此外，通用汽車(chē)還為客戶(hù)提供OnStar無(wú)線(xiàn)導航、安全和車(chē)輛診斷服務(wù)，以便OnStar操作人員能夠接入車(chē)輛系統，診斷問(wèn)題。

與此形成鮮明對比的是，工業(yè)制造領(lǐng)域的每家廠(chǎng)商似乎都已開(kāi)發(fā)出自己的專(zhuān)有協(xié)議。但是在越來(lái)越多的行業(yè)中，客戶(hù)呼吁制造商提供的系統要能兼容標準因特網(wǎng)協(xié)議網(wǎng)絡(luò )或以太網(wǎng)網(wǎng)絡(luò )。使用通過(guò)標準網(wǎng)絡(luò )連接和通信的系統，客戶(hù)便可更加方便地將新系統集成到自己的企業(yè)中，不必搭配和匹配多家廠(chǎng)商的系統，從而獲得更大的定價(jià)優(yōu)勢。但是加強網(wǎng)絡(luò )兼容性會(huì )使嵌入式視覺(jué)設計進(jìn)一步復雜化，因為視覺(jué)系統現在必須集成更加復雜的網(wǎng)絡(luò )技術(shù)、高速I(mǎi)/O，并能在協(xié)議變化或者新協(xié)議出現時(shí)更新系統。軟件可編程解決方案往往無(wú)法直接滿(mǎn)足這類(lèi)變化提出的性能要求，迫使客戶(hù)必須從其它廠(chǎng)商購買(mǎi)新的系統。因此嵌入式視覺(jué)系統必須擁有足夠的I/O靈活性，才能跟上網(wǎng)絡(luò )技術(shù)的快速發(fā)展變化。

賽靈思：為Smarter Vision而全力打造的All-Programmable

要全面快速推進(jìn)Smarter Vision技術(shù)的發(fā)展，滿(mǎn)足新市場(chǎng)的需求，就必須擁有一款極為靈活的處理平臺、豐富的資源組合以及致力于推進(jìn)Smarter Vision技術(shù)發(fā)展的可靠的生態(tài)系統。過(guò)去10年來(lái)，賽靈思器件在幫助有關(guān)公司推進(jìn)這些視覺(jué)系統創(chuàng )新方面一直發(fā)揮著(zhù)重大作用。今天，賽靈思經(jīng)過(guò)長(cháng)達5年的開(kāi)發(fā)，成功推出了一款完整的解決方案，將力助Smarter Vision應用開(kāi)發(fā)商快速推出新一代創(chuàng )新技術(shù)。

10多年來(lái)，嵌入式視覺(jué)技術(shù)設計人員一直充分利用賽靈思FPGA的可編程性、并行計算功能和快速I(mǎi)/O功能，滿(mǎn)足一系列嵌入式視覺(jué)系統的需求。過(guò)去，設計人員用FPGA加速系統中可能拖慢主處理器的功能，或者用FPGA來(lái)運行僅靠處理器不能執行的并行計算任務(wù)。而現在，利用Zynq-7000 All Programmable SoC，嵌入式視覺(jué)技術(shù)開(kāi)發(fā)人員擁有了一款全面可編程的器件，非常適合開(kāi)發(fā)新一代Smarter Vision應用。

賽靈思公司視頻技術(shù)工程設計總監Jose Alvarez指出：“Smarter Vision技術(shù)能在同一開(kāi)發(fā)板上互聯(lián)傳輸的不同處理器和FPGA中實(shí)現，而Zynq-7000 All Programmable SoC為電子產(chǎn)業(yè)帶來(lái)了前所未有的高集成度?，F在，我們能通過(guò)同一芯片上處理器和邏輯之間3,000個(gè)高性能連接以芯片速度而不是板級速度在智能處理器和FPGA邏輯之間交換信息。”

下圖顯示出Zynq-7000 All Programmable SoC在多功能汽車(chē)駕駛員輔助系統創(chuàng )建中相對于采用傳統多攝像頭多芯片架構的優(yōu)勢。在賽靈思架構(見(jiàn)圖中左下方)，將一組攝像頭連接到一個(gè)Zynq-7000 All Programmable SoC，能支持盲區檢測、360度環(huán)繞視圖、車(chē)道偏移報警和行人檢測等功能捆綁。相反，現有的多功能DA系統需要多個(gè)芯片和多個(gè)攝像頭，這就會(huì )讓集成更復雜化，對性能和系統功耗造成不利影響，也提高了BOM成本。

一些芯片廠(chǎng)商提供的ASSP將ARM處理器與DSP或GPU搭配一起使用，但這種器件過(guò)于僵化，而且針對今天許多Smarter Vision應用而言計算性能也不夠高?；谶@種器件的解決方案往往需要添加獨立的FPGA來(lái)彌補自身的不足。

Zynq-7000 All Programmable SoC相對于以GPU和DSP為中心的SoC而言，其主要優(yōu)勢就是具有的可編程性和高性能。ARM處理系統具有軟件可編程性，FPGA邏輯可通過(guò)HDL或C++編程，甚至I/O也是全面可編程的。這樣，客戶(hù)就能創(chuàng )建出適合其特定的應用極高性能Smarter Vision系統，并讓其系統從競爭產(chǎn)品中脫穎而出。

下圖詳細給出了Smarter Vision系統的一般信號流程，從中可以看出Zynq All Programmable SoC相對于基于A(yíng)RM和DSP以及基于A(yíng)RM和GPU的ASSP解決方案的優(yōu)勢。

流程中的第一個(gè)信號處理模塊(綠色)是連接器件到攝像頭感應器的輸入。在Zynq-7000 All Programmable SoC中，開(kāi)發(fā)人員可讓多種不同I/O信號適應于客戶(hù)連接的任何攝像頭需要。下一個(gè)信號處理模塊執行像素級處理或視頻處理工作(具體取決于應用是面向圖形處理還是顯示)。再下一個(gè)模塊執行圖像分析功能，這是一個(gè)計算密集型任務(wù)，通常需要并行計算，而這則是FPGA最擅長(cháng)的任務(wù)。接下來(lái)3個(gè)模塊(紅色)分別代表處理系統獲得分析所得的元數據結果、創(chuàng )建圖形化結果表達(在圖像步驟顯示)，以及對結果進(jìn)行編碼用于傳輸。在Zynq-7000 All Programmable SoC中，處理子系統和FPGA邏輯協(xié)同工作。如果需要壓縮，FPGA邏輯會(huì )直接采用適當的編解碼器。在接下來(lái)最后一個(gè)信號處理模塊(標為“輸出”)中，Zynq-7000 SoC的可編程I/O可讓開(kāi)發(fā)人員滿(mǎn)足多種不同通信協(xié)議和視頻傳輸標準的要求，有的是廠(chǎng)商專(zhuān)有標準，有的是特定市場(chǎng)標準，還有的則是業(yè)界標準IP協(xié)議。與此形成對比的是，當開(kāi)發(fā)人員采用以DSP和GPU為中心的SoC開(kāi)發(fā)算法時(shí)，可能ASSP中的DSP或GPU難以提供所需的性能。為了彌補這種性能不足，開(kāi)發(fā)人員往往還要在系統中采用獨立的FPGA。

Zynq-7000 All Programmable SoC顯然是開(kāi)發(fā)Smarter視覺(jué)系統的最佳芯片選擇，而賽靈思在該器件開(kāi)發(fā)的早期階段就認識到，應當對編程進(jìn)行優(yōu)化，特別是對那些比較習慣用C和C++開(kāi)發(fā)視覺(jué)算法的設計人員來(lái)說(shuō)更應該優(yōu)化編程方法。為此，賽靈思于2012年6月向客戶(hù)推出了一款最先進(jìn)的軟件環(huán)境：Vivado設計套件，其包含有業(yè)界一流的高層次綜合等多項技術(shù)。賽靈思于2011年1月收購AutoESL獲得了這種高層次綜合技術(shù)。Vivado HLS特別適用于嵌入式視覺(jué)應用。比方說(shuō)，如果視覺(jué)系統開(kāi)發(fā)人員用Zynq-7000 All Programmable SoC開(kāi)發(fā)的C或C++語(yǔ)言算法運行速度不夠快，或者給處理系統帶來(lái)過(guò)重負擔，那么這些開(kāi)發(fā)人員就能把C算法提交給Vivado HLS，并將這些算法綜合成Verilog或VHDL，然后在器件的FPGA邏輯中運行。這就能將Zynq-7000 All Programmable SoC上的處理子系統解放出來(lái)，讓它從事更適合自己的任務(wù)，從而加速整體系統性能。賽靈思還推出了OpenCV(CV就是計算機視覺(jué)的縮寫(xiě))庫，讓進(jìn)一步完善了Smarter Vision技術(shù)。

OpenCV是一款具有行業(yè)標準、包含OpenCV.org算法的開(kāi)源庫，能幫助嵌入式視覺(jué)開(kāi)發(fā)人員快速創(chuàng )建視覺(jué)系統。全球嵌入式視覺(jué)開(kāi)發(fā)人員積極地為這款開(kāi)源庫開(kāi)發(fā)新的算法，目前已經(jīng)包含了2500多款使用C、C++、Java和Python語(yǔ)言編寫(xiě)的算法。庫中的算法具有各種不同的復雜程度，有的可執行圖形濾波器等簡(jiǎn)單功能，有的則能執行運動(dòng)檢測等更高級的分析功能。賽靈思的視頻技術(shù)設計總監Alvarez表示，這些OpenCV算法可用于微處理器和DSP等處理器的實(shí)現，支持Intel、ARM、Nvidia、MIPS/Imagination Technologies、TI等不同廠(chǎng)商的產(chǎn)品。由于Zynq-7000 All Programmable SoC采用ARM處理系統，因此用戶(hù)能在Zynq-7000 All Programmable SoC的處理器上實(shí)現這些采用C++語(yǔ)言編寫(xiě)的算法。

Alvarez指出，有了Vivado HLS，用戶(hù)可以用C或C++語(yǔ)言編寫(xiě)這些算法，將函數調用從OpenCV改為HLS，并使用Vivado HLS將這些算法綜合或編譯到RTL代碼，從而針對Zynq-7000 All Programmable SoC邏輯部分的實(shí)現進(jìn)行優(yōu)化。Vivado環(huán)境中提供OpenCV，能讓Smarter視覺(jué)架構設計人員方便地比較設計方案中的給定算法到底是在處理器還是Zynq-7000 All Programmable SoC的FPGA邏輯部分運行效率最佳。賽靈思開(kāi)源庫的推出可為客戶(hù)提供一個(gè)良好的設計開(kāi)端。就Vivado HLS而言，賽靈思已經(jīng)編譯了OpenCV庫中30多種最常用的嵌入式視覺(jué)算法?？蛻?hù)可在系統級快速權衡處理器與邏輯，而且能立即在Zynq-7000 All Programmable SoC上運行，確保給定應用實(shí)現最佳的系統效果。

賽靈思及其聯(lián)盟成員還將積極從OpenCV庫持續進(jìn)行功能移植，每個(gè)季度都將向賽靈思不斷擴展的用戶(hù)群提供新的功能。由于開(kāi)發(fā)人員能在幾乎任何商業(yè)處理器上運行OpenCV庫，因此視覺(jué)設計人員能比較各種芯片器件上運行的不同算法的性能，甚至明確性能基準。賽靈思堅信，廣大客戶(hù)必將發(fā)現Zynq All Programmable SoC的明顯優(yōu)勢。事實(shí)上，您也可在本演示中見(jiàn)證Zynq-7000 All Programmable SoC和賽靈思Smarter Vision技術(shù)的強大實(shí)力。賽靈思杰出工程師Kees Vissers在演示中將介紹如何使用OpenCV算法，并配合使用Vivado HLS快速在Zynq-7000 All Programmable SoC的FPGA邏輯部分實(shí)現這些算法，而相對于在A(yíng)RM A4處理子系統中實(shí)現相同功能而言性能可提升50倍到100倍之多。

賽靈思的SMARTCore IP產(chǎn)品系列能充分滿(mǎn)足各種不同細分市場(chǎng)對于高級Smarter Vision系統的必要要求。

作為Smarter Vision計劃的一部分，賽靈思還推出了SmartCORE IP組合，以滿(mǎn)足各種細分市場(chǎng)的Smarter視覺(jué)設計要求，為新一代產(chǎn)品帶來(lái)Smarter視覺(jué)功能?？蛻?hù)能通過(guò)使用賽靈思新推出的IP Integrator工具在其設計中快速實(shí)現SmartCORE IP組合的內核以及OpenCV庫的算法。這款新工具是一種新型即插即用IP環(huán)境，能幫助用戶(hù)在原理圖環(huán)境中工作，或者如果需要的話(huà)也支持在命令行環(huán)境中工作。

Alvarez指出，自Vivado設計套件誕生后，賽靈思讓該套件的設計具有器件意識，這樣就能充分發(fā)揮每款器件的功能。Alvarez稱(chēng)，有了IP Integrator，Vivado設計套件不僅具有器件意識，現在還具有目標平臺意識，支持所有Zynq All Programmable SoC和7系列FPGA開(kāi)發(fā)板以及套件。具有目標平臺意識，就意味著(zhù)Vivado設計套件現在能配置和應用特定開(kāi)發(fā)板的設計規則檢查，從而確?？焖偻瞥銮袑?shí)可行的系統。

舉例來(lái)說(shuō)，當設計人員選擇賽靈思 Zynq-7000 SoC視頻及成像套件，并在IP Integrator中實(shí)例化Zynq-7000 All Programmable SoC處理系統時(shí)，Vivado設計套件則會(huì )用正確的外設、驅動(dòng)程序和存儲器映射對處理系統進(jìn)行預配置，從而為開(kāi)發(fā)板提供支持。嵌入式設計團隊現在能面向雙核ARM處理系統和高性能FPGA邏輯更迅速地識別、重用并集成IP軟/硬核。

用戶(hù)可通過(guò)一系列對話(huà)框指定處理系統及其邏輯之間的接口。IP Integrator隨后自動(dòng)生成RTL并針對性能或占用面積進(jìn)行優(yōu)化。接下來(lái)用戶(hù)能添加自己的定制邏輯，或用Vivado IP目錄完成設計。

我們非常高興看到賽靈思的客戶(hù)迄今為止使用賽靈思FPGA推出了那么多出色的Smarter Vision系統。賽靈思更加期待看到客戶(hù)使用Zynq-7000 All Programmable SoC和強大的Smarter Vision環(huán)境推出更出色的產(chǎn)品。鑒于過(guò)去大家已經(jīng)取得的出色成績(jì)，我們相信未來(lái)一定會(huì )更加美好!