前座駕駛員

　　降低相關(guān)復雜性的一個(gè)好方法是，考慮執行NGC內核需要的工作量。兩個(gè)數字圖像的相關(guān)可以定義為：
　
　
　　f(x,y)是一個(gè)函數，用于描述(x,y )中的8位像素的灰度水平(0-255)，模板t(x-u, y-v)被來(lái)自原點(diǎn)的(u,v)像素所取代。模板和圖像在等式中能夠改變位置，因為結果對代數符號不敏感。這個(gè)模板的尺寸是按照p像素 x q像素計算的?？梢钥闯霰磉_式一個(gè)像素一個(gè)像素地比較f和t，并且假定縮放比例，使模板和圖像尺寸相同。

　　通過(guò)擴展，我們考慮模板項的平方是一個(gè)常量，圖像項的平方是一個(gè)大致的常量。我們發(fā)現，C(u,v)這個(gè)相關(guān)的近似值仍需要在有用的邊界中定義，使其更加不依賴(lài)可見(jiàn)光。
　

　　最后，如果我們把測試中的模板和圖像區域轉到原點(diǎn)：
　

　　要減少可見(jiàn)光的影響，標簽f和標簽t是圖像和模板灰度密度的算術(shù)平均，這些圖像和灰度密度取代對比窗口中的所有的N = p x q像素。用這兩個(gè)函數的幾何平均值除以這個(gè)分子將得到更好的獨立結果和一個(gè)界限。
　　
　　通過(guò)Navi2V的加速器GSEU(灰度搜索引擎單元)重新安排處理：

　　通過(guò)檢查可以發(fā)現上式有五個(gè)不同的計算，其中兩個(gè)可以預先計算。一個(gè)歸一化相關(guān)可以分配給SH-Navi2V的圖像識別加速器(見(jiàn)圖3)中的16個(gè)區域處理器。這16個(gè)區域處理器中的每一個(gè)處理器被設置為一個(gè)四處理器MISD(多指令單數據)引擎。每一個(gè)四處理器GSEU能夠處理正在被收縮的圖像中整個(gè)的指定區域里歸一化相關(guān)內核。如圖3所示，預備項用作計算歸一化相關(guān)需要八次運算。提供一組已計算出的項，SH-4A內核接收和生成歸一化相關(guān)結果。它用軟件流水線(xiàn)模式(組裝線(xiàn))執行最后的計算。其輸入操作數是圖像識別引擎早些時(shí)候在一個(gè)積累期計算的項。SH-4A雙精度協(xié)處理器提供平方根開(kāi)方和除法運算。

　　這個(gè)標記可能和鏡頭視點(diǎn)(Camera view)中目標體上的臨時(shí)標簽一起工作，鏡頭視點(diǎn)至少有一個(gè)匹配的模版。
以300MHz的速度運行，這個(gè)圖像識別引擎每個(gè)循環(huán)周期能夠完成16個(gè)歸一化相關(guān)步驟。每個(gè)周期8次運算和16個(gè)引擎并行工作，加速器每秒中可進(jìn)行38.4GOPS計算，不包括SH-4A執行的運算，以及預處理、標簽、矩形圖調整和其他后處理單元(圖3b)以及2D圖像所需要的狀態(tài)機。除非預先把匹配的模板安排在計劃中，否則，搜索只能通過(guò)每一個(gè)像素的一次一次的全面計算實(shí)現。

前景光明

　　由于SH-Navi2V芯片能夠發(fā)揮許多作用，有必要解釋一下它到目前為止做了哪些事情。SH-Navi2V已經(jīng)可以接受來(lái)自?xún)蓚€(gè)攝像機的輸入信號；它已經(jīng)可以為一些重要模板搜索了視頻幀，并且在液晶顯示屏上顯示結果。

　　瑞薩科技把這一過(guò)程中分為四個(gè)階段，所有的圖像引擎任務(wù)和相關(guān)控制都是由SH-4A處理的：

　　來(lái)自?xún)膳_攝像機的視頻幀(NTSC/PAL制式)通過(guò)VIN模塊(如圖2所示)接收，并且存儲到DDR SDRAM外部?jì)却妗?/p>

　　圖像識別引擎從DDR SDRAM內存載入下一個(gè)需要處理的視頻幀，并且把這個(gè)結果傳回內存。

　　SH-4A訪(fǎng)問(wèn)DDR SDRAM外部?jì)却?，從已?jīng)完成圖像識別的堆?？蚣苌厦嫣崛祿?，執行高質(zhì)量圖像處理，并且把處理后的圖像傳輸回內存。

　　內存里SH-4A已經(jīng)處理過(guò)的圖像將通過(guò)顯示單元(DU)傳輸到駕駛員可以看到的WVGA或者XGA液晶顯示屏。

　　正如瑞薩科技描述的那樣，使用SH-Navi2V的系統能夠向汽車(chē)駕駛員提供視頻影像，通過(guò)圖像識別功能突出與交通有關(guān)的物體。這個(gè)視頻影像還包含一個(gè)語(yǔ)音提示，讀出交通標志的內容，如限速公里數等。因此，采用這種芯片的系統能夠向駕駛員提供比GPS和地圖更準確的位置信息。它能夠說(shuō)明主汽車(chē)周?chē)沫h(huán)境狀況，向駕駛員提供有關(guān)行車(chē)狀況的信息，如新的或者臨時(shí)的道路標志。

　　該系統是提高汽車(chē)和駕駛員安全的一個(gè)良好開(kāi)端，但是還有一些障礙需要克服?；叶葰w一化相關(guān)自從90年代初就開(kāi)始應用在機器人視覺(jué)中，也許是80年代末。在大多數情況下，這個(gè)技術(shù)是在處理一些動(dòng)作緩慢，或者應用在對色彩不太敏感，并且與車(chē)輛移動(dòng)時(shí)拍攝視頻所不同的環(huán)境下。圖像縮放和旋轉以及透視變形需要高出2到3個(gè)數量級的性能。每秒搜索的幀數必須要提高：汽車(chē)在以每小時(shí)50公里的速度行駛時(shí)每秒中前進(jìn)大約73英尺，系統需要處理解決攝像機抖動(dòng)以及汽車(chē)的顛簸搖晃。有些攝像機的光學(xué)系統已經(jīng)提供了單軸幫助功能(像佳能的IS鏡頭和尼康的VR)，或者通過(guò)壓電致動(dòng)器(美能達)實(shí)現的CCD/CMOS傳感器位置控制。

　　此外，圖像穩定軟件或者對前幀中已經(jīng)識別出的物體的移動(dòng)進(jìn)行預見(jiàn)性的搜索也能提供幫助。(譯自In-stat微處理器報告)