開(kāi)發(fā)中的列并行視頻系統

當今，在生產(chǎn)、物流、交通、信息通信、娛樂(lè )等各種領(lǐng)域中，高速視覺(jué)信息處理正成為重要的技術(shù)。但是，目前許多圖像處理系統由于圖像的獲取都使用CCD攝像機，處理速度受到視頻速率(30幀/秒)的限制。換句話(huà)說(shuō)，即使利用多高速的計算機，實(shí)時(shí)處理都會(huì )受到圖像獲取速度的限制。

另一方面，生產(chǎn)自動(dòng)化機器人等傳動(dòng)機構的工作速度按ms級控制是可能的，因此，與CCD攝像機結合的機器人控制系統，未能充分發(fā)揮其傳動(dòng)機構的能力。

近年來(lái)，作為解決這一課題的辦法，提出了從傳感器到運算裝置集成化的、采用CMOS半導體工藝的各種功能傳感器。它的結構有圖1示出的3種典型情況。

圖中PD（光二極管）是受光單元，PE（處理單元）是數字運算單元。圖(a)為以往基于計算機技術(shù)的結構，來(lái)自多個(gè)受光單元的信號通過(guò)二維順序掃描讀出，一個(gè)A/D交換器(ADC)進(jìn)行模數變換，其圖像數據由DSP及CPU等進(jìn)行圖像處理運算。

圖(b)為提高圖像獲取速度及運算速度，在每一列都備有ADC和PE的結構。它以各列的并行性實(shí)現高速化。所有組件均有市售。

圖?是基于完全并行的結構，每個(gè)PD都一對一地對應一個(gè)ADC和PE，能實(shí)現超高速的圖像獲取與運算處理。

這三種方式從集成性及運算能力看各有長(cháng)短。圖(a)的結構由于用一個(gè)ADC和一個(gè)DSP進(jìn)行處理，在圖像獲取速度與運算速度兩方面都有限制。

圖(b)從集成性與高速性?xún)煞矫婵纯烧f(shuō)是一種中庸的結構，但對通信處理包含的許多相鄰運算的能力是個(gè)課題。圖?從高速性看可說(shuō)是理想的結構，但從受光單元的靈敏度及ADC的精度看，對集成化要求很高的技術(shù)。

遵循這些結構不同的特性，開(kāi)發(fā)了具有列并行傳送方式與完全并行運算相結合結構的列并行視覺(jué)系統CPV。本文介紹CPV的技術(shù)概要及其利用高速運算特性的視覺(jué)反饋系統的應用。

本系統的構成如圖2示出。對于高幀速與高分辨率的相悖要求，為同時(shí)滿(mǎn)足產(chǎn)業(yè)應用所需的128×128像素、8位灰度等級、ms級的運算處理，對128×128像素的PD陣列和PE陣列的數據傳送，采用了位串行、列并行傳送方式。此即圖1(b)的列并行傳送功能與?完全并行運算功能相結合的方式。PD陣列的輸出，通過(guò)每列的放大器和A/D變換器，作為128路并行的位串行數字信號輸出。

試制的受光單元外觀(guān)見(jiàn)圖2，在10cm大的底板上按COB(板上芯片)安裝。在128路以8位讀出的情況下，傳送速度實(shí)現了大約1ms。PD陣列的特性示于表1。

并行運算裝置由PE陣列與控制單元構成(見(jiàn)圖2）。PE陣列采用了通用性與高速運算性都極好的并行處理算法結構S3PE。S3PE結構基于SIMD(單指令多數據流）型并行運算，用外部的程序可實(shí)現通用的運算。PE陣列由于與PD陣列的各像素一一對應，實(shí)現了完全并行的高速運算。

各PE由示于圖3的運算器（ALU）、A/B寄存器及24×1位的隨機存取存儲器(內存）構成，利用外部給出的運算指令(程序)便可進(jìn)行通用的運算。

另外，由于在PE內部，運算與圖像傳送可各自獨立進(jìn)行，傳送與處理可不間斷地工作?？刂茊卧鐖D4所示，它實(shí)現整個(gè)系統(PD陣列、PE陣列）的控制及與外部主機的接口。

圖5示出利用本系統進(jìn)行一般圖像處理的結果。圖左上為按256級灰度拍攝的原圖像，以128ms/幀的幀速獲取圖像。右上是7次背景烘托處理圖像，對X與Y方向反復進(jìn)行了7次烘托處理運算。左下是2次背景壓紋處理，左下是加邊處理的結果。

這些圖像處理運算證明，可利用完全并行的并行運算機構通過(guò)改換程序實(shí)現，且如表2所示是高速進(jìn)行的。表中的步數表示運算所需要的運算步數，在目前系統中運算在CLK=3MHz下工作，步數×0.33ms即為運算時(shí)間。圖像處理所需時(shí)間在哪一情況下，均約0.1ms即可，在目前每秒1000幀的情況下，可適應高10倍的復雜運算。而且，通過(guò)今后的集成化，還可望進(jìn)一步實(shí)現高速時(shí)鐘運行。

為了展示本系統具有的高速圖像處理能力的有效性，做了高速反饋所必需的自動(dòng)跟蹤演示。

實(shí)驗系統CPV接到2軸（PAN、TILT)馬達上，其圖像由并行運算機構進(jìn)行處理，結果反饋給馬達。實(shí)驗中對象物為手形模型，在存儲最初見(jiàn)到的物體后便執行跟蹤程序。為顯示系統的高速性，以1ms時(shí)間的反饋為目標，圖像用1ms獲取3位(8級灰度)的圖像數據，由完全并行運算進(jìn)行對象物體的識別和重心的計算。實(shí)驗證明可實(shí)現每秒1000幀的幀速率。

物體跟蹤的運算內容示于表3。首先，傳感器信息的3位圖像數據送入PE，作為前處理去除噪聲和進(jìn)行2值化運算。接著(zhù)，采用了利用圖像高速反饋特點(diǎn)的selfwindow法識別對象物體。

這里對提取的圖像，運算X方向和Y方向一次動(dòng)量的總和，分別進(jìn)行各自的重心計算處理。從取得圖像到重心計算結果輸出的全部運算，用58.6ms即完成，證明了本系統的高速性和有效性。

這樣高幀速率的圖像處理能力可以解決產(chǎn)業(yè)領(lǐng)域中圖像處理的許多問(wèn)題。比如說(shuō)，在傳送帶上的實(shí)時(shí)檢查及半導體器件的缺陷檢查等的處理速度，都可飛躍地提高。此外，還可望用于迄今圖像處理難以解決的應用，如汽車(chē)、電車(chē)等移動(dòng)體中危險感和傳感器的應用，運動(dòng)分析及運動(dòng)控制等體育科學(xué)的應用等。

今后，該系統將以高速圖像處理范圍極廣的產(chǎn)業(yè)應用為目標，預料在推動(dòng)系統的小型化和成本降低的同時(shí)，將準備便于用戶(hù)進(jìn)行算法開(kāi)發(fā)的軟件環(huán)境等相關(guān)技術(shù)。本系統由于具有未來(lái)單片化的結構，可望作為小型廉價(jià)的智能傳感器產(chǎn)業(yè)化?！?/font> (紹)