FPGA+DSP架構的HD-SDI高清圖像處理系統設計

摘要：隨著(zhù)圖像處理技術(shù)及傳感器技術(shù)的不斷發(fā)展，高清數字圖像取代模擬圖像成為一種趨勢。設計了一種基于HD-SDI技術(shù)的高清圖像處理系統，可通過(guò)FPGA+DSP架構對1080P全高清圖像進(jìn)行采集和字符疊加，并實(shí)時(shí)進(jìn)行目標提取和偏差量計算。疊加視頻可通過(guò)DVI數字接口或模擬接口實(shí)時(shí)顯示。利用圖像高分辨率特性，系統可實(shí)現運動(dòng)目標精確跟蹤。

引言

隨著(zhù)數字視頻的迅速發(fā)展，高清數字圖像代替模擬圖像成為必然趨勢。光電系統采用全高清圖像技術(shù)，不僅能大大提高顯示效果，而且能顯著(zhù)提高系統的跟蹤精度。因此，高清圖像處理系統的開(kāi)發(fā)成為光電系統技術(shù)發(fā)展必須突破的關(guān)鍵技術(shù)之一。SDI(Serial Digital Inter face)即串行數字接口，其標準由移動(dòng)圖像和電視工程師協(xié)會(huì )(SMPTE)制定，在當今的廣播和視頻產(chǎn)品領(lǐng)域得到了廣泛的應用。標準規定如何通過(guò)同軸電纜在設備間傳送未經(jīng)壓縮的串行數字視頻數據。

在非編后期制作、廣播電臺等領(lǐng)域，基于HD-SDI(High Definition-Serial Digital Interface)高清電視應用較為廣泛，在1.485Gb/ s、1.001 Gb/s的信號速率條件下傳輸的接口規格都符合標準SMPTE-292M。該接口攝像機既能保證光電系統高清顯示的要求，又能滿(mǎn)足目標實(shí)時(shí)跟蹤的要求。

本文設計了一種基于HD-SDI的高清圖像處理系統，可滿(mǎn)足光電系統實(shí)現圖像高清顯示和目標跟蹤的要求，具有較好的平臺兼容性的要求。

1 系統組成

HD-SDI攝像機將高清視頻通過(guò)75 Ω同軸電纜實(shí)時(shí)傳送到高清圖像處理系統。系統對圖像進(jìn)行處理后，將視頻信號送到數字顯示終端進(jìn)行顯示。

由于全高清數字圖像處理系統涉及大量數據的運算及邏輯控制，系統的控制體系采用FPGA+DSP的結構形式。FPGA進(jìn)行圖像采集、存儲、輸出顯示和整個(gè)系統的邏輯控制;DSP作為數字信號處理核心，則主要用來(lái)運行圖像跟蹤算法及完成各種外設的初始化。系統的硬件組成包括數據接收單元—HD-SDI數字視頻輸入;數據發(fā)送單元—HD-SDI、DVI、AV視頻輸出;圖像存儲單元—4個(gè)72 Mb SRAM;通信單元—RS422接口。系統組成框圖如圖1所示。

DSP選用TI公司的TMS320C26414，FPGA采用ALTERA公司的EP3C120F780，二者通過(guò)32位數據總線(xiàn)進(jìn)行視頻數據和其他參數傳輸。數據輸入接口采用HD-SDI高清視頻接口芯片對高清攝像機的視頻信號進(jìn)行解碼，FPGA接收解碼視頻信號后進(jìn)行圖像存儲和頻率轉換，并將圖像數據傳給DSP進(jìn)行窗口檢測、自適應圖像分割、相關(guān)匹配等運算，獲取目標位置相對光軸中心的偏差量。同時(shí)，FPGA通過(guò)片內雙口RAM與DSP進(jìn)行數據通信，完成如字符顯示與消隱等功能，以方便人機界面操作。上位機通過(guò)RS422接口與FPGA進(jìn)行數據通信，將測角數據、控制參數、設備狀態(tài)等信息傳遞給圖像處理系統，圖像處理系統則將測偏量信息傳遞給上位機進(jìn)行目標跟蹤。

圖像處理是光電系統的重要組成部分，在設計中需保持圖像處理系統的通用性和開(kāi)放性。采用了模塊化設計思想，并采用通用通信接口代替總線(xiàn)與上位機通信，可保證硬件適用于不同的系統平臺。各模塊分別完成以下功能：

①FPGA完成圖像采集、圖像顯示接口控制、外部存儲器的讀寫(xiě)邏輯控制及與上位機的通信。

②DSP與FPGA之間通過(guò)雙口RAM實(shí)現通信，并通過(guò)FPGA讀寫(xiě)SRAM實(shí)現目標提取和字符疊加功能。DSP實(shí)現包括目標檢測、模板匹配、電子穩像等多種圖像算法。

③SRAM是外擴的圖像存儲器，FPGA通過(guò)ping-pong方式將采集到的高清數字圖像存儲在SRAM中并輸出給DSP和顯示接口。

④數據接收單元由高速SDI接口實(shí)現高清攝像機輸入視頻解碼。

⑤數據發(fā)送單元實(shí)現DVI、AV與SDI輸出視頻的編碼功能。

2 數據接收單元

數據接收單元由SDI解碼器組成。系統選用Gennum公司生產(chǎn)的GS2971對HD-SDI攝像機傳輸的視頻信號進(jìn)行解碼，之后將高清視頻信號的像素時(shí)鐘、行、場(chǎng)及視頻數據傳給FPGA。數據接收單元連接框圖如圖2所示。

GS2971是一款自帶線(xiàn)纜均衡功能的單端口輸入解碼芯片。支持3Gb/s、HD、SD SDI串行數據傳輸速度，最高支持4：2：2 10位色深表現，分辨率可達1080P。內置HD-SDI解串器簡(jiǎn)化了外部FPGA的邏輯解串功能。GS2971的初始化采用I/O電平控制與SPI接口相結合的方法，可被配置為20位數據輸出和10位數據輸出。當配置為20位數據輸出時(shí)，亮度信息和色度信息分別占10位數據線(xiàn)，時(shí)鐘為74.25 MHz;配置為10位數據輸出時(shí)，亮度和色度信息合成輸出，時(shí)鐘為148.5 MHz。本系統中，將GS2971配置為20位數據輸出模式，GS2971支持一路SDI信號環(huán)路輸出，可供系統實(shí)時(shí)檢測SDI信號輸入是否正常。

3 數據發(fā)送單元

系統設計的數據發(fā)送單元由一個(gè)DVI編碼器和一個(gè)PAL編碼器組成。其中，DVI編碼器將數字信號轉換為差分信號，傳遞給DVI接口高清顯示器。DVI接口需實(shí)現1080P高清顯示，是系統數據發(fā)送單元的關(guān)鍵環(huán)節。

針對圖像輸出接口的不同要求，選擇NXP公司的SAF7129實(shí)現圖像的PAL制式輸出;選擇TI公司的TFP410實(shí)現DVI圖像輸出。其中，DVI顯示為數字信號輸出，與傳統的VGA模擬信號相比，采用DVI數字信號不會(huì )引起像素抖動(dòng)和相鄰像素間的干擾，顯示器不會(huì )造成幾何失真，大大提高了畫(huà)面質(zhì)量，顯示畫(huà)面細、清晰，因此設計時(shí)將DVI接口作為系統的主顯示通道。PAL制式為模擬信號輸出，可以兼容光電系統在特殊情況下的顯示需求。數據發(fā)送單元DVI顯示連接如圖3所示。

TFP410支持從VGA到UXGA(25～165 MHz)格式的像素速率，具有12位雙邊和24位單邊兩種輸入模式，可以通過(guò)I2C總線(xiàn)進(jìn)行芯片工作模式配置。TFP410主要通過(guò)DE引腳的高低電子來(lái)決定發(fā)送信號類(lèi)型。當DE為高電平時(shí)，發(fā)送像素編碼數據;當DE為低電平時(shí)，發(fā)送同步信號以及控制信號。

本設計通過(guò)I2C總線(xiàn)來(lái)配置編碼器，編碼器采用24位單邊輸入模式，單邊輸入時(shí)鐘，下降沿觸發(fā)。采用I2C總線(xiàn)可以快捷地在線(xiàn)調整參數配置，對編碼器高速輸入信號的時(shí)鐘沿進(jìn)行調整，有效減少圖像噪聲和串擾。

4 圖像存儲單元

圖像處理系統輸入一幀1080P高清圖像的大小為：

1 920×1 080×16=33 177 600位=30 Mb

選擇了CYPRESS公司CY7C1482V33型號的SRAM作為系統圖像存儲單元，CY7C1482V33存儲空間大小為72 Mb，可配置為2M×36位，4M×18位，1M×72位，能同時(shí)存下2幅圖像。CY7C1482V33支持最高達250 MHz的讀寫(xiě)速度，工作電壓為3.3 V。

5 FPGA處理單元

FPGA主要完成圖像采集、存儲、輸出顯示管理，與DSP之間進(jìn)行數據交互以及視頻的像素級處理，是圖像處理系統的核心管理單元，與圖像有關(guān)的功能框架模塊大部分都在FPGA中實(shí)現。FPGA功能框圖如圖4所示。

當數據發(fā)送單元傳遞1920×1080像素圖像格式的數據給FPGA后，根據每幀圖像20位YCbCr 4：2：2工作模式的要求將亮度和色度信息分開(kāi)提取。SRAM是單端口存儲器，在同一時(shí)間只能完成讀操作或寫(xiě)操作，因此在輸入數據進(jìn)行濾波后，選用了2M×36位的3片SRAM作為一組片外存儲器進(jìn)行Ping-Pong操作。用輸入SDI圖像的場(chǎng)同步信號生成一個(gè)計數器，每一場(chǎng)對SRAM的讀寫(xiě)切換一次。當需要使用一場(chǎng)圖像信息時(shí)，可及時(shí)從一個(gè)存儲器中讀取。與此同時(shí)，連續的圖像數據被存至另一個(gè)存儲器中，第3片SRAM則處于DSP讀寫(xiě)狀態(tài)。3片SRAM通過(guò)切換，完成一幀圖像的保存、處理和輸出。

6 軟件設計

系統的軟件主要包括FPGA和DSP兩部分。FPGA負責采集和輸出電視圖像數據，利用FPGA內部的存儲資源，進(jìn)行字符、十字絲、波門(mén)等信息疊加，不僅提高了數據處理速率，而且降低了DSP處理數據時(shí)產(chǎn)生幀間延時(shí)的可能性。DSP負責通過(guò)SPI配置和檢測HD-SDI解碼器，實(shí)現視頻模式選擇，并根據檢測結果確定各個(gè)芯片當前的工作狀態(tài)，此外通過(guò)訪(fǎng)問(wèn)圖像存儲器進(jìn)行Mean-shift、非對稱(chēng)多向梯度、質(zhì)心、相關(guān)、電子穩像和航跡預測等算法運算。

上電之后，對DSP進(jìn)行初始化，主要包括片外存儲器、SPI、GPIO、外部中斷的配置。初始化完成之后，通過(guò)SPI向GS2971發(fā)送開(kāi)始解碼的指令，向GS2971請求狀態(tài)信息，等待GS2971進(jìn)入到解碼狀態(tài)，更新FPGA的采集數據。

DSP從圖像存儲器得到圖像數據后，根據背景的復雜程度和上位機命令執行圖像質(zhì)心、相關(guān)跟蹤與航跡預測算法。經(jīng)過(guò)DSP圖像處理后，判斷出鎖定的運動(dòng)目標，并計算出所跟蹤目標的角坐標值和跟蹤角誤差值，傳遞給上位機進(jìn)行實(shí)時(shí)控制。同時(shí)把跟蹤目標的位置信息疊加到SRAM內相應的視頻幀，經(jīng)DVI通道將電視數據送到高清顯示器上顯示。

結語(yǔ)

HD-SDI既滿(mǎn)足了傳輸高清圖像的要求，又能最大限度保證傳輸過(guò)程的實(shí)時(shí)性，能夠適應當今圖像跟蹤技術(shù)的發(fā)展。本文設計開(kāi)發(fā)了基于HD-SDI的高清圖像處理系統，與傳統模擬圖像相比大幅度提高了圖像細節質(zhì)量和跟蹤穩定性，為光電系統提供了新的解決方案?？稍诠怆娤到y的新發(fā)展中得到廣泛應用，具有良好的應用前景。