Jacinto 7 攝像頭捕捉和成像子系統
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
1 引言
本文引用地址：http://dyxdggzs.com/article/202311/452510.htm攝像頭是工業(yè)和汽車(chē)市場(chǎng)中基于視覺(jué)系統的關(guān)鍵元件。在機器視覺(jué)、機器人技術(shù)、視頻監控、高級駕駛輔助系統(ADAS) 等工業(yè)和汽車(chē)應用中，攝像頭的數量、幀速率和分辨率一直都在顯著(zhù)增加。對于此類(lèi)應用中使用的應用處理器來(lái)說(shuō)，捕捉和處理包括原始輸入在內的這些攝像頭輸入至關(guān)重要?；?Jacinto 7 的高性能異構應用處理器，包括 TDA4VM 和 DRA829 [1] 和 [2]，能夠提供捕捉和處理多個(gè)攝像頭輸入的功能，以便優(yōu)化性能、功耗和內存吞吐量。
Jacinto 7 攝像頭捕捉系統是德州儀器 (TI) 的第 7 代成像子系統 (ISP)，它是在 20 多年來(lái)將多個(gè) SoC 系列部署到上百萬(wàn)產(chǎn)品的創(chuàng )新實(shí)踐摸索中構建的。一些差異化特性包括：
? 與所有圖像傳感器格式兼容
? 低功耗、更高的性能、全圖像流水線(xiàn)以及經(jīng)過(guò)優(yōu)化的內存吞吐量
– 鏡頭陰影校正、噪聲濾波器、WDR、去馬賽克、色彩空間轉換、圖像金字塔
? 兩個(gè)用于高分辨率多攝像頭捕捉的高速接口
– 每個(gè)接口多達 16 個(gè)虛擬通道。多達 32 個(gè)攝像頭捕捉。
? 同時(shí)進(jìn)行人類(lèi) + 機器視覺(jué)輸出
– 人類(lèi)視覺(jué) ISP 特性：
? 140dB WDR
? 局部自適應色調映射
? 雙噪聲濾波器
? 8b 輸出
– 機器視覺(jué) ISP 特性：
? 高級 CFA 插值支持所有 2x2 CFA 格式
2 攝像頭捕捉子系統
TDA4VM/DRA829 攝像頭捕捉子系統包括 2 個(gè) MIPI CSI-2 接口和視頻處理前端 (VPFE)，如圖 2-1 所示。
圖 2-1. TDA4VM/DRA829 攝像頭捕捉子系統
2.1 MIPI-CSI2
TDA4VM/DRA829 MIPI-CSI2 接口支持以下特性：
? 2 個(gè) 4 通道 MIPI D-PHY（2.5Gbps/通道）
? 支持 8 個(gè)帶解串器集線(xiàn)器的傳感器
? 2 個(gè)攝像頭適應層 (CAL)
– MIPI CSI2 的協(xié)議棧
– 支持所有 MIPI 支持的格式
? RAW/DPCM/YUV
? RAW 8、10、12、14、16 位
– 經(jīng)過(guò)壓縮擴展或線(xiàn)性
? 從 SDRAM 并行讀取像素流
– I/F 端口流量的實(shí)時(shí)優(yōu)先級
2.2 視頻處理前端
視頻處理前端 (VPFE) 是一個(gè)輸入接口模塊，用于從圖像傳感器等外部成像外設接收原始圖像/視頻數據或 YUV 數
字視頻數據。VPFE 支持以下特性：
? 支持傳統的拜耳陣列和 Foveon 傳感器格式。
– 為外部時(shí)序發(fā)生器生成 HD/VD 時(shí)序信號和字段 ID，也可以同步到外部時(shí)序發(fā)生器
– 支持逐行掃描（非隔行掃描）和隔行掃描傳感器
– 支持高達 110MHz 的傳感器時(shí)鐘。
– 支持 REC656/CCIR-656 標準（YCbCr 422 格式，8 位或 16 位）。
– 支持帶有離散 HSYNC 和 VSYNC 信號的 8 位或 16 位 YCbCr 422 格式。
– 支持多達 16 位的輸入。
3 視覺(jué)預處理加速器
視覺(jué)預處理加速器 (VPAC) 子系統是一組常見(jiàn)的視覺(jué)基元功能，用于執行像素數據處理任務(wù)，例如：色彩處理和增強、噪聲濾波、寬動(dòng)態(tài)范圍 (WDR) 處理、鏡頭失真校正、用于去扭曲的像素重映射、動(dòng)態(tài)縮放生成和動(dòng)態(tài)金字塔生成。VPAC 從主 SoC 處理器（ARM、DSP 等）卸載這些常見(jiàn)任務(wù)，以便這些 CPU 可用于差異化的高級算法。VPAC 用于通過(guò)在時(shí)分復用模式下工作來(lái)支持多個(gè)攝像頭。VPAC 可用作視覺(jué)處理流水線(xiàn)的前端，供 SoC 內的其他視覺(jué)加速器或處理器內核進(jìn)行進(jìn)一步的處理。
圖 3-1 展示了 VPAC 簡(jiǎn)要方框圖。
圖 3-1. VPAC 方框圖
VPAC 由以下主要部分組成：
? 視頻成像子系統 (VISS)
? 鏡頭失真校正 (LDC)
? 雙線(xiàn)性噪聲濾波器 (BNF)
? 多標量 (MSC)
3.1 視頻成像子系統 (VISS)
VISS 對原始數據進(jìn)行圖像處理，然后輸出 RGB 和/或 YUV 圖像。視頻成像子系統 (VISS) 包括以下組成部分：
? 原始前端 (Raw FE)，用于實(shí)現：
– 寬動(dòng)態(tài)范圍 (WDR) 合并
– 缺陷像素校正 (DPC)
– 鏡頭陰影校正 (LSC)
– 分解
– 3A 統計
– 白平衡
? 噪聲濾波器 (NSF)
– 拜耳域空間噪聲濾波器
? 用于自適應局部色調映射的全局和局部亮度對比度增強 (GLBCE)
? Flex 顏色處理 (FCP)，它支持
– 去馬賽克、色彩校正、色彩空間轉換和伽馬轉換
VISS 流水線(xiàn)能夠以每周期 1 個(gè)像素的速度來(lái)處理數據。在 TDA4VM 上，VISS 系統的時(shí)鐘頻率可以達到720Mhz，從而實(shí)現 72000 萬(wàn)像素/秒的處理能力。
3.2 鏡頭失真校正 (LDC)
LDC 模塊通過(guò)應用透視變換/單應矩陣，將像素從失真的輸入空間重新映射到未失真的輸出空間。LDC 支持以下特性：
? 鏡頭失真校正、立體整流、通用像素重映射
– 可提高圖像質(zhì)量的多區域模式
– 高級校正模式 - 基于查找表的反映射方法
– 使用雙三次插值的亞像素精度
– DDR 黑白優(yōu)化的架構
? 支持的格式：
– YUV 420 (NV12/NV21)
– 高達 12 位/元件
? 插值類(lèi)型：
– 雙三次（2 個(gè)周期/像素）
– 雙線(xiàn)性（1 個(gè)周期/像素）
3.3 多標量 (MSC)
MSC 可使用多種縮放比例，從給定輸入生成多達 10 個(gè)經(jīng)過(guò)縮放的輸出。MSC 支持以下特性：
? 多縮放能力：來(lái)自 1 個(gè)或 2 個(gè)輸入平面的 10 個(gè)同時(shí)縮放的輸出
? 每個(gè)縮放引擎都可以配置為執行金字塔或倍頻程間的縮放生成
? 支持 1 至 0.25 倍之間的縮放比例
? 每個(gè)倍頻程之間有 7 個(gè)縮放比例 → 1.09 倍
? 單個(gè)周期/像素性能
3.4 雙邊噪聲濾波 (BNF)
BNF 采用了雙邊濾波，以去除噪聲，它支持以下功能：
? 雙邊和通用濾波
? 濾波器尺寸高達 5x5
? 真正的 2D 雙邊濾波
? 可編程靜態(tài)權重的濾波器尺寸高達 5x5
? 1 個(gè)周期/像素性能
? 支持的格式：
– YUV 42，12 位
– 可以使用 LDC/定標器支持 8 位格式
– 基于線(xiàn)路的輸入和輸出
3.5 攝像頭傳感器的軟件可用性
有關(guān)可用的攝像頭傳感器驅動(dòng)程序，請參閱 Jacinto 7 Processor SDK 成像發(fā)行說(shuō)明
4 用例示例
下面顯示了一些常見(jiàn)的攝像頭用例示例，假設原始攝像頭輸入為每像素 12 位。
4.1 使用 MIPI 聚合器的 4 攝像頭用例
圖 4-1 展示了一個(gè)簡(jiǎn)要方框圖，其中 4 個(gè) 200 萬(wàn)像素 @30fps 攝像頭輸入通過(guò)使用 MIPI CSI-2 聚合器和數據流直接連接至 TDA4VM。
圖 4-1. 使用 MIPI CSI-2 聚合器和數據流的 4 攝像頭用例
表 4-1 總結了此用例的總利用率。
表 4-1. 此用例的總利用率
4.2 通用 8 攝像頭用例
圖 4-2 展示了通過(guò) FPDLink 串行器和解串器遠程連接的 8 個(gè) 200 萬(wàn)像素 @30fps 攝像頭輸入的簡(jiǎn)要方框圖及數據流。
圖 4-2. 8 個(gè) 200 萬(wàn)像素攝像頭方框圖及數據流
有關(guān)基于 FDPLink 的多攝像頭設置，請參閱 [5]。
表 4-2 總結了此用例的總利用率。
表 4-2. 此用例的總利用率
4.3 ADAS 用例
圖 4-3 展示了常見(jiàn) ADAS 用例的簡(jiǎn)要方框圖，其中
? 1 個(gè) 800 萬(wàn)像素 @30fps 攝像頭用于前置攝像頭
? 1 個(gè) 100 萬(wàn)像素攝像頭用于 DMS，以及
? 4 個(gè) 200 萬(wàn)像素 @30fps 攝像頭用于 3D SRV。
這些攝像頭通過(guò) FPDLink 串行器和解串器遠程連接。
圖 4-3. ADAS 用例和數據流示例
有關(guān)基于 FDPLink 的多攝像頭設置，請參閱 [5]。
表 4-3 顯示了此用例的總利用率。
表 4-3. 此用例的總利用率
5 參考文獻
1. TDA4VM 產(chǎn)品頁(yè)面
2. DRA829V 產(chǎn)品頁(yè)面
3. 德州儀器 (TI)：DRA829/TDA4VM/AM752x
技術(shù)參考手冊
4. 適用于 TDA4VM/DRA829 Jacinto 處理器的軟件開(kāi)發(fā)套件
5. TDA4VM/DRA829 評估模塊
評論