先進(jìn)AI視覺(jué)系統—以iToF解鎖3D立體空間

在整個(gè)AI產(chǎn)業(yè)中，視覺(jué)系統扮演極重要的角色。由于iToF對于距離與空間的重現具有高度的可靠度外，還有分辨率的優(yōu)勢。本文敘述iToF感測和技術(shù)的原理、組成組件、距離計算方式及成像技術(shù)的應用。
人工智能（Artificial intelligence；AI）經(jīng)由ChatGPT生成式AI工具再度獲得世人的關(guān)注，但聊天機器人需要大量且快速的運算能力來(lái)處理復雜的AI模型以及數據，而這些必須要獲得高階人工智能（AI）芯片才能支撐的運算工作。
可是在可看見(jiàn)的未來(lái)，AI應用會(huì )更貼近人們的生活，它只需要一般運算力需求的AI芯片，就能達到自助與自動(dòng)特定功能的工作。例如：只會(huì )開(kāi)車(chē)的司機，送餐送貨的工人，門(mén)口的警衛，無(wú)人商店的店員，工廠(chǎng)的作業(yè)員，以及其他更多重復的工作內容。
AI也是需要視覺(jué)系統讓虛擬的AI鏈接到現實(shí)環(huán)境。當AI裝上Camera攝影機，就像是人的眼睛一樣透過(guò)攝影機AI能精確的截取物體形狀、大小、顏色、深度距離的影像，甚至能傳輸到云端，運行算法進(jìn)行分析辦識。有一句廣告詞「計算機嘛ㄟ撿土豆喔」，沒(méi)有視覺(jué)系統的AI計算機，如何撿土豆呢?可見(jiàn)視覺(jué)系統，在整個(gè)AI產(chǎn)業(yè)中，扮演極重要的角色。除了傳統的影像以外，AI更是需要獲得深度或距離訊息。

iToF相機
人類(lèi)的眼睛可以分辨顏色，形狀與空間但是距離總是用「想象的」。這就是籃球選手距離籃框越遠命中率越低的原因。 AI的視覺(jué)中，平面（2D）與顏色可以經(jīng)由一般的攝影機來(lái)達成，但距離要怎么辦呢? 那就需要另一只眼睛。它可以是一般的攝影機（image）或Depth傳感器來(lái)協(xié)助并透過(guò)算法得到精確的距離。

偵測距離或深度的方案 :

1.采用立體視覺(jué)（Stereo Vision）
2.結構光（structured light）的方案
3.Depth傳感器的種類(lèi)如下：光達Lidar、iToF（Indirect Time-of- Fligh）/dToF（Direct-Time-of-Fligh）、FMCW（Frequency Modulated Continuous Wave）、超聲波（Ultrasound）及雷達（Radar）

而其中iToF對于距離與空間的重現有者高度的可靠度外，還有分辨率的優(yōu)勢。
以下我們就原理、組成組件、距離計算方式、成像技術(shù)的應用來(lái)了解一下iToF感測和技術(shù)。

飛行測距（ToF）原理
ToF（Time of Flight；飛行測距）相機透過(guò)測量光源發(fā)送到場(chǎng)景中，并經(jīng)由物體反射到感測組件來(lái)獲取深度信息，若是透過(guò)發(fā)射波形和反射接收的時(shí)間差是dToF（Direct Time of FLY）而測量的是發(fā)射波形和反射接收波形之間的相位移則是iToF（圖一）。

 
圖一 : ToF相機透過(guò)測量光源發(fā)送到場(chǎng)景中，并經(jīng)由物體反射到感測組件來(lái)獲取深度信息。

dToF和iToF在傳感器原件上的區別是iToF使用CMOS工藝開(kāi)發(fā)的CIS傳感器（Camera Image Sensor），而dToF需要使用單光子雪崩二極管（single-photon avalanche diode，SPAD）傳感器。雖然dToF有長(cháng)距離與抗干擾性的特點(diǎn)較適用長(cháng)距離的量測。而iToF在成本與空間圖像分辨率的優(yōu)勢很適合AI應用。

iToF感測組件
外觀(guān)與一般圖像傳感器（image sensor）無(wú)異。只是周邊的邏輯電路變更讓儲存數據內容不同如下圖（二）。

 
圖二 : iToF感測組件/圖像傳感器（Image Sensor）外觀(guān)

以onsemi的iToF感測組件（AF0130/AF0131）為例：

? 背照式（BSI）CMOS工藝
? 1280 X 960像素
? Global Shutter
? 3.5 um 像素大小
? 1/3.2 傳感器大小
? AF0130 內建深度計算處理器（Depth Processing）
Image Sensor（圖像傳感器）：連續時(shí)間內累積的能量（顏色或亮度）。
iToF depth傳感器：在不同時(shí)間（frame）內量測到的反射能量（光發(fā)射后的飛行軌跡），并透過(guò)計算這些軌跡得到「光」飛行時(shí)間/距離。

既然iToF Depth有計算前的能量與處理后的距離（深度）。所以除了距離的訊息外，它還能以成像的方式來(lái)表現。而解度高的depth傳感器，甚至可以描繪出具有細節的輪廓。
iToF核心組件與架構：雷射驅動(dòng) / 激光器或LED / 發(fā)射端光學(xué) / 接收端光學(xué) / 接收傳感器CMOS / 深度計算
系統架構（圖三）

雷射或LED（Vertical Cavity Surface Emitting Laser：VCSE或（Edge Emitting Laser : EEL）
? 發(fā)射端光學(xué)鏡頭（Lens）
? 雷射或LED驅動(dòng)（Laser/LED Driver）
? 接收端光學(xué)鏡頭（Lens）
? 傳感器CMOS iToF sensor
? 深度計算單元

 
圖三 : iToF模塊圖

目前市售的ToF應用大都選擇850nm和940nm，主要是這兩個(gè)波長(cháng)的發(fā)光源器件可以使用VCSEL實(shí)現但再長(cháng)的波長(cháng)可能需要EEL，另一方面接收端傳感器對850nm是最敏銳的，就是對該光譜的響應率最高.可以得到最佳的信噪比，940nm的感度會(huì )比850nm低，但對人眼的干擾較低。
如果波長(cháng)要更長(cháng)，傳感器的制造會(huì )更難，在電子消費品中很少選擇使用，可是在眼球保護（Eyesafe）法規下，或許不久以后，就會(huì )其他發(fā)光源器件與iToF sensor問(wèn)世。

感測與計算
幀率（frame rate）是每秒可以更新距離訊息次數，所以對于移動(dòng)的物體iToF 傳感器具有高幀率與計算單元可以減小物體移動(dòng)時(shí)間誤差。一般認定每秒超過(guò)60幀（frame）為高幀率。
另外，由于計算單元需要不斷計算實(shí)時(shí)相位偏移信息來(lái)獲得當下的探測距離，若iToF傳感器沒(méi)有內建Depth Mapping處理器與記憶儲存空間，那數據就需要傳送所有的相位差數據到計算單元，這樣就延遲了距離偵測的時(shí)效性，所以感測與計算在同一組件是最佳的方式。

iTof探測距離
indirect time of flight，非直接測量TOF，方法是測量發(fā)射端的正弦波或脈沖信號與接收端的正弦波或脈沖信號的相位差的透過(guò)算法計算出時(shí)間，也稱(chēng)為「phase-based ToF」。在iToF系統中，相位差的函數是測量光強度而不是時(shí)間，這是iToF的硬件使用普通的圖像傳感器架構的緣由，圖像傳感器的特點(diǎn)就是在一個(gè)固定時(shí)間收集光子，然后轉化成電信號輸出。
iTof傳感器輸出的是接收到的光強還有計數后的時(shí)間函數，通過(guò)對比函數與光強，計算出飛行時(shí)間。
iToF可以按發(fā)射光波的方式分成連續波調制（CW-iToF）和脈沖調制（Pulsed-iToF）。

連續波（CW）調變與調頻連續波（FMCW）
連續波iToF的基本原理是將光調制為固定或多個(gè)頻率f的正弦波，發(fā)射端依照頻率f發(fā)射正弦波，當采集返回的光能量時(shí)，連續波iToF會(huì )根據不同的相位打開(kāi)多個(gè)窗口（frame），對多個(gè)窗口相位的數據進(jìn)行采樣，分析該時(shí)期內發(fā)射和接收的相位差信息，然后通過(guò)公式得到距離信息。需要注意的是距離偵測（Depth）精度與頻率f成正比，可檢測最大距離與頻率f成反比。

iToF 4個(gè)相位差資料測量
iToF是針對相位差數據來(lái)計算距離，相位分別是 0 、90 、180、270 。
但是誤差存在于每個(gè)系統，因此距離偵測計算每次大概需要是4~8 frame的4個(gè)相位數據來(lái)確認相位偏移正確性（圖四）。


 
圖四 : 連續波（CW）調變相位差數據與計算

iToF雙頻測量
透過(guò)發(fā)射兩個(gè)頻率的光譜得到的相位差數據與計算用于長(cháng)距離消除相位模糊

 
圖五 : 雙頻測量

若是調頻連續波（FMCW）方法為基礎的LiDAR傳感器，可提供深度、速度和極化強度的數據。而FMCW是被廣泛應用于都普勒（coherent Doppler）架構為基礎的技術(shù)；FMWC持續發(fā)射脈沖弦波，在訊號返回時(shí)計算發(fā)射和接收端的相位差。由于都普勒效應，該偏移是偵測物體距離和速度的函數。

脈沖式iToF
由于多個(gè)調制頻率下進(jìn)行四次相關(guān)函數采樣。對于較長(cháng)距離的測量，或場(chǎng)景中環(huán)境光較強時(shí)，對連續輸出功率要求較高，會(huì )影響加熱和穩定性。
而功率高對人眼安全相關(guān)法規也是不利的。因此可透由改變發(fā)射脈沖模式或選擇更長(cháng)奈米波長(cháng)的光（>950奈米波長(cháng)），來(lái)達到更長(cháng)距離的目標偵測。例如：功率提高到30W但調制頻率由100Mhz降為10Mhz（圖六）。

 
圖六 : 脈沖式iToF調變與功率示意圖

iToF相機應用: 「3D/4D」的空間地圖與對象識別
從現實(shí)與虛擬的AR/VR到人臉或手勢辨識 AI可以認知將為某人提供適合的服務(wù)。AI自主移動(dòng)機器或機器手臂可以知道在倉庫移動(dòng)與搬運對的物品，甚至可以應用在汽車(chē)的自動(dòng)駕駛與安全輔助。

iToF相機優(yōu)勢
1. 內建Depth Mapping處理器與記憶模塊（Memory）。
2. 百萬(wàn)像素（Mage）等級的像素分辨率。
3. 低動(dòng)態(tài)拖影（Low Motion Artifacts） & 高幀率（Hight frame）。
4. 長(cháng)景深距離與高環(huán)境光抑制。
5. 短距離與人眼保護—奈米波長(cháng)與頻率響應（Quantum Efficiency）。

機器視覺(jué)的方案經(jīng)由各種的傳感器搭配且要有快速及高更新率，來(lái)維持實(shí)時(shí)且準確的空間地圖。然后，以AI為基礎的智能產(chǎn)品，才能透過(guò)最精確的訊息以達成任務(wù)。
所以，綜合以上iToF相機的優(yōu)勢是實(shí)現「3D/4D」的AI視覺(jué)—空間地圖與定位的最佳方案。

運動(dòng)偽影
當要辨別運動(dòng)的物體或手勢往往是一個(gè)瞬間發(fā)生的動(dòng)作若相機沒(méi)有高效率與高幀率（Hight frame） 常常會(huì )造成拖影或辨識錯誤，像機器手臂或自主移動(dòng)機器人就需要高效率與高幀率的特性。


 
圖七 : 運動(dòng)偽影及應用

百萬(wàn)像素的像素分辨率
而百萬(wàn)像素（Mage pixel）等級的像素分辨率，如同讓人一眼就看出真假與辨識出特征，就尤其在人臉的識別上是不可或缺的特點(diǎn)。

不受人工或自然的光源干擾
COMS Sensor具有高量子效率（Quantum Efficiency；QE）能對入射光子400~1100nm波長(cháng)的光譜能量，能夠更有效率轉換成電子的訊號。這就是先前提到為何光源可以選擇850nm~940nm波長(cháng)的不可見(jiàn)光，并透過(guò)控制雷射或LED驅動(dòng)，讓偵測做彈性的變化且搭配波長(cháng)的不可見(jiàn)光，不管室內室外都不會(huì )被人工或自然的光源所干擾。


 
圖八 : 不受人工或自然的光源所干擾

長(cháng)短距離偵測
1. 短距離 : 發(fā)出能量低的光譜搭配較高的頻率以提高精確度。
2.長(cháng)距離 : 提高雷射或LED能量但搭配較低頻率，除了延長(cháng)有效測距的范圍外還可以抑制發(fā)射端功耗降低散熱問(wèn)題。

 
圖九 : 長(cháng)度離延伸及室內室外的應用

結論
ToF應用非常多，電子消費領(lǐng)域有人臉辨識、照相機輔助對焦、接近傳感器、體感互動(dòng)、手勢識別、AR、機器人/無(wú)人機避障與3D/4D場(chǎng)景掃描等等；工業(yè)和安防應用可以用于工業(yè)自動(dòng)化機器人、人數統計、智能停車(chē)場(chǎng)、智能交通、自動(dòng)化倉儲管理、電子圍籬及距離測量等；汽車(chē)領(lǐng)域則可以用于智慧駕駛輔助、哨兵模式或自動(dòng)停車(chē)。
若是導入以AI為基礎算法，上述應用則會(huì )進(jìn)一步智能化，AI能根據視覺(jué)系統反饋的訊息重現空間并進(jìn)行對象識別，除了距離（depth）外 AI 還可以經(jīng)由幀（frame）與幀的訊息差異進(jìn)行移動(dòng)物體的速度計算。因為AI可以確切了解目標物，并控制自身的行動(dòng)速度及高精確度，如此可以推算正確的指令。
未來(lái)AI更會(huì )搭配ToF與影像系統深入各種消費、信息安全、工業(yè)自動(dòng)化、自主機器人與汽車(chē)安全的應用，讓每個(gè)產(chǎn)品都像個(gè)可靠的AI機器人，這需要高解析深度成像技術(shù)的iToF與影像視覺(jué)系統的空間與定位來(lái)給與達成決各種任務(wù)的眼睛。
隨著(zhù)應用提升CPU任務(wù)繁重可想而知，從單純的距離感知到自主行動(dòng)最終達到AI互動(dòng)的能力。因此就近傳感器進(jìn)行數據處理的必要性；如果可能，應該所有預處理、清理和AI強化都必要在傳感器的位置進(jìn)行，以減輕CPU的負擔。就像人類(lèi)的神經(jīng)反應一樣，不需要每個(gè)動(dòng)作都要經(jīng)過(guò)大腦思考。目前已有直接距離計算的能力的產(chǎn)品，所以對于距離，事實(shí)上可以直接反應只是「運算」能力如何附加與克服附加之后的散熱問(wèn)題。
（本文作者李明杰為茂綸公司應用工程經(jīng)理）