影像感測無(wú)所不在 全局快門(mén)賦能計算機視覺(jué)應用

大多數人每天都正在使用計算機視覺(jué)。舉個(gè)例子來(lái)說(shuō)，一個(gè)是智能型手機上的臉部辨識。如果消費者手機上有這一項功能，平時(shí)也可以用于解鎖屏幕或是電子支付，這表示你正在使用計算機視覺(jué)。另一例子，是當平時(shí)去超市或者超商付款時(shí)，收銀員會(huì )掃描所購買(mǎi)的產(chǎn)品條形碼，這類(lèi)日常生活情境都會(huì )用到計算機視覺(jué)。

計算機視覺(jué)與光學(xué)感測
全局快門(mén)一次可以拍攝整幅影像，而且拍攝時(shí)間非常短，成像效果非常準確，因此完全可以用于計算機視覺(jué)領(lǐng)域。
意法半導體亞太區影像事業(yè)部技術(shù)營(yíng)銷(xiāo)經(jīng)理林國志指出，計算機視覺(jué)是人工智能的一個(gè)分支，能夠讓計算機和系統從數字影像、視訊和其它的視覺(jué)所輸入的數據中，提取出有意義的信息，并根據這些信息采取行動(dòng)或提出分析建議。

在臉部辨識應用中，具有意義的信息就是臉，系統會(huì )對臉進(jìn)行影像采集，然后進(jìn)行信息處理，得出的結果就是驗證使用者身份，接著(zhù)解鎖手機。在一般的情況下，計算機視覺(jué)都會(huì )產(chǎn)生信息輸入和輸出，就以條形碼掃描機來(lái)說(shuō)，掃描條形碼即是信息輸入，透過(guò)鏡頭采集條形碼的影像，并由系統讀取，最后加以辨識產(chǎn)品和價(jià)格。

一般來(lái)說(shuō)，光學(xué)影像傳感器分為兩種主要的架構。除了全局式快門(mén)之外，還有卷簾式快門(mén)，總共分為這兩種鏡頭架構。卷簾快門(mén)的設計目的，是為了捕捉靜態(tài)影像和視訊拍攝，因此需要非常高的分辨率和色彩處理能力。目前大多數鏡頭都屬于卷簾快門(mén)，例如智能型手機的主鏡頭、自拍鏡頭、建筑中的監控鏡頭，甚至數字相機等，都是采用卷簾快門(mén)技術(shù)。因為這些應用情境都需要捕捉彩色影像，因此需要相當高的分辨率。

唯一的問(wèn)題在于，采用卷簾快門(mén)的計算機視覺(jué)技術(shù)，都是逐行拍攝影像。照片采用卷簾快門(mén)逐行拍攝的話(huà)，整個(gè)影像只有一幀。如果拍攝對象是車(chē)輛這樣的快速移動(dòng)物體，影像可能會(huì )扭曲，無(wú)法顯示拍攝對象原本的樣子。如果影像扭曲就無(wú)法顯示物體的真實(shí)狀態(tài)，也就不能用于計算機視覺(jué)，無(wú)法判斷影像中的是不是另一輛車(chē)。因此，卷簾快門(mén)沒(méi)有被應用于計算機視覺(jué)技術(shù)中。然而，全局快門(mén)的原理完全不同，一次可以拍攝整幅影像，而且拍攝時(shí)間非常短。只要被拍攝的對象不是快速移動(dòng)的物體，成像效果就會(huì )非常準確，因此完全可以用于計算機視覺(jué)。

計算機視覺(jué)應用情境


 
圖一 : 全局快門(mén)傳感器的適用情境（source：st.com）

計算機視覺(jué)的應用都會(huì )使用到全局快門(mén)感測技術(shù)。實(shí)際上，計算機視覺(jué)的應用情境無(wú)處不在，可以將其歸為四大類(lèi)。第一類(lèi)叫做深度感測，這項應用時(shí)間比較久。透過(guò)使用兩個(gè)全局快門(mén)傳感器搭建一組立體視覺(jué)系統，或者是使用一個(gè)全局快門(mén)傳感器搭建結構光鏡頭系統。通常深度感測可以用于臉部辨識和3D掃描這類(lèi)的應用情境。

第二類(lèi)叫做生物辨識，這項應用可以采集人體各個(gè)部位的信息，并將其用于身份辨識。人臉信息可以用于臉部辨識或者2D智慧解鎖，體形信息可以用于人的存在偵測，除此之外還有手勢偵測、掌紋辨識、虹膜辨識等。這些人體信息都是獨一無(wú)二的，包括人臉、掌紋和虹膜等，皆可用于身份辨識。另外還有駕駛與車(chē)室內監視，采集司機與乘客的行為信息進(jìn)行分析，產(chǎn)生的結果就是系統發(fā)出的各類(lèi)警示。

第三類(lèi)就是擴增實(shí)境（VR）、虛擬現實(shí)（AR）和混合現實(shí)（MR），這類(lèi)應用涉及了元宇宙的概念。當戴上VR頭部顯示設備之后，使用者看不見(jiàn)周?chē)h(huán)境，只能依靠光學(xué)傳感器才能知道環(huán)境的變化。通常VR頭戴式顯示設備在內部和外部分別有一個(gè)鏡頭，內建鏡頭用于眼球追蹤，并透過(guò)兩個(gè)全局快門(mén)傳感器進(jìn)行眼球觀(guān)測，因為在實(shí)際應用情境中需要感知你的眼睛看哪個(gè)方向，透過(guò)眼球追蹤得到的信息將提供不同的反饋。外置鏡頭則用于外部環(huán)境的追蹤，主要感知外部環(huán)境而非使用者眼球的變化。

這里有兩類(lèi)重要的應用情境。一類(lèi)叫做6DoF，針對的是頭部行為。當使用者戴上VR頭戴式顯示設備后，就會(huì )獲得6D感知能力。頭部可以做出左右、上下、前后六個(gè)角度的動(dòng)作，因此被稱(chēng)為「6DoF」（六個(gè)自由度追蹤）。另一類(lèi)稱(chēng)為「SLAM」（同步定位與地圖構建），例如使用者需要掌握所處房間的狀況，墻壁在哪里、沙發(fā)在哪里、自己所處在哪個(gè)位置，戴上VR頭戴式顯示設備走動(dòng)的時(shí)候，如何避免撞墻等。因此在使用AR／VR裝置的過(guò)程中，手勢偵測、掌紋辨識、臉部與情緒追蹤等功能是非常重要的。

除此之外，使用VR/AR裝置還可以進(jìn)行生物辨識，例如手勢偵測或者手勢追蹤。通常在這種情境下，裝置可以透過(guò)用戶(hù)一個(gè)手勢來(lái)辨識這是哪種行為目的。例如使用者進(jìn)行一場(chǎng)演講，透過(guò)一個(gè)手勢就可以自動(dòng)翻到下一頁(yè)簡(jiǎn)報或者翻回到首頁(yè)，又或是透過(guò)手勢告知助理單擊或雙擊鼠標。這些應用都是透過(guò)手勢偵測來(lái)加以實(shí)現，裝置無(wú)需揣測用戶(hù)想表達的信息，只需追蹤手勢即可。

最后一類(lèi)應用是機器人與工業(yè)控制。例如無(wú)人機和掃地機器人在使用過(guò)程中需要避免相撞，所以要有物體偵測和情境分析能力，而這些都需要使用全局快門(mén)傳感器。此外，前文所提到的條形碼辨識，也屬于工業(yè)控制中的計算機視覺(jué)應用一環(huán)。



 
圖二 : 全局快門(mén)與卷簾快門(mén)的技術(shù)差異（source：st.com）

車(chē)內傳感器
至于汽車(chē)領(lǐng)域的應用，車(chē)內傳感器主要包括四大類(lèi)：包括車(chē)內鏡頭，ADAS鏡頭、觀(guān)測鏡頭和售后鏡頭等，主要用于行車(chē)記錄器。意法半導體亞太區影像事業(yè)部資深技術(shù)營(yíng)銷(xiāo)經(jīng)理張程怡表示，2021年底車(chē)內鏡頭的市場(chǎng)滲透率約為10％，而到2024年就會(huì )達到50％。因此這一新興市場(chǎng)發(fā)展是十分迅速的，產(chǎn)業(yè)生態(tài)中的相關(guān)廠(chǎng)商正紛紛涌入。

車(chē)內鏡頭并不只一種，Euro NCAP為車(chē)輛評估標準體系，曾經(jīng)對車(chē)內監控系統分為兩類(lèi)：一類(lèi)叫做駕駛監控系統DMS，另一類(lèi)叫做車(chē)內乘客監控系統CMS或者OMS。駕駛監控系統的觀(guān)測對象就是司機，主要監控司機是否注意力集中，是否有分神或是打瞌睡，因為這些現象會(huì )嚴重危及行車(chē)安全。而車(chē)內乘客監控系統則主要觀(guān)測乘客狀況，特別是兒童，因為有些粗心的使用者下車(chē)后會(huì )將孩子遺留在車(chē)內。

駕駛監控系統DMS鏡頭安裝在駕駛員面前，觀(guān)測對象主要是臉，鏡頭必須做得很大，大概50～60度，分辨率約100～230萬(wàn)畫(huà)素。重點(diǎn)之一在于這里必須采用NIR鏡頭，因為不僅需要白天對駕駛員進(jìn)行監控，晚上也是需要，因為很多人會(huì )在夜里開(kāi)車(chē)。在這種漆黑的環(huán)境下，必須要有光源投射在駕駛員臉上，但肯定不能使用可見(jiàn)光，所以需要NIR技術(shù)。

車(chē)內乘客監控系統觀(guān)測的是車(chē)內所有乘員，但不同之處在于，因為這里需要物體探測和辨識，所以需要彩色影像，而且觀(guān)測范圍比較寬廣，因此鏡頭視角需要更大，分辨率需要更高，才能獲取觀(guān)測領(lǐng)域內所有細部信息。

車(chē)內乘客監控與駕駛監控二合一系統，是將CMS、OMS和DMS結合。而車(chē)內乘客監控需要RGB彩色影像，駕駛監控則需要NIR影像，因此僅需單一鏡頭就可以同時(shí)支持RGB和NIR，這些都是車(chē)內鏡頭的設計要點(diǎn)。

結語(yǔ)
全局快門(mén)傳感器的應用范疇十分廣泛，除了前文所提及的工業(yè)與車(chē)用之外，對于智慧家庭和智慧大樓也是非常適合的應用范疇。智慧家庭的應用需要考慮周全，使用者不希望家里有個(gè)鏡頭全天候監視自己，與此同時(shí)又想要鏡頭和傳感器帶來(lái)的益處，因為很多輔助功能可以讓用戶(hù)的生活變得更加舒適，全局快門(mén)傳感器的優(yōu)勢就是能夠實(shí)現這一點(diǎn)，而透過(guò)計算機視覺(jué)開(kāi)發(fā)的功能，還能透過(guò)追蹤技術(shù)來(lái)達到人機互動(dòng)的目的。

至于筆電和個(gè)人計算機鏡頭，也是全局快門(mén)傳感器的應用范疇。筆電和PC應用全局快門(mén)技術(shù)的意義，可以進(jìn)行臉部辨識、手勢控制、眼動(dòng)追蹤、舒適度監測和隱私保護。ToF和ALS（環(huán)境光傳感器）則可進(jìn)行存在偵測、電池續航、屏幕亮度自動(dòng)調整和隱私保護。以目前各廠(chǎng)商像是意法半導體所提供的影像產(chǎn)品，都可涵蓋上述的所有應用，包括全局快門(mén)產(chǎn)品、ToF、ALS等等，以及各種參考設計。