圖像傳感器何以推動(dòng)嵌入式視覺(jué)技術(shù)的發(fā)展？
新的成像應用正在蓬勃發(fā)展，從工業(yè)4.0中的協(xié)作機器人，到無(wú)人機消防或用于農業(yè)，再到生物特征面部識別，以及家庭中的護理點(diǎn)手持醫療設備。這些新應用場(chǎng)景出現的一個(gè)關(guān)鍵因素是，嵌入式視覺(jué)比以往任何時(shí)候都更普及。嵌入式視覺(jué)不是一個(gè)新概念，它只是定義了一個(gè)系統，其中包括一個(gè)視覺(jué)設置，該設置在沒(méi)有外部計算機的情況下控制和處理數據。它已廣泛應用于工業(yè)質(zhì)量控制，最為人熟悉的例子比如“智能相機”。
近年源于消費類(lèi)市場(chǎng)經(jīng)濟適用硬件器件的開(kāi)發(fā)，相較于以往使用電腦的方案，這些器件大幅度減小了材料清單(BOM)成本和產(chǎn)品體積。舉個(gè)例子，小型系統集成商O(píng)EM現在能夠小批量采購諸如NVIDIA Jetson的單板機或模塊系統；而較大型的OEM則可以直接獲得如高通驍龍(Qualcomm Snapdragon)的圖像信號處理器。在軟件級方面，市面軟件庫能夠加快專(zhuān)用視覺(jué)系統的開(kāi)發(fā)速度，減小配置難度，即便是針對小批量生產(chǎn)。
第二個(gè)推動(dòng)嵌入式視覺(jué)系統發(fā)展的變化是機器學(xué)習的出現，它使實(shí)驗室中的神經(jīng)網(wǎng)絡(luò )能夠接受培訓，然后直接上傳到處理器中，以便它能夠自動(dòng)識別特征，并實(shí)時(shí)做出決定。
能夠提供適用于嵌入式視覺(jué)系統的解決方案，對于面向這些高增長(cháng)應用的成像企業(yè)來(lái)說(shuō)至關(guān)重要。圖像傳感器由于能夠直接影響嵌入式視覺(jué)系統的效能和設計，因而在大規模引進(jìn)中有重要角色，而它的主要推動(dòng)因素可概括為：更小尺寸、重量、功耗和成本，英語(yǔ)簡(jiǎn)稱(chēng)為“SWaP-C”(decreasing Size, Weight, Power and Cost)。
1
降低成本至關(guān)重要
嵌入式視覺(jué)新應用的加速推動(dòng)器是滿(mǎn)足市場(chǎng)需求的價(jià)格，而視覺(jué)系統成本正是實(shí)現這要求的一個(gè)主要掣肘。
1
節省光學(xué)成本
減小視覺(jué)模塊成本的第一個(gè)途徑是縮小產(chǎn)品尺寸，原因有兩個(gè)：首先是圖像傳感器的像素尺寸愈小，晶圓便可以制造更多的芯片；另一方面傳感器可以使用更小、更低成本的光學(xué)組件，二者都能夠降低固有成本。例如Teledyne e2v的 Emerald 5M傳感器把像素尺寸減小至2.8μm，讓S口(M12) 鏡頭能夠用于五百萬(wàn)像素全局快門(mén)傳感器上，帶來(lái)直接的成本節省──入門(mén)級的M12鏡頭的價(jià)格約為10美元，而較大尺寸的C口或F口鏡頭成本是其10到20倍。所以減小尺寸是降低嵌入式視覺(jué)系統成本的有效方法。 對于圖像傳感器制造商來(lái)說(shuō)，這種降低的光學(xué)成本對設計有另一個(gè)影響，因為一般來(lái)說(shuō)，光學(xué)成本越低，傳感器的入射角越不理想。因此，低成本光學(xué)需要在像素上方設計特定的位移微透鏡，這樣它就可以補償扭曲，并聚焦來(lái)自廣角的光線(xiàn)。
2
高成本效益的傳感器接口
除了光學(xué)優(yōu)化，傳感器接口的選擇也間接影響視覺(jué)系統的成本。MIPI CSI-2接口是實(shí)現節約成本的最合適選擇（它最初是由MIPI聯(lián)盟為移動(dòng)行業(yè)開(kāi)發(fā)的）。它已被大多數ISP廣泛采用，并已開(kāi)始在工業(yè)市場(chǎng)采用，因為它提供了一個(gè)從NXP、NVIDIA、高通公司、Rockchip、Intel以及其他公司的低成本的片上系統（SOC）或模塊上系統（SOM）的輕便集成。設計一種具有MIPI CSI-2傳感器接口的CMOS圖像傳感器，無(wú)需任何轉接橋，直接將圖像傳感器的數據傳輸到嵌入式系統的主機SOC或SOM，從而節省了成本和PCB空間，當然，在基于多傳感器的嵌入式系統（如360度全景系統）中，這一優(yōu)勢更為突出。不過(guò)這些好處受到一些限制。目前在機器視覺(jué)行業(yè)中廣泛使用的MIPI CSI-2 D-PHY標準依賴(lài)于高成本效益的扁平排線(xiàn)，其缺點(diǎn)是連接距離限制為20厘米，這在傳感器離主處理器較遠的遠程云臺設置中可能不是最佳選擇，在交通監控或環(huán)視應用中經(jīng)常是這樣的。延長(cháng)連接距離的解決方案之一，是在MIPI傳感器板和主機處理器之間放置額外的中繼器板，但這是以犧牲小型化為代價(jià)的。還有其他解決方案，不是來(lái)自移動(dòng)行業(yè)，而是來(lái)自汽車(chē)行業(yè)：即所謂的FPD-Link III和MIPI CSI-2 A-PHY標準支持同軸或差分對線(xiàn)，允許連接距離達15米。
3
降低開(kāi)發(fā)成本
在投資新產(chǎn)品時(shí)，不斷上升的開(kāi)發(fā)成本往往是一個(gè)挑戰，它可能會(huì )在一次性投入成本(NRE)上花費數百萬(wàn)美元，并給上市時(shí)間帶來(lái)壓力。對于嵌入式視覺(jué)，這種壓力變得更大，因為模塊化（即產(chǎn)品能否切換使用多種圖像傳感器）是集成商的重要考慮。幸運的是，一次性開(kāi)發(fā)成本是可以控制的，具體方法是在傳感器之間提供一定程度的交叉兼容性，例如，通過(guò)定義合并/共享相同的像素結構以獲得穩定的光電性能，通過(guò)相同的光學(xué)中心來(lái)共享單個(gè)前端結構，以及兼容的PCB組件 (方法是尺寸兼容或針腳兼容)，從而加快評估、集成和供應鏈，如圖1所示。
圖1：圖像傳感器平臺可經(jīng)設計提供針腳兼容(圖左)或尺寸兼容(圖右)以實(shí)現專(zhuān)有PCB布局設計如今，隨著(zhù)所謂的模塊和板級解決方案的廣泛發(fā)布，嵌入式視覺(jué)系統的開(kāi)發(fā)速度更快，價(jià)格也更實(shí)惠。這些一站式產(chǎn)品通常包括一個(gè)可隨時(shí)集成的傳感器板，它有時(shí)還包括一個(gè)預處理芯片、一個(gè)機械正面和/或一個(gè)鏡頭接口。這些解決方案通過(guò)高度優(yōu)化的尺寸和標準化的連接器為應用帶來(lái)好處，使其能夠直接連接到現成的處理板，如NVIDIA Jetson或NXP i.MX ones，而不需要設計或制造中間的適配器板。通過(guò)消除PCB設計和制造的需要，這些模塊或板級解決方案不僅簡(jiǎn)化并加快了硬件開(kāi)發(fā)，而且還大大縮短了軟件開(kāi)發(fā)時(shí)間，因為它們大部分時(shí)間都是與Video4Linux驅動(dòng)程序一起提供的。因此，原始設備制造商和視覺(jué)系統制造商可以跳過(guò)使圖像傳感器與主處理器通信的數周開(kāi)發(fā)時(shí)間，從而專(zhuān)注于其與眾不同的軟件和整體系統設計。光學(xué)模組，如Teledyne e2v提供的模組，通過(guò)將鏡頭集成在模組內，提供從光學(xué)到驅動(dòng)器直至傳感器板的完整封裝，并省去與鏡頭組裝和測試相關(guān)的任務(wù)，進(jìn)一步推動(dòng)了一站式方案方面的發(fā)展。 
圖2：新模組（右側）允許通過(guò)排線(xiàn)直接連接到現成的處理板（左側），而無(wú)需設計任何其他轉接板。 2
提高自主能效
由于外接計算機妨礙了便攜式應用，由微型電池供電的設備是受益于嵌入式視覺(jué)最明顯的應用實(shí)例。為了降低系統的能耗，圖像傳感器現在包含了多種功能，使系統設計者能夠節省能耗。 從傳感器的角度來(lái)看，有多種方法可以在不降低采集幀率的情況下降低視覺(jué)系統的功耗。最簡(jiǎn)單的方法是通過(guò)盡可能長(cháng)時(shí)間使用待機或閑置模式，在系統層面最小化傳感器本身的動(dòng)態(tài)操作，從而降低傳感器本身的功耗。待機模式通過(guò)關(guān)閉仿真電路，把傳感器的功耗降低到工作模式的10%以下。而閑置模式則可把功耗減半，并且能夠讓傳感器在數微秒內重新啟動(dòng)獲取圖像。 另一個(gè)節能方法是采用更先進(jìn)的光刻節點(diǎn)技術(shù)來(lái)設計傳感器。技術(shù)節點(diǎn)越小，切換晶體管所需的電壓越低，這就降低了動(dòng)態(tài)功耗，因為功耗與電壓平方成正比。所以，十年前使用180nm技術(shù)生產(chǎn)的像素不單把晶體管縮小到110nm，同時(shí)也把數字電路的電壓從1.8V降到1.2V。下一世代的傳感器將使用65nm技術(shù)節點(diǎn)，使得嵌入式視覺(jué)應用更節能。 最后一點(diǎn)是，通過(guò)選擇合適的圖像傳感器，可以在某些條件下降低LED燈的能耗。有一些系統必須使用主動(dòng)照明，例如三維地圖的生成、動(dòng)作停頓、或是單純使用順序脈沖指定波長(cháng)來(lái)提高反差。在這些情形下，減低圖像傳感器在低亮度環(huán)境下的噪聲便能實(shí)現更低的功耗。減小了傳感器噪聲，工程人員便可確定減小電流強度，還是減小集成進(jìn)嵌入式視覺(jué)系統的LED燈數目。在其他情況下，當圖像捕獲和LED閃爍由外部事件觸發(fā)時(shí)，選擇適當的傳感器讀出結構可以顯著(zhù)節省電能。當使用傳統卷簾快門(mén)傳感器時(shí)，幀全曝光時(shí)LED燈必需全開(kāi)，而全局快門(mén)傳感器則允許只在幀的某部份開(kāi)動(dòng)LED燈。所以在使用像素內相關(guān)雙采樣(CDS)時(shí)，以全局快門(mén)傳感器替代卷簾快門(mén)傳感器就可以節省照明成本，同時(shí)仍保持與顯微鏡中使用的CCD傳感器一樣低的噪聲。
3
片上功能為視覺(jué)系統的程序設計鋪平了道路
嵌入式視覺(jué)的一些拓展概念，引導我們對圖像傳感器進(jìn)行全面定制，以3D堆疊的方式集成所有處理功能（芯片上的系統）以實(shí)現優(yōu)化性能和功耗。不過(guò)，開(kāi)發(fā)這一類(lèi)產(chǎn)品的成本十分高昂，能夠達到這一集成水平的全定制傳感器從長(cháng)遠來(lái)說(shuō)并非完全不可能，而現在我們正處于一個(gè)過(guò)渡階段，包含將某些功能直接嵌入到傳感器，以降低計算負載和加快處理時(shí)間。例如在條形碼閱讀應用，Teledyne e2v公司已擁有專(zhuān)利技術(shù)，將包含一個(gè)專(zhuān)有條形碼識別算法的嵌入式功能加進(jìn)傳感器芯片，這算法可以找出每一幀幅內的條形碼位置，讓圖像信號處理器只需聚焦于這些范圍，提高數據處理效率。
圖3. Teledyne e2v Snappy五百萬(wàn)像素芯片，自動(dòng)識別條形碼位置另一個(gè)減少處理負載和優(yōu)化“良好”數據的功能是Teledyne E2V的專(zhuān)利快速曝光模式，該模式使傳感器能夠自動(dòng)校正曝光時(shí)間，以避免照明條件變化時(shí)出現飽和。這項功能優(yōu)化了處理時(shí)間，因為它適應了單幀中光照的波動(dòng)，而且這種快速反應最大限度地減少了處理器需要處理的“壞”圖像的數量。 這些功能通常是特定的，需要很好地理解客戶(hù)的應用程序。只要對應用程序有足夠的了解，就可以設計多種其他片上功能來(lái)優(yōu)化嵌入式視覺(jué)系統。4
減小重量和尺寸以配合最小應用空間
嵌入式視覺(jué)系統的另一主要要求是能夠配合狹小空間，或是重量要小，以便用于手持式設備或延長(cháng)電池推動(dòng)產(chǎn)品的工作時(shí)間。這就是現在大部份嵌入式視覺(jué)系統使用只有1MP到5MP的低分辨率小型光學(xué)格式傳感器的原因。 減小像素芯片的尺寸只是減小圖像傳感器封裝尺寸和重量的第一步?，F在的65nm工藝讓我們能夠把全局快門(mén)像素尺寸減小至2.5μm而不損光電性能。這種生產(chǎn)工藝使得諸如全高清全局快門(mén)CMOS圖像傳感器能夠配合手機市場(chǎng)要求小于1/3英寸的規格。減小傳感器重量和占位面積的另一主要技術(shù)是縮小封裝尺寸。晶圓級封裝在過(guò)去數年在市場(chǎng)迅速成長(cháng)，在移動(dòng)、汽車(chē)和醫療應用中特別明顯。相較用工業(yè)市場(chǎng)常用的傳統陶瓷 (CLGA) 封裝，晶圓級扇出封裝和芯片級封裝能夠實(shí)現更高密度連接，因而是嵌入式系統圖像傳感器輕量化小型化挑戰的出色解決方案。就Teledyne e2v的200萬(wàn)像素傳感器而言，晶圓級封裝與較小的像素尺寸相結合，僅在五年內就能縮小至四分之一。
圖4：自2016年以來(lái)，隨著(zhù)封裝技術(shù)改進(jìn)和像素尺寸縮小，圖像傳感器尺寸的典型演變展望未來(lái)，我們預期新的技術(shù)能進(jìn)一步實(shí)現嵌入式視覺(jué)系統所需的更小傳感器尺寸。 三維堆棧是讓半導體器件生產(chǎn)的創(chuàng )新技術(shù)，它的原理是在不同晶圓上制造各種電路芯片，然后利用銅對銅連接和過(guò)硅沖孔(Through Silicon Vias，簡(jiǎn)稱(chēng)TSV)技術(shù)進(jìn)行堆棧和互聯(lián)。三維堆棧因為是多層重迭芯片，允許器件實(shí)現比傳統傳感器更小的封裝尺寸。在三維堆疊圖像傳感器中，讀出和處理塊可以移動(dòng)到像素陣列和行****的下方。這樣，傳感器的占位尺寸因縮小的讀出和處理塊而減小，并且可以在傳感器中加入更多處理資源以減小圖像信號處理器的載荷。
圖5：三維芯片堆疊技術(shù)能夠使像素陣列、仿真和數字電路重疊，甚至增加額外的特定應用處理層，同時(shí)減小傳感器面積。不過(guò)，要讓三維堆棧技術(shù)在圖像傳感器市場(chǎng)獲得廣泛應用，現在還面對著(zhù)一些挑戰。首先這是一個(gè)新興的技術(shù)，其次是它的成本較高，因為需要附加的工藝步驟，使得芯片成本比使用傳統技術(shù)的芯片高三倍以上。因此三維堆疊將主要是高性能或非常小封裝尺寸的嵌入式視覺(jué)系統的選擇。總結而言，嵌入式視覺(jué)系統可以歸納為一種“輕量”視覺(jué)技術(shù)，可以用于包括OEM、系統集成商和標準相機廠(chǎng)商等不同類(lèi)型企業(yè)?！扒度胧?“是一個(gè)可用于不同應用的概括性描述，因而不能開(kāi)出列表說(shuō)明它的特征。不過(guò)優(yōu)化嵌入式視覺(jué)系統有幾個(gè)適用法則，就是一般而言，市場(chǎng)推動(dòng)力并非來(lái)自超級快的速度或超高的靈敏度，而是尺寸、重量、功耗和成本。圖像傳感器是這些條件的主要推手，所以需要小心選擇合適的圖像傳感器，以便于優(yōu)化嵌入式視覺(jué)系統的總體性能。合適的圖像傳感器能為嵌入式設計人員帶來(lái)更多靈活性，不僅節省材料清單成本，還可減小照明和光學(xué)組件的占位面積。但比圖像傳感器更重要的是，成像模塊形式的拿到即可快速應用的板級解決方案的出現，為進(jìn)一步優(yōu)化尺寸、重量、功耗和成本鋪平了道路，并通過(guò)來(lái)自消費市場(chǎng)的成本可接受的經(jīng)過(guò)深度學(xué)習優(yōu)化的圖像信號處理器，大幅降低開(kāi)發(fā)成本和時(shí)間，而不增加額外的復雜性。 來(lái)源：Teledyne e2v文/作者：Marie-Charlotte Leclerc*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
