SK海力士ToF技術(shù)開(kāi)創(chuàng )機器人和元宇宙的未來(lái)時(shí)代

這么多年來(lái)，《星球大戰》系列電影一直震撼著(zhù)無(wú)數觀(guān)影者的心靈：不論是絕地武士不顧險惡與邪惡勢力斗爭，亦或是抵抗組織面對壓迫時(shí)反抗的勇氣和犧牲，以及最后通過(guò)出色的戰略贏(yíng)得勝利的過(guò)程……除此之外，電影中精彩絕倫的光劍決斗，還有R2-D2、C-3PO和BB-8等機器人的行動(dòng)，都令人印象深刻。如果沒(méi)有這些機器人，《星球大戰》可能無(wú)法擁有一個(gè)如此驚人的結局。

機器人和元宇宙是2022年國際消費類(lèi)電子產(chǎn)品展覽會(huì )（CES，International Consumer Electronics Show）¹⁾上最熱門(mén)的話(huà)題之一。時(shí)至今日，替我們工作的非人形機器已十分常見(jiàn)，如送貨機器人²⁾、自動(dòng)駕駛汽車(chē)、掃地機器人和空中飛行的無(wú)人機等?？紤]到CES的影響，我們可能即將迎來(lái)一個(gè)新時(shí)代：每個(gè)家庭都至少擁有一個(gè)如同《星球大戰》等科幻電影場(chǎng)景中的機器人。

另一方面，在新冠疫情期間無(wú)接觸式服務(wù)持續加速發(fā)展，因此將虛擬與現實(shí)融合的元宇宙服務(wù)正不斷普及，人們對此類(lèi)服務(wù)的需求也呈指數級增長(cháng)。許多人開(kāi)始使用增強現實(shí)（AR，Augmented Reality）或虛擬現實(shí)（VR，Virtual Reality）³⁾技術(shù)。不久后，AR和VR設備將會(huì )像智能手機一樣，被我們隨身攜帶。這將開(kāi)啟一個(gè)新時(shí)代——各類(lèi)服務(wù)將隨時(shí)隨地唾手可得，這意味著(zhù)我們不再需要特地造訪(fǎng)銀行或者制造商，更能在不進(jìn)入工廠(chǎng)的情況下實(shí)現產(chǎn)品的維護。

機器之眼（機器視覺(jué)）

在半導體處理和圖像信號處理（ISP，Image Signal Processing）技術(shù)的驚人進(jìn)步、價(jià)格的下降和出色的高分辨率高性能的支持下，互補金屬氧化物半導體（CMOS，Complementary Metal-Oxide Semiconductor）圖像傳感器（或CIS, CMOS Image Sensor）技術(shù)成為了智能手機等各種設備的“眼睛”。像素是決定相機性能的因素，而圍繞像素的競爭，現已將攝像頭技術(shù)推動(dòng)至6億像素這一超越人眼的水平。

但是，高分辨率圖像是否必然適合用于機器視覺(jué)呢？對于負責安全保障的尖端機器的眼睛來(lái)說(shuō)，即使是最清晰的二維（2D）圖像數據，也無(wú)法滿(mǎn)足它們代替人類(lèi)工作時(shí)的需求。這樣的機器可能無(wú)法像R2-D2一樣，在戰術(shù)行動(dòng)中執行任務(wù)。但對于自動(dòng)駕駛汽車(chē)和無(wú)人機來(lái)說(shuō)，在高速行駛過(guò)程中，需要準確識別剎車(chē)時(shí)刻；對于面部識別設備來(lái)說(shuō)，需要精確掃描人臉，而不是平面圖像；對于A(yíng)R設備來(lái)說(shuō)，需要實(shí)時(shí)進(jìn)行大空間掃描，以實(shí)現增強現實(shí)。這些機器都不僅需要2D的圖像數據，還需要三維（3D）的技術(shù)支撐。一臺機器可以通過(guò)超聲波或激光設備等輔助工具，在沒(méi)有攝像頭的情況下通過(guò)復雜的計算過(guò)程獲得3D數據。但是，帶有如此眾多附加部件的機器，在設計以及價(jià)格上都會(huì )被消費者拒絕。

圖2：機器之眼的必要特征

在雙眼和大腦的配合下，人們可以立體地觀(guān)察物體并識別深度和距離。通過(guò)類(lèi)似的機制，機器也可以通過(guò)三角測量法，識別多維物體并測量距離，例如立體視覺(jué)便是采用兩個(gè)攝像頭和一個(gè)處理器來(lái)達到識別效果。然而，這樣的機制也存在缺陷，如計算復雜、測量平面距離時(shí)缺乏準確性，以及在相對較暗的地方準確性低等，這些問(wèn)題縮小了此類(lèi)機制的應用范圍。最近，飛行時(shí)間法（ToF，Time-of-Flight ）作為克服這些缺點(diǎn)的一種替代方法，已經(jīng)得到了實(shí)際應用。ToF是一種通過(guò)計算光從物體上反射回來(lái)的時(shí)間測量距離的簡(jiǎn)單方法。這種方法運行起來(lái)簡(jiǎn)易而快速，還有一個(gè)優(yōu)點(diǎn)：由于它使用獨立的光源，無(wú)論光照環(huán)境如何，都能準確地測量距離。

ToF：通過(guò)測量發(fā)射光的往返時(shí)間獲取距離

立體視覺(jué)：兩個(gè)光學(xué)系統從相對于同一基線(xiàn)的兩個(gè)不同點(diǎn)觀(guān)察同一目標

圖3：立體視覺(jué)和ToF識別物體方法的比較

飛行時(shí)間法

ToF可被分為直接ToF（d-ToF，direct ToF ）和間接ToF（i-ToF，indirect ToF）兩種類(lèi)別，前者是根據光從物體上反射后返回的時(shí)間來(lái)測量距離，后者則是利用返回光的相位差來(lái)計算距離。SK海力士開(kāi)發(fā)這兩種ToF技術(shù)，以便在各種產(chǎn)品中加以利用。說(shuō)不定，未來(lái)的機器人會(huì )有一只眼睛使用i-ToF來(lái)識別近距離的物體，而另一只眼睛使用d-ToF來(lái)探索遠處。

而本文的目的，在于闡明SK海力士的i-ToF技術(shù)。

圖4：間接ToF和直接ToF的比較分析

i-ToF方法以一個(gè)像素內兩個(gè)以上不同存儲器中積累的電荷比例來(lái)計算與光源的相位差，并依此測量距離[1, 2]。與d-ToF相比，這種機制在測量距離方面有一定局限性，因為當光從遠處返回時(shí)，由于強度減弱，可分離的信號較少。然而，與d-ToF相比，它的優(yōu)點(diǎn)則是分辨率更高，由于其電路簡(jiǎn)單，像素可以自己分離信號，容易縮小像素。為了彌補i-ToF的限制，并最大限度地發(fā)揮其優(yōu)勢，大量研究現正已以提高信噪比（SNR， Signal to Noise Ratio）、增加紅外光源的量子效率（QE，Quantum Efficiency）或采用技術(shù)去除背景光（BGL，Background Light）為目的而展開(kāi)。

目前的i-ToF像素結構大體上可以分為柵極結構和擴散結構。柵極結構方法通過(guò)向光柵施加調制電壓⁴⁾，產(chǎn)生電勢差⁵⁾，以收集周?chē)娮?[2]。而擴散結構作為電流輔助光子解調器（CAPD，Current Assisted Photonic Demodulator），利用對基底施加調制電壓產(chǎn)生的電流來(lái)收集電子[3]。與前者相比，后者可以快速檢測到在更深區域產(chǎn)生的電子，使傳輸效率更高，但由于它使用多數載劣電流，因此需要更大的功耗[4]。此外，隨著(zhù)像素變小以及高分辨率導致的像素數量增加，其功耗亦進(jìn)一步增大[5]。

為了最大限度地發(fā)揮CAPD的優(yōu)勢和減少其局限性，SK海力士開(kāi)發(fā)了10um QVGA⁶⁾級和5um VGA級[6]像素技術(shù)，采用了一種名為VFM（Vertical Field Modulator）的新結構。接下來(lái)，讓我們深入了解一下VFM技術(shù)及其優(yōu)勢。

VFM像素技術(shù)的優(yōu)勢

判別一個(gè)優(yōu)秀的距離測量傳感器有各種各樣標準，但首要的是，它應能準確地檢測距離，并通過(guò)較低的功耗來(lái)減少發(fā)熱問(wèn)題。換句話(huà)說(shuō)，一個(gè)好的傳感器必須以較高的效率和較低的功耗快速檢測信號，同時(shí)它還必須根據相位差準確地分離信號。

1. SK海力士的CIS背照式（BSI，Back Side Illumination）技術(shù)和組合

與CIS一樣，背照式⁷⁾處理給ToF的設計或性能帶來(lái)了很多優(yōu)勢。用于計算飛行時(shí)間的光源為紅外線(xiàn)（IR，Infrared Ray），因為它必須是人眼不可見(jiàn)的。而且，即使在低光環(huán)境下，它也能計算出準確的距離。與可見(jiàn)光相比，紅外線(xiàn)的波長(cháng)較長(cháng)，這意味著(zhù)如果不使用比CIS更厚的晶圓，大部分光線(xiàn)就會(huì )被穿透，導致像素中產(chǎn)生的信號水平極低。但這并不意味著(zhù)厚度可以無(wú)限增長(cháng)。要快速收集在較深區域產(chǎn)生的電子是很困難的，就像深海捕魚(yú)比在捕魚(yú)點(diǎn)捕魚(yú)更困難一樣。當應用背照式而不是前照式（FSI，Front Side Illumination）⁸⁾時(shí)，信號能夠快速地被檢測到，因為背照式讓光收集距離更近，其中起到釣魚(yú)線(xiàn)作用的電場(chǎng)，亦通過(guò)從相反的一面投射光而變得更強（圖5）。

圖5. 前照式和背照式的比較（滲透率和每個(gè)厚度的光收集）

i-ToF的性能取決于它根據電荷積聚率分離信號的能力。在這方面，前照式的傳感器可能會(huì )造成距離上的誤差，因為光線(xiàn)經(jīng)過(guò)像素表面時(shí)，忽略相位差直接進(jìn)入檢測節點(diǎn)的可能性較大。這就好比在課堂點(diǎn)名時(shí)教室中還有其他班級的學(xué)生一樣。在前照式中，為確保更高的填充因子⁹⁾，金屬布線(xiàn)也有很多限制，而背照式則使金屬布線(xiàn)有了更廣泛的選擇，就如從地下汲水要比在茂密的森林中砍樹(shù)收集雨水更有效（圖6）。

圖6：不同照明方法的i-ToF電荷積累率（以地下汲水和砍伐茂密森林中的樹(shù)木類(lèi)比）

背照式這一優(yōu)勢可以通過(guò)與SK海力士的CIS背照式技術(shù)結合來(lái)實(shí)現，SK海力士擁有創(chuàng )造小于1微米（千分之一毫米）的像素的技術(shù)。

2. 小透鏡陣列（SLA，Small Lens Array）& 溝槽結構光波導和量子效率(QE)

根據使用電荷積累率的i-ToF機制，我們需要最大水平的信號來(lái)獲得更遠距離的準確距離數據。因此，紅外波長(cháng)范圍¹⁰⁾ 的高QE¹¹⁾是必不可少的。
如上所述，由于紅外光源的高穿透力，其光強度比可見(jiàn)光弱，所以光收集的深度很深。一種應對方法是有意在高處形成微透鏡結構（根據相機鏡頭下像素的大小和數量排列的小尺寸透鏡），以實(shí)現更好的光收集，但由于技術(shù)限制，高度是有限的。SK海力士則采取了一種不同的方法來(lái)克服這一缺陷。通過(guò)在每個(gè)像素上放置幾個(gè)小于像素大小的鏡頭，該方法增加了光收集深度，從而增加了接收到的光線(xiàn)總量。

此外，SK海力士還通過(guò)在背面挖出特殊的圖案結構，使入射光線(xiàn)觸達結構并被其反射，延長(cháng)了光線(xiàn)傳輸路徑，并將光線(xiàn)聚焦到調制區域，從而降低光損失率，并提高了同一光強度下的傳輸效率，達到一石二鳥(niǎo)的效果。實(shí)上，這證實(shí)了在940nm光源下，QE增加了一倍多。在更高的QE下，與以前的方法相比，它成功地將實(shí)際距離和測量距離之間的誤差降低了將近55%。

圖7：SLA（左）和溝槽結構光波導（右）

3. 確保低功耗、高性能

除去光源的功耗，ToF傳感器運作時(shí)在調制信號的電路中功耗最大。調制驅動(dòng)電路的功率與流過(guò)電路板的電流成正比。換句話(huà)說(shuō)，我們可以通過(guò)減少基底電流來(lái)降低功耗。另外，準確和精確的距離測量需要更短的調制周期和快速的信號檢測。車(chē)輛（光子）必須通過(guò)踩油門(mén)來(lái)加速，以便快速穿過(guò)相同的距離（硅厚度），這就會(huì )消耗許多的燃料（或電流）。換一個(gè)例子說(shuō)，從深井中汲水需要很大的力量來(lái)抬起滑輪。但是，如果你能用泵把地下水抽上來(lái)呢？你可以不費吹灰之力，只需打開(kāi)水龍頭，就能抽出所需的水。

VFM方法通過(guò)優(yōu)化像素離子植入的條件和結構來(lái)增加耗盡區，使其能夠發(fā)揮類(lèi)似泵的作用，并加強垂直電場(chǎng)。因此，電場(chǎng)的力量被加到電流上，能有效地收集電子，同時(shí)還能在電流較小的情況下實(shí)現快速收集，增強功耗實(shí)力。大量的實(shí)驗證明，當電流增加時(shí)，VFM像素的性能就會(huì )損耗，這意味著(zhù)它是一種更適于低功率的結構，而電流也不再是一個(gè)重要的因素。換句話(huà)說(shuō)，該方法通過(guò)能夠實(shí)現強大垂直電場(chǎng)的設計來(lái)控制電流，使其僅僅起到引導作用，進(jìn)而提高了像素的性能。5um的VGA級ToF傳感器與QVGA級ToF傳感器相比，即使像素尺寸更小、分辨率更高，每個(gè)像素的電流卻減少了，其功耗的增加也近乎為零。

圖8：作為T(mén)oF傳感器，VFM結構具有更高效的功耗

總結

SK海力士在開(kāi)發(fā)ToF技術(shù)的同時(shí)，通過(guò)提供密切的技術(shù)支持和傳感器，使各種模塊制造商進(jìn)入廣泛的應用市場(chǎng)，為創(chuàng )造經(jīng)濟價(jià)值和社會(huì )價(jià)值作出貢獻。

未來(lái)，我們將能使用AR/VR設備環(huán)游世界，借助無(wú)人機運送包裹，讓家庭機器人將包裹帶到我們身邊，請掃地機器人為我們清潔打掃，甚至能坐在通過(guò)面部識別發(fā)動(dòng)的自動(dòng)駕駛汽車(chē)中觀(guān)看新聞。我們期待這些場(chǎng)景都可以在SK海力士的深度解決方案技術(shù)即將開(kāi)辟的新世界中得以實(shí)現。

腳注

¹⁾國際消費類(lèi)電子產(chǎn)品展覽會(huì )（CES，International Consumer Electronics Show）：舉辦于美國拉斯維加斯，是世界上最大的技術(shù)展會(huì )；其展出品類(lèi)不僅是家用電器，更有包括機器人和移動(dòng)工具在內的所有行業(yè)的電子新技術(shù)
²⁾送貨機器人（Delivery robots）：目前作為應用公司試點(diǎn)項目的一部分，或在一些便利店運營(yíng)
³⁾AR：增強現實(shí)（Augmented Reality）；VR：虛擬現實(shí)（Virtual Reality）。
⁴⁾調制電壓：切換像素節點(diǎn)以分離信號的電壓
⁵⁾電勢差：在電場(chǎng)中不同電位置的能量差，電荷從低能量點(diǎn)移動(dòng)到高能量點(diǎn)
⁶⁾QVGA：指單個(gè)像素分辨率（320×240），而VGA是640×480
⁷⁾背照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-光電二極管-金屬的順序排列，其采集效率比使用前照式+導光板要高得多
⁸⁾前照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-金屬-光電二極管的順序排列
⁹⁾填充因子：傳感器中每個(gè)像素的整個(gè)區域中，激活區域（光電二極管）的比例
¹⁰⁾QE：量子效率，對入射光子和轉換電子的衡量
¹¹⁾紅外波長(cháng)范圍：波長(cháng)在750nm~1mm之間，ToF一般需要850nm/940nm的波長(cháng)范圍

參考文獻

^[1]R. Lange, P. Seitz, A. Biber, and R. Schwarte, “Time-of-flight range imaging with a custom solid-state image sensor,” in Proc. SPIE, Laser Metrology and Inspection, Munich, Germany, 1999, vol. 3823.
^[2]David Stoppa et al., “A Range Image Sensor Based on 10-um Lock-In Pixels in 0.18um CMOS Imaging Technology,” IEEE J. solid-state circuit, vol. 46, no. 1, pp. 248-258, Jan. 2011.
^[3]Cyrus S. Bamji et al., “A 0.13um CMOS System-on-chip for a 512×424 Time-of-Flight Image Sensor With Multi-Frequency Photo-Demodulation up to 130MHz and 2GS/s ADC,” IEEE J. solid-state circuit, vol. 50, no. 1, pp. 303-319, Jan. 2015.
^[4]Yuich Kato et al., “320×240 Back-Illuminated 10-um CAPD Pixels for High-Speed Modulation Time-of-Flight CMOS Image Sensor,” IEEE J. Solid-State Circuits, VOL. 53, NO. 4, pp1071-1078, Apr. 2018.
^[5]L. Pancheri et al., “Current Assisted Photonic Mixing Devices Fabricated on High Resistivity Silicon,” SENSORS, IEEE, pp981-983, Oct. 2008.
^[6]Y. Ebiko et al., “Low power consumption and high resolution 1280×960 Gate Assisted Photonic Demodulator pixel for indirect Time of flight,” 2020 IEEE International Electron Devices Meeting (IEDM), 2020, pp. 33.1.1-33.1.4.
^[7]JH. Jang et al., “An Ultra-low current operating 5-μm Vertical Field Modulator Pixel for in-direct Time of Flight 3D Sensor.,” 2020 International Image Sensor Workshop (IISW), Sep. 2020.

作者:張在亨 TL(Technical Leader) of CIS AR/VR Technology Project Team at SK hynix Inc.