如何用多光譜堆疊技術(shù)給傳感器行業(yè)帶來(lái)“新鮮感”？

多光譜傳感器在汽車(chē)行業(yè)的優(yōu)勢？

幻實(shí)（主播）：本期節目我邀請到了疊鋮光電的CTO張博士,首先請您給我們介紹一下疊鋮光電聚焦什么領(lǐng)域呢？

張友偉（嘉賓）：好的，疊鋮光電是一家專(zhuān)注于做多光譜堆疊傳感器的研發(fā)型公司，我們近期推出的主要產(chǎn)品集中在可見(jiàn)光和熱紅外的雙光譜傳感器。

比如說(shuō)我們常見(jiàn)的攝像頭，它是可見(jiàn)光的波段，然后我們還有熱成像的這種攝像頭，它只是在紅外的波段，我們要做的就是把兩種波段融合在一個(gè)傳感器上，使同一個(gè)傳感器能夠實(shí)現對紅外和可見(jiàn)光兩種光譜的感知。

幻實(shí)（主播）：為什么當時(shí)會(huì )選擇這種技術(shù)路線(xiàn)，有什么原因嗎？

張友偉（嘉賓）：近年來(lái)新能源汽車(chē)行業(yè)快速發(fā)展，我認為自動(dòng)駕駛將逐漸引領(lǐng)很多領(lǐng)域往后若干年發(fā)展方向，各種各樣的傳感器（比如可見(jiàn)光攝像頭、毫米波雷達、激光雷達、熱成像傳感器等）會(huì )進(jìn)入到車(chē)內。但是，我們發(fā)現很多情況下，單一傳感器多多少少存在一些局限，它們各有各的優(yōu)勢，也各有各的弱點(diǎn)。比如說(shuō)可見(jiàn)光傳感器，在太陽(yáng)逆光直射你的時(shí)候，或者夜間光線(xiàn)很弱的時(shí)候、天氣狀況不好的時(shí)候，它都發(fā)揮不了很大的作用。

幻實(shí)（主播）：我們傳統的CMOS*傳感器在這種點(diǎn)是有局限性的。

CMOS傳感器：主要是利用硅和鍺這兩種元素所做成的半導體，使其在CMOS上共存著(zhù)帶N（帶-電）和 P（帶+電）級的半導體，這兩個(gè)互補效應所產(chǎn)生的電流即可被處理芯片記錄和解讀成影像。后來(lái)發(fā)現CMOS經(jīng)過(guò)加工也可以作為數碼攝影中的圖像傳感器，CMOS傳感器也可細分為被動(dòng)式像素傳感器(Passive Pixel Sensor CMOS)與主動(dòng)式像素傳感器(Active Pixel Sensor CMOS)

張友偉（嘉賓）：是的，實(shí)際上現在很多車(chē)廠(chǎng)也采用了多種傳感器相互協(xié)作融合的工作模式，希望把各種傳感器的長(cháng)處結合在一起。

但也存在一些難點(diǎn)，比如各種傳感器之間在時(shí)間上同步性，即兩個(gè)分立的傳感器在同一時(shí)間上是否能夠同步，我看見(jiàn)某個(gè)物品的時(shí)候，另一個(gè)傳感器是否也在同一時(shí)間看到此物。

再比如說(shuō)我在這個(gè)傳感器能夠看到目標，在另一個(gè)傳感器看不到目標的時(shí)候，我應該相信誰(shuí)，在信息上有矛盾的時(shí)候我們應該做一些取舍。

幻實(shí)（主播）：您說(shuō)的這些情況我估計現在都是有存在的，目前業(yè)界是怎么處理的？

張友偉（嘉賓）：是的，目前他們有制定一些策略，但是解決的方法并不完美。

例如在車(chē)的方向上，特斯拉是相對另類(lèi)一點(diǎn)的，他始終堅持用純視覺(jué)方案來(lái)解決自動(dòng)駕駛問(wèn)題，然后他前段時(shí)間好像把毫米波雷達也拿掉了。

Autopilot 自動(dòng)輔助駕駛的視覺(jué)處理系統

（圖源：Tesla官網(wǎng)）

特斯拉實(shí)際上它對成本及整體的性能要求都非常高，多傳感器相融合這種方式在他看來(lái)成本過(guò)高，又不能很好的解決問(wèn)題。

幻實(shí)（主播）：那么為什么我們的方案就可能會(huì )更好的解決問(wèn)題，原理是什么？

張友偉（嘉賓）：因為我們把兩個(gè)傳感器堆疊在一起后，他們在時(shí)間及空間上都是同步的，得到的數據是一致的，這樣我們就解決了一些特殊場(chǎng)景和信息矛盾的問(wèn)題。

同時(shí)，在我們可見(jiàn)光加紅外多光譜的圖像上面，它每個(gè)像素包含的信息更多，識別率更高。在進(jìn)行人工智能識別的時(shí)候，它實(shí)際上要有一個(gè)搜索空間，用了我們這個(gè)傳感器以后它的搜索空間會(huì )減小，因此需要的算力也會(huì )更少。

他們如何實(shí)現“1+1>2”的高性?xún)r(jià)比

幻實(shí)（主播）：目前來(lái)說(shuō)咱們堆疊的傳感器首先要進(jìn)入的市場(chǎng)或場(chǎng)景是哪一個(gè)？

張友偉（嘉賓）：目前我們首先考慮汽車(chē)這個(gè)行業(yè)，不管是自動(dòng)駕駛還是輔助駕駛，使用我們傳感器之后都能夠有很大的提升，同時(shí)在工業(yè)產(chǎn)品、安防消防等場(chǎng)景，包括一些其他的特種行業(yè)，實(shí)際上都可以得到很好的運用。

幻實(shí)（主播）：假如汽車(chē)市場(chǎng)采購了我們的傳感器，是不是傳統的視覺(jué)傳感器就不被需要了，就像最近美國上市的一家激光雷達公司。您怎么理解你們的產(chǎn)品和他們產(chǎn)品之間的一個(gè)融合性？

張友偉（嘉賓）：其實(shí)我們的產(chǎn)品在可見(jiàn)光的維度上面是對它的一個(gè)增強，并非使用了我們的傳感器就能實(shí)現自動(dòng)駕駛，只是說(shuō)我們的產(chǎn)品相較于現有的傳感器是一個(gè)很大的進(jìn)步，為后期實(shí)現L4（L4級自動(dòng)駕駛是指高度自動(dòng)駕駛，能夠實(shí)現駕駛全程無(wú)需駕駛員任何操作，但也會(huì )有限制條件）或更高級別的自動(dòng)駕駛提供了更有力的工具，也并不是要取代其他的傳感器。

幻實(shí)（主播）：這個(gè)方向國外也有做嗎，還是說(shuō)是我們是首先提出來(lái)往這個(gè)方向去走的？

張友偉（嘉賓）：目前我們倒是沒(méi)有看到別人在這么做，但并不只是我們擁有這項技術(shù)，在軍工和航天領(lǐng)域有過(guò)這樣的一些應用先例，在民用市場(chǎng)上面我還沒(méi)有看到。

幻實(shí)（主播）：所以這真的是一個(gè)開(kāi)拓性的應用，你們向客戶(hù)推廣產(chǎn)品的時(shí)候覺(jué)得有壓力嗎？

張友偉（嘉賓）：其實(shí)還好，客戶(hù)還是非常感興趣的，所以我們一直在努力盡快把這個(gè)產(chǎn)品落地，并進(jìn)行量產(chǎn)化。

幻實(shí)（主播）：堆疊而成的增強式多光譜傳感器，相比于原有方案的造價(jià)，會(huì )增加很多嗎？

張友偉（嘉賓）：事實(shí)上芯片量產(chǎn)化以后，雖然它的成本增加，但邊際效應是遞減的。所以將來(lái)產(chǎn)品價(jià)格可能比現有的可見(jiàn)光會(huì )略高一些，但是并不是特別的昂貴。

幻實(shí)（主播）：在汽車(chē)方面，大家還未放棄對提高安全性而開(kāi)拓應用，那在工業(yè)市場(chǎng)有沒(méi)有什么具體的方向可以跟我們分享一下？

張友偉（嘉賓）：可見(jiàn)光及紅外線(xiàn)能用的地方我們都能用，所以我們其實(shí)是可以從他們的方向切進(jìn)去的。

幻實(shí)（主播）：也就是說(shuō)你們要去找一個(gè)既要用可見(jiàn)光，又要用紅外的場(chǎng)景，以此實(shí)現高性?xún)r(jià)比。因為你們解決了互聯(lián)互通時(shí)效的各種問(wèn)題，所以聽(tīng)起來(lái)還是一個(gè)挺有意思的角度。

那咱們團隊是什么樣的一個(gè)背景，是全部要做硬件，還是說(shuō)需要嵌入式軟件，需不需要做應用的一些開(kāi)發(fā)？

張友偉（嘉賓）：其實(shí)我們的核心團隊以前是中科院的背景，我們在紅外這方面有很大的積累，我們開(kāi)發(fā)出這樣的一個(gè)傳感器，包括后面的模組，需要的是光學(xué)和結構、算法、軟件、電子各方面的人才，所以這是一個(gè)需要各種技術(shù)綜合的一個(gè)系統工程。

幻實(shí)（主播）：而且還要懂工藝，因為你們自己還要改工藝，我覺(jué)得這個(gè)好難啊，門(mén)檻很高，因為做出來(lái)之后可能芯片的制造、產(chǎn)線(xiàn)都要配合你們去做調試，聽(tīng)起來(lái)你們選了一條艱難的路，當時(shí)有沒(méi)有什么顧慮？

張友偉（嘉賓）：顧慮倒是沒(méi)有，因為我們主要的核心團隊人員以前是做科研的，我們非常享受創(chuàng )造的過(guò)程，做出一些創(chuàng )新的東西是非常興奮的。

幻實(shí)（主播）：做科研與考慮商業(yè)化不一樣，商業(yè)需要我們先算算賬，可能這個(gè)東西回報周期太長(cháng)，興趣就會(huì )大大減弱。那么，疊鋮光電的產(chǎn)品從技術(shù)方向來(lái)說(shuō)到了哪個(gè)階段？

張友偉（嘉賓）：按照今年的計劃，我們大概5月份會(huì )推出模組型的產(chǎn)品交付客戶(hù)，之后我們會(huì )做一些量產(chǎn)化的工作。

幻實(shí)（主播）：也就是說(shuō)你們現在是有定向開(kāi)發(fā)的客戶(hù)了，這是一個(gè)很不錯的階段，您預計這款產(chǎn)品到量產(chǎn)中間可能還會(huì )遇到怎樣的挑戰？

張友偉（嘉賓）：首先實(shí)現傳感器的這種堆疊技術(shù)，在工藝上面是有一些門(mén)檻的；其次，我們后期量產(chǎn)產(chǎn)生實(shí)際數據后，需要對可見(jiàn)光跟紅外完全融合的多光譜數據進(jìn)行處理并形成數據庫，這樣的數據庫實(shí)際上先前是沒(méi)有的；不僅如此，基于數據庫的算法也是先前沒(méi)有的，這些方面都是巨大的挑戰。

幻實(shí)（主播）：也就是從無(wú)到有的一個(gè)積累期。創(chuàng )新是要靠不斷地嘗試，一點(diǎn)一點(diǎn)積累而成，但你們一旦突破了瓶頸，別人再進(jìn)入市場(chǎng)就沒(méi)那么容易。

張友偉（嘉賓）：沒(méi)錯，這個(gè)領(lǐng)域存在先發(fā)優(yōu)勢。

多光譜傳感器應用于車(chē)內的場(chǎng)景感受

幻實(shí)（主播）：很難想象這個(gè)產(chǎn)品在車(chē)里真正用到的時(shí)候，從我們駕駛的感受上來(lái)說(shuō)會(huì )有多大的變化，你能不能給我們場(chǎng)景化的描述一下感受？

張友偉（嘉賓）：其實(shí)對于實(shí)現自動(dòng)駕駛的情況來(lái)說(shuō)，一方面是我們可以實(shí)現在各種氣候、光照條件下，都能夠很好的進(jìn)行自動(dòng)駕駛識別，另一方面是用戶(hù)體驗有所提升，用戶(hù)不需要不斷的去接管它，突發(fā)情況變得更少了。

幻實(shí)（主播）：對，因為我們經(jīng)常會(huì )發(fā)現前面遇到一些復雜情況，這時(shí)候就需要你去接管它了。

張友偉（嘉賓）：尤其是傍晚的時(shí)候太陽(yáng)西照，光照條件發(fā)生變化就需要人不斷的接管。

在夜間，可見(jiàn)光其實(shí)是很弱了，但是在紅外波段依舊能夠非常好的探測目標，尤其是探測到比如人這種活動(dòng)目標，它的優(yōu)勢非常明顯。

夜間疊層合并及識別效果（圖源：疊鋮光電官網(wǎng)）

幻實(shí)（主播）：所以全天候就代表無(wú)論有光沒(méi)光，你們都有辦法來(lái)解決了。這確實(shí)是一個(gè)新的角度去解決問(wèn)題，因為我們一般都會(huì )想大家是不是都配備了視覺(jué)毫米波和雷達，但都配備了確實(shí)會(huì )出現您說(shuō)的問(wèn)題，他們之間出現信息矛盾怎么辦，誰(shuí)更具有話(huà)語(yǔ)權？我現在想一想，其實(shí)車(chē)場(chǎng)在調大家的權重時(shí)也是真不容易的。

好，非常感謝您今天給我們科普了一個(gè)全新的角度，最后您有什么想借助我們的欄目平臺，有沒(méi)有什么想對外號召或者呼吁。

張友偉（嘉賓）：我們這個(gè)平臺是一個(gè)非常好的交流平臺，我們希望通過(guò)這個(gè)平臺把我們的東西介紹給更多的人，同時(shí)也能夠與行業(yè)界人士進(jìn)行更多的交流，我們相互學(xué)習，共同進(jìn)步，促進(jìn)我們整個(gè)國家智能傳感器行業(yè)的發(fā)展。

幻實(shí)（主播）：張博士很謙虛，你們的技術(shù)方向需要和客戶(hù)或者是產(chǎn)業(yè)的下游進(jìn)行一些綁定的開(kāi)發(fā)，如果說(shuō)我們的聽(tīng)眾有做這方面，既要用到紅外又要用到可見(jiàn)光，但是又對他們同時(shí)產(chǎn)生的效果不滿(mǎn)意，歡迎大家聯(lián)系疊鋮光電，說(shuō)不定會(huì )另辟蹊徑帶來(lái)更好的效果。

從整個(gè)傳感器產(chǎn)業(yè)來(lái)看，隨著(zhù)以人工智能、5G通信、大數據等為代表的智能化時(shí)代到來(lái)，傳感器受到了世界各國的普遍重視。傳感器產(chǎn)業(yè)作為國民經(jīng)濟的基礎性、戰略性產(chǎn)業(yè)，對促進(jìn)工業(yè)轉型升級、發(fā)展戰略性新興產(chǎn)業(yè)發(fā)揮著(zhù)重要作用。

汽車(chē)傳感器是一個(gè)鮮明的例子，智能汽車(chē)的快速發(fā)展正不斷催生自動(dòng)駕駛傳感器的快速發(fā)展，未來(lái)智能汽車(chē)的滲透率會(huì )不斷提升。文中所提到的將高動(dòng)態(tài)范圍可見(jiàn)光、熱紅外、SPAD傳感器集成在同一片芯片上，實(shí)現傳感器之間的融合一致，給自動(dòng)駕駛場(chǎng)景注入了想象力，總體來(lái)看，理想狀態(tài)的自動(dòng)駕駛模式并未走入人們的生活，智能駕駛技術(shù)仍然存在很多難題亟待突破，伴隨更多創(chuàng )新技術(shù)的導入，智能汽車(chē)行業(yè)勢必將迎來(lái)更具創(chuàng )造性的新場(chǎng)景、新應用。