微軟揭密HoloLens黑科技
微軟(Microsoft)在日前于布魯塞爾舉辦的IMEC技術(shù)論壇上揭密其HoloLens增強實(shí)境(AR)眼鏡及其專(zhuān)用加速器——Holographic Processing Unit (HPU)處理單元。
在今年3月下旬,微軟已經(jīng)開(kāi)始出貨HoloLens的開(kāi)發(fā)人員版了。這款開(kāi)發(fā)人員版HoloLens一發(fā)布,網(wǎng)路上隨即充斥著(zhù)各種拆解分析,但至今卻未見(jiàn)來(lái)自這款頭戴式顯示器的設計者發(fā)表任何評論。
“我們已經(jīng)發(fā)表HoloLens約18個(gè)月了,通常僅強調使用體驗與軟體——這是第一次我們打算討論硬體部份,”微軟HoloLens開(kāi)發(fā)部門(mén)副總裁Ilan Spillinger表示。
微 軟的HoloLens頭戴式顯示器包括4個(gè)環(huán)境感測器、Kinect微型深度相機以及慣性量測單元(IMU)。而在其核心部份的HPU基本上是一款數據融 合感測器,可以從HoloLens上的一連串感測器擷取輸入。同時(shí),它還能加速演算法,以利于追蹤用戶(hù)的環(huán)境、運動(dòng)與手勢,以及顯示全息影像。
這款28nm HPU基本上采用高度客制化的DSP陣列設計,執行功耗還不到10W。它包括多顆Tensilica DSP核心,從而為執行數百個(gè)HoloLens特定指令集實(shí)現最佳化。
每個(gè)核心都針對一種特定功能與功能子集而客制化。在聽(tīng)起來(lái)像是范紐曼(Von Neumann)的架構中,每個(gè)核心通常都有其獨特的記憶體單元組織,用于加速“需要特殊本地記憶體與獨特記憶體架構的新型演算法,而不是典型的1-2-3級快取,”Spillinger解釋。

該HoloLens HPU設計在一款專(zhuān)為其頭戴式裝置量打造的精簡(jiǎn)主板上
HoloLens 頭戴式裝置采用英特爾(Intel) 14nm Cherry Trail SoC,以及執行于Windows 10的嵌入式繪圖核心。在主板的兩側還搭載64 Gb快閃記憶體與2 Gb外記憶體,平均分布于其HPU與Cherry Trail SoC之間。
Spillinger并未透露這款HPU的開(kāi)發(fā)藍圖,但表示他已經(jīng)“看到一些可執行該演算法的新機會(huì )”。
該HPU也適用于Google上周為其資料中心發(fā)布的新款加速器,以及一家新創(chuàng )公司正開(kāi)發(fā)中的設計。
Spillinger呼吁半導體工程師盡快為開(kāi)發(fā)更高性能、更低功耗的晶片做好準備,從而協(xié)助其打造更輕巧、更低成本且搭載更多感測器與功能的頭載式顯示器。
Ilan Spillinger的職業(yè)生涯一開(kāi)始是先在英特爾開(kāi)發(fā)Centrino——其首款筆記型電腦專(zhuān)用處理器。接著(zhù)曾經(jīng)在IBM設計Infiniband與 Power晶片,后來(lái)則協(xié)助微軟與任天堂(Nintendo)為Xbox 360與Wii游戲機開(kāi)發(fā)ASIC晶片。
Spillinger在2007年底加入微軟,并開(kāi)始開(kāi)發(fā)Kinect。該計劃后來(lái)與其他工程師的計劃合并,共同開(kāi)發(fā)擴增實(shí)境頭戴式顯示器,而HoloLens計劃也隨之誕生。
復雜的感測器陣列

如 上圖中的HoloLens感測器陣列包括4顆環(huán)境感測器,用于追蹤頭部動(dòng)作以及控制顯示器的手勢。深度感測器是縮小版的Kinect,可支援手勢追蹤約1 公尺范圍的短距離模式,以及映射室內的長(cháng)距離模式。200萬(wàn)畫(huà)素(2MPixel)的高解析度視訊相機則用于投射使用者看到的影像。
光學(xué)內部真相

光學(xué)子組件(上圖)包括合專(zhuān)用規格的慣性測量單元。光學(xué)元件使用由微軟開(kāi)發(fā)和生產(chǎn)的光柵技術(shù),支援較寬廣的瞳孔間距離,并可為配戴隱形眼鏡或眼鏡的用戶(hù)進(jìn)行調整。
LCoS顯示器支援230萬(wàn)畫(huà)素與精確度,讓用戶(hù)預測與讀取Web瀏覽器上的精密文字。
從原型到成品

早期的原型(上圖)采用全尺寸的Kinect深度感測器和各種子組件,最終重新設計成封裝大量材料成本(BOM;見(jiàn)下圖)的簡(jiǎn)潔消費版)。

評論