蘋(píng)果披露臉部識別技術(shù)演變，“非成熟技術(shù)不用原則”貫穿始終

　　從 2007 年推出第一部 iPhone到現在已經(jīng)十年?；仡櫄v年來(lái)的 iPhone 產(chǎn)品，很多的新技術(shù)都并非首創(chuàng )，而且蘋(píng)果都會(huì )選擇較為成熟的技術(shù)搭載在產(chǎn)品上，以求給消費者較好的用戶(hù)體驗。

　　比如說(shuō)，真正讓 iPhone 成為業(yè)界標桿的觸屏技術(shù)，其實(shí)早在 1999 年摩托羅拉就已經(jīng)推出了搭載觸屏技術(shù)的 A6188;還有從 iPhone 5S 開(kāi)始使用的指紋識別技術(shù)，最先也由摩托羅拉在 2011年推出。

　　圖丨摩托羅拉觸屏手機 A6188 及指紋解鎖手機 Atrix 4G

　　當年，喬布斯似乎為蘋(píng)果定下了非成熟技術(shù)不用的原則，一方面當然是為了照顧用戶(hù)體驗，另一方面，他一直強勢的認為一旦某一技術(shù)搭載在 iPhone 上，就必須成為業(yè)界典范。而事實(shí)也的確如此，從普及智能手機，到數個(gè)語(yǔ)音助理Siri，到指紋識別，到取消3.5mm耳機插孔，都在某種程度上設定了新的業(yè)界標準，使得其他手機廠(chǎng)商紛紛跟進(jìn)。

　　現在，全新的 iPhone 8 及iPhone X 已經(jīng)上市，其面部識別功能 Face ID無(wú)疑是一大亮點(diǎn)。但和往常一樣，這并不是一個(gè)全新的技術(shù)。蘋(píng)果早在2013年推出的 iOS 7 中其實(shí)就已經(jīng)整合了相關(guān)的核心功能組件，而其中技術(shù)甚至可以追溯至2001年。但直到 2017 年，蘋(píng)果才認為這項技術(shù)已經(jīng)成熟，是時(shí)候搭載到最新的 iPhone 產(chǎn)品上了。

　　蘋(píng)果機器學(xué)習開(kāi)發(fā)團隊于 16 日發(fā)表了一篇技術(shù)文章，主要是在介紹Vision 這個(gè) API 背后所牽涉到的神經(jīng)網(wǎng)絡(luò )機制，以及最初如何靠由簡(jiǎn)單的非神經(jīng)網(wǎng)絡(luò )算法，做出人臉識別的功能。

　　眾所周知，iPhone X 中的 Face ID 功能利用人臉識別取代過(guò)去的指紋識別，在有效提升便利性之余，也憑借其基于機器學(xué)習的核心算法，以及對臉孔的 3D 掃描機制，確保手機能識別出真正的主人，且隨著(zhù)使用的時(shí)間增加，手機對主人臉孔的熟悉度也會(huì )跟著(zhù)增加。

　　即便因為戴眼鏡或者是口罩而識別不出，甚至是經(jīng)過(guò)整容，但只要輸入密碼，手機就會(huì )把剛剛捕捉到的臉孔特征加進(jìn)學(xué)習模型中，往后戴一樣的眼鏡或口罩時(shí)，手機還是可以認得你，不必擔心會(huì )有被盜用等安全疑慮。

　　當然，密碼還是要保管好!

　　圖丨iPhone X 中的 Face ID 功能演示

　　然而，為了達到夠高的識別正確率，蘋(píng)果從算法到硬件設計，可是花了很多心思。但這個(gè)過(guò)程可以回溯到2011 年蘋(píng)果在 iOS 5 上發(fā)表的一套圖像識別框架 Core Image 身上。

　　雖然和 2004 年在 Mac OS X 上的 Core Image 名字完全一樣，但內容完全不同，Mac OS X 上的 Core Image 主要就是用來(lái)作為圖形處理使用，可在圖形上實(shí)時(shí)套用一般圖像處理軟件可做到的特效濾鏡。

　　蘋(píng)果把 Core Image 搬到 iOS 5 上后，隨著(zhù)操作系統的改版也不斷增加新功能，隨著(zhù) 2013 年的 iOS 7，蘋(píng)果引進(jìn)了CIDetector這個(gè)功能類(lèi)，而其最重要的核心功能，就是用來(lái)進(jìn)行臉部識別。

　　但這時(shí)的臉孔識別并沒(méi)有太大的商用價(jià)值，因為只能識別是不是人臉，卻無(wú)法從人臉特征認出本人。后來(lái)蘋(píng)果轉而在 2014 年投入深度學(xué)習研究，經(jīng)過(guò) 3 年的時(shí)間，推出OpenML這個(gè)完整的深度學(xué)習生態(tài)，以及與之搭配的Neuro engine 硬件 AI 處理單元。且推出首個(gè)基于硬件處理的手機深度學(xué)習應用Face ID。

　　Face ID的雛形CIDetector，源自 2001 年

　　Core Image 演進(jìn)到 iOS 7.0，其功能包含了 CIImage、CIContex、CIFilter 以及 CIDetecor，而重點(diǎn)中的重點(diǎn)，就是 CIDetecor 這個(gè)功能類(lèi)了。

　　所以說(shuō)，當iOS 7 引入 CIDetecor 之后，基本上就具備了臉部識別的能力，但各位可能會(huì )有疑惑，那怎么從 iOS 7 進(jìn)展到 iOS 11，隔了這么久才使出 Face ID 這個(gè)大絕招?

　　既然是大絕招，當然前期練功運氣的過(guò)程不可避免，且 iOS 7 所使用的臉部識別算法有很大的缺陷，蘋(píng)果也認為要把這個(gè)技術(shù)用來(lái)做高精度的臉孔識別還為時(shí)過(guò)早。

　　實(shí)際上，iOS 7 中 CIDetector 的臉部識別技術(shù)，使用了 Viola-Jones 這種基于簡(jiǎn)單特征的對象識別技術(shù)，此技術(shù)早在 2001 年就由同是畢業(yè)于麻省理工學(xué)院的 PaulViola(目前就職于亞馬遜) 及 Michael Jones(現供職于三菱電機研究實(shí)驗室，MERL)兩人共同提出，基于 AdaBoost 算法，使用 Haar-like 小波特征(簡(jiǎn)稱(chēng)類(lèi) haar 特征，是一種用來(lái)描述圖像的數字特征)和積分圖方法進(jìn)行人臉檢測。

　　雖然這兩人并非最早使用提出小波特征的研究者，但是他們設計了針對人臉檢測更有效的特征，并對 AdaBoost 訓練出的強分類(lèi)器進(jìn)行級聯(lián)。這可說(shuō)是人臉檢測史上里程碑式的一筆，也因此當時(shí)提出的這個(gè)算法被稱(chēng)為Viola-Jones 算法。

　　毫無(wú)疑問(wèn)，對于 2001 年計算機還不是那么普及的時(shí)代背景下，能夠創(chuàng )造出針對人臉的識別算法雖有其開(kāi)創(chuàng )性的意義，但是該算法太過(guò)粗糙，采用的特征點(diǎn)數量太小，因此容易造成誤判，或者是被干擾的狀況。

　　也因為這個(gè)問(wèn)題，蘋(píng)果不敢貿然把臉部識別的功能放到產(chǎn)品中，畢竟誤判率太高，對產(chǎn)品的使用體驗會(huì )是嚴重傷害。

　　圖丨三星面部識別

　　但還是有不少“勇敢”的廠(chǎng)商直接把這種臉部識別技術(shù)做到產(chǎn)品中：比如說(shuō)，微軟的 Surface 平板，以及三星的 Galaxy 手機和平板，早在 2016 年就先后強調其集成在產(chǎn)品中的臉部識別功能。理所當然的，其識別出錯機率高不說(shuō)，只要拍張賬號所有人的臉部照片，就可以打印出來(lái)讓機器識別，并可認證通過(guò)——可以想象，這樣的安全性表現，自然過(guò)不了蘋(píng)果對產(chǎn)品要求的基本門(mén)坎。

　　但到了 iOS 8，CIDetector 這個(gè)功能類(lèi)又增加了針對條形碼、物體形狀以及文本的識別能力，用的都還是同一套計算邏輯。人臉識別的功能依舊保留，但只用在非關(guān)鍵的照相或者是圖片處理上，并且通過(guò) GPU 加速來(lái)增加其識別效率。

　　在這時(shí)，CIDetector 的人臉識別功能最主要是用來(lái)判斷“是不是人臉”，而不是判別出“這是誰(shuí)的臉”，離現在的 Face ID 功能還有相當遙遠的距離，反而在條形碼判讀方面的應用還比較廣，而其對象識別能力，亦逐漸被用在 AR 功能上。

　　無(wú)論如何，可以見(jiàn)得蘋(píng)果對于新興技術(shù)的運用相當謹慎，至今也是如此。不久前，《麻省理工科技評論》曾對蘋(píng)果現任CEO蒂姆·庫克 (TimCook)進(jìn)行了專(zhuān)訪(fǎng)。當被問(wèn)及如何看待很多人認為蘋(píng)果在A(yíng)I領(lǐng)域正在落后于谷歌、微軟、亞馬遜等公司，他的回答是：“不僅僅是人工智能，其他方面也是一樣。大家經(jīng)常把我們正在賣(mài)的東西跟別人規劃的東西做比較。很多人賣(mài)的是概念，他們有他們的理由，我沒(méi)有批評誰(shuí)的意思，只是我們不這么做?！?/p>

　　"消費者是不會(huì )在意整合進(jìn)產(chǎn)品的機器學(xué)習技術(shù)，他們甚至都不知道這種技術(shù)的存在。而恰恰是有了機器學(xué)習，iPhone的電池續航時(shí)間更長(cháng)。其實(shí)iPhone里有一大堆東西都會(huì )讓你感覺(jué)‘哦，原來(lái)那也是機器學(xué)習啊’。我們從來(lái)不覺(jué)得需要告訴消費者我們的產(chǎn)品里有哪些用到了機器學(xué)習，因為這不是消費者最關(guān)心的。我們關(guān)心，因為我們在技術(shù)領(lǐng)域工作，但用戶(hù)不在乎，他們只在乎好不好用。"

　　云端 AI 牽扯到隱私問(wèn)題，蘋(píng)果轉而尋求終端解法

　　到了 2014 年，蘋(píng)果看到深度學(xué)習在大型計算平臺上的應用已經(jīng)越來(lái)越成熟，進(jìn)而想到了逐漸實(shí)用化的深度學(xué)習在移動(dòng)平臺應該同樣有著(zhù)極高的應用潛力，研發(fā)人員產(chǎn)生了一個(gè)想法：如果把深度學(xué)習放在手機上，那是不是可以做到更酷炫、更精確的識別功能?

　　然而，理想很豐滿(mǎn)，但現實(shí)很骨感。先不論現在的手機已經(jīng)逐漸集成用來(lái)處理 AI 計算的專(zhuān)用處理單元，比如說(shuō)華為在麒麟 970 使用的 NPU，2014 年的手機芯片計算性能非常羸弱，不堪作為深度學(xué)習的視覺(jué)模型計算平臺。

　　當時(shí)行業(yè)里如果要做到 AI 功能，通常都是通過(guò)云端 API 提供相關(guān)的深度學(xué)習方案。如果使用基于云的深度學(xué)習方案，那么諸如臉孔識別，就可以通過(guò)手機收集臉孔圖像，然后發(fā)送至云端來(lái)進(jìn)行學(xué)習以檢測人臉。這些基于云的服務(wù)通常使用強大的桌面級 GPU 架構，并且同時(shí)使用了龐大的內存。通過(guò)這些云服務(wù)設備，手機這樣的終端也能使用深度學(xué)習來(lái)解決問(wèn)題。

　　但這又產(chǎn)生了另一個(gè)問(wèn)題，蘋(píng)果的 iCloud 受到嚴格的隱私與數據使用限制，所以 iCloud 上雖然存在龐大的照片數據，但這些數據都不能被用來(lái)進(jìn)行深度學(xué)習。理論上發(fā)送到 iCloud 的照片和視頻都會(huì )再發(fā)送到云存儲設備前先經(jīng)過(guò)加密，并且只能通過(guò)注冊到 iCloud 的賬戶(hù)來(lái)進(jìn)行解密，所以，要進(jìn)行深度學(xué)習，蘋(píng)果只能選擇在手機上直接進(jìn)行相關(guān)計算，而不是在云端處理。

　　也正因為此，挑戰就來(lái)了：要在 iPhone 上進(jìn)行深度學(xué)習，就必須占用相當龐大且珍貴的 NAND 存儲空間，且學(xué)習時(shí)必須將整個(gè)數據庫都加載到內存中，并且耗用大量的 CPU 或 GPU 計算能力。

　　另外，與基于云計算的服務(wù)不同，云計算的資源只需要專(zhuān)注于視覺(jué)問(wèn)題，反觀(guān)終端設備上的深度學(xué)習計算必須與其它正在運行的應用程序共享系統資源。最后，這些計算必須獲得足夠高效的處理，要能在相當短的時(shí)間內處理龐大的照片庫，且不能帶來(lái)顯著(zhù)的功耗或熱量增加。

　　用 OverFeat 深度學(xué)習算法取代傳統 Viola-Jones 的特征識別方式

　　2014 年蘋(píng)果的研發(fā)人員開(kāi)始探討如何通過(guò)深度學(xué)習來(lái)檢測圖像中的人臉時(shí)，深度卷積網(wǎng)絡(luò ) (DCN)其實(shí)才剛剛開(kāi)始在物體檢測上有所發(fā)揮，并產(chǎn)生相當可靠的結果。而 DCN 算法中，最突出的是一種名為“OverFeat”的作法，靠由相對簡(jiǎn)單的邏輯，可以達到相當有效且可靠的圖像描繪結果。

　　研發(fā)人員使用了基于 OverFeat 論文中的見(jiàn)解來(lái)架構最初的 Face ID 里面的人臉識別算法，并以之建立了一個(gè)完整的卷積網(wǎng)絡(luò )，靠以達成兩個(gè)任務(wù)目標：

　　1. 使用二進(jìn)制分類(lèi)來(lái)預測輸入數據中臉部的存在與否。

　　2. 預測邊界框架的參數回歸，靠以更好的定位輸入中的臉部數據。

　　研究人員使用了幾個(gè)訓練這種網(wǎng)絡(luò )的方法：

　　最簡(jiǎn)單的訓練過(guò)程是創(chuàng )建一個(gè)固定大小圖像塊的大數據集，該圖像對應網(wǎng)絡(luò )的最小單一有效輸入，靠以?xún)?yōu)化整個(gè)網(wǎng)絡(luò )算法的多任務(wù)目標計算能力。訓練的數據集代表了理想狀態(tài)下的學(xué)習判讀過(guò)程，研發(fā)人員靠此判斷整個(gè)網(wǎng)絡(luò )的計算潛力以及彈性，并針對更多不同的可能性來(lái)調整網(wǎng)絡(luò )的參數。而訓練完畢之后，網(wǎng)絡(luò )就能夠預測任一圖像中是否包含了人臉，如果判斷為是，那它還能指出人臉在圖像中的坐標和比例。

　　圖丨蘋(píng)果研發(fā)人員優(yōu)化過(guò)的人臉識別 DCN 網(wǎng)絡(luò )結構

　　由于網(wǎng)絡(luò )是完全卷積的，所以能夠高效的處理任意大小的圖像，并且生成 2D 輸出對應地圖。而對應地圖上的每個(gè)點(diǎn)都可對應到輸入圖像中的任何區塊，而這些點(diǎn)也包含了來(lái)自網(wǎng)絡(luò )中，對于該圖塊是否存在人臉以及該人臉在圖塊中的相對位置和比例的預測。

　　當我們完整定義網(wǎng)絡(luò )后，就可建立標準的處理流水線(xiàn)來(lái)執行人臉檢測，這個(gè)流水線(xiàn)里面包含了多尺度的圖像金字塔、人臉檢測器以及后處理模塊等三大部分。多尺度的金字塔主要是用來(lái)處理各種尺寸的臉孔。當收集到臉孔數據，我們把網(wǎng)絡(luò )應用到金字塔的每個(gè)不同尺度級別，并從每一層收集候選檢測資料。后處理模塊則是用來(lái)把這些檢測結果跨度進(jìn)行組合，靠以產(chǎn)生對網(wǎng)絡(luò )映對圖像中，臉部檢測的最終預測邊界框的列表。

　　圖丨使用 DCN 卷積網(wǎng)絡(luò )建立出來(lái)的人臉檢測流水線(xiàn)

　打造基于深度學(xué)習計算的 OpenML，創(chuàng )造人臉識別的基礎平臺 Vision

　　雖然蘋(píng)果過(guò)去為其終端設備設計了不少針對圖像處理的 API，比如說(shuō)前面提到的 Core Image，但這些基于舊世代邏輯的 API，其實(shí)已經(jīng)無(wú)法很好的應對未來(lái)復雜應用的計算需求，而因為深度學(xué)習的應用不論在云端或者是終端已經(jīng)是不可避免的趨勢，所以蘋(píng)果研發(fā)人員推出了OpenML這個(gè)深度學(xué)習開(kāi)發(fā)環(huán)境，以及Vision這個(gè)針對深度學(xué)習優(yōu)化的圖像成像信道。

　　憑借 Vision，開(kāi)發(fā)人員大部分的基本圖形操作可以自動(dòng)完成。另外，在內存耗用以及功耗表現方面，尤其是流媒體，以及圖像捕捉過(guò)程，內存的占用過(guò)去一直是個(gè)懸而未決的問(wèn)題。隨著(zhù)攝影鏡頭的照相解析能力越來(lái)越高，其所能捕獲的圖像質(zhì)量以及容量需求也不斷增加。研發(fā)人員通過(guò)部分二次采樣解碼以及自動(dòng)平鋪技術(shù)來(lái)解決內存占用過(guò)高的問(wèn)題，因此，機器視覺(jué)可以被應用到各種圖像中，即便是全景照片這種非常規高寬比的大型圖像也能順利工作。

　　Vision 也能妥善且有效率的使用中間體來(lái)優(yōu)化圖像識別的工作。諸如人臉識別，或者是人臉標志檢測的工作都可以通過(guò)相通的中間體來(lái)加以處理。研發(fā)人員把相關(guān)算法的接口抽象出來(lái)，找到要處理的圖像或緩沖區的所有權位置后，Vision 就可以自動(dòng)創(chuàng )件以及緩存中間圖像，靠以提高相關(guān)的視覺(jué)任務(wù)計算性能。

師徒制神經(jīng)網(wǎng)絡(luò )訓練法解決過(guò)高的系統資源占用問(wèn)題

　　Vision 的人臉檢測工作也需要大量的 GPU 計算，但 GPU 本身是一種相當耗電的架構，且計算過(guò)程中也會(huì )占用一定的內存空間。為了減少內存的占用，研發(fā)人員通過(guò)分析計算圖來(lái)分配神經(jīng)網(wǎng)絡(luò )的珠間曾，靠以讓多個(gè)圖層能夠對應到同一個(gè)緩沖區。這個(gè)技術(shù)能夠減少內存占用，且不會(huì )明顯影響性能，并且可在 CPU 或是 GPU 上進(jìn)行處理，兼顧了效率和彈性表現。

　　為了確保深層神經(jīng)網(wǎng)絡(luò )在后臺運行時(shí)，前臺的系統操作流暢性仍能維持一致，研發(fā)人員更將網(wǎng)絡(luò )的每一層分割 GPU 工作，直到每個(gè)工作線(xiàn)程的占用的 CPU 時(shí)間都少于1 毫秒，讓操作系統可以快速將應用情境切換到優(yōu)先級更高的任務(wù)上，比如說(shuō) UI 動(dòng)畫(huà)的處理，靠以確保使用者得到的使用體驗仍能維持一致。

　　研發(fā)人員雖靠由 Vision 建立起基本的神經(jīng)網(wǎng)絡(luò )。然而網(wǎng)絡(luò )復雜度和規模仍是要把這個(gè)網(wǎng)絡(luò )放到計算資源有限的終端設備上的最大挑戰。為了克服這個(gè)挑戰，研發(fā)人員必須把網(wǎng)絡(luò )限制在相對簡(jiǎn)單的拓樸結構中，而且網(wǎng)絡(luò )層數、信道數量以及卷積濾波器的內核大小也要受到限制。

　　這是個(gè)兩難的問(wèn)題，如果網(wǎng)絡(luò )規模太小，那就不足以構成可以快速判斷圖像的流水線(xiàn)，但太大，性能又會(huì )受到手機硬件的計算性能限制，導致反應遲緩，且功耗和發(fā)熱會(huì )嚴重影響使用體驗。事實(shí)上，不論怎么嘗試，當時(shí)要把整個(gè)神經(jīng)網(wǎng)絡(luò )搭載到僅僅只有 1GB 的手機內存，可說(shuō)是完全不可能的任務(wù)。

　　研發(fā)人員最終采用了類(lèi)似“師生”的培訓方法，也就是使用 1 個(gè)具有完整規模的“大師”網(wǎng)絡(luò )，以之來(lái)訓練另 1 個(gè)較小，且層數較少的“學(xué)生”網(wǎng)絡(luò )，靠由這個(gè)訓練，最終只具備簡(jiǎn)單卷積網(wǎng)絡(luò )結構的學(xué)生網(wǎng)絡(luò )，也能呈現出極為接近大師網(wǎng)絡(luò )的識別結果。最終，把神經(jīng)網(wǎng)絡(luò )放到手機上的計劃終于獲得實(shí)現。

　　結合 Neural Engine 芯片，GPU 和 CPU 更可專(zhuān)注于使用體驗的改善

　　開(kāi)發(fā)了 3 年的 Vision 成為蘋(píng)果在今年的 WWDC 發(fā)表泛用 AI 的機器學(xué)習框架 OpenML 的重要部件之一，而除了 Vision 以外，還加入了用于協(xié)助自然語(yǔ)言處理的 Fundation 、及讓游戲開(kāi)發(fā)商可以在游戲中導入 AI 的 GameplayKit 等三大應用框架，這些開(kāi)發(fā)環(huán)境也都用上了深度學(xué)習技術(shù)。

　　雖然通過(guò) OpenML，可以妥善利用 GPU 和 CPU 的計算性能，達到不錯的深度學(xué)習性能，但蘋(píng)果并不滿(mǎn)足于現況，并認為要達到最好的使用體驗，就必須加入專(zhuān)用的深度學(xué)習硬件，這么一來(lái)不但可以增加神經(jīng)網(wǎng)絡(luò )的規模，強化識別的正確性，同時(shí)也不會(huì )造成系統的延遲，而這也就是蘋(píng)果為何要與 Vision 同步研發(fā) A11 內建 Neuro Engine 的主要原因。

　　憑借 Neuro Engine，所有深度學(xué)習相關(guān)的工作都可通過(guò)這個(gè)專(zhuān)屬的核心來(lái)進(jìn)行處理，CPU 和 GPU 可以專(zhuān)注進(jìn)行前臺任務(wù)，不會(huì )被后臺的任務(wù)所干擾，比過(guò)去所有的架構都更有效率，使用此計算架構加速的 Face ID，也表現出極高的識別速度以及正確性。Neural Engine 可做到每秒鐘六億次的操作效率，也就是0.6TOPS，在其功耗限制的條件下能做到這樣的效能輸出，其實(shí)已經(jīng)算是業(yè)界數一數二了。

　　而作為蘋(píng)果軟硬生態(tài)未來(lái)不可缺的一部份，Neural Engine 也將會(huì )在整個(gè)蘋(píng)果終端的開(kāi)發(fā)環(huán)境中占有非常重要的地位，不僅是目前的圖像識別或臉孔識別工作，未來(lái)在 AR 或 VR 圖像的繪制或迭加到真實(shí)世界的處理，肯定都會(huì )發(fā)揮其增進(jìn)深度學(xué)習計算效能，并優(yōu)化整體系統功耗表現，靠此更加強化蘋(píng)果在相關(guān)應用的使用體驗。