中國團隊奪得全球權威人臉識別測試第一名
在最近公布的國際權威人臉識別供應商測試 FRVT(Face Recognition Vendor Test)結果中,中國公司依圖科技獲得了四項測試的第一名,超過(guò)了俄羅斯公司 Vocord(Vocord 是國際老牌安防廠(chǎng)商,長(cháng)久以來(lái)超越 Google 等公司盤(pán)踞人臉識別算法第一名)。
本文引用地址:http://dyxdggzs.com/article/201707/361792.htmFRVT 是由美國國家標準技術(shù)局 NIST(National Institute of Standards and Technology) 組織的人臉識別供應商測試,作為美國國家采購的官方指導,其測試的權威性是全球工業(yè)界實(shí)際應用的黃金標準。

FRVT 的人臉識別測試集合來(lái)自美國國土安全局的真實(shí)業(yè)務(wù)場(chǎng)景,例如出入境、刑偵過(guò)程中收集的大量照片。與時(shí)下熱門(mén)的由學(xué)術(shù)機構舉辦的 LFW、MegaFace 測試相比,FRVT 更貼近實(shí)戰,測試規模更大,不僅擁有百萬(wàn)量級測試數據,同時(shí)這些測試數據均不公開(kāi),有效避免算法過(guò)擬合甚至是作弊手段。

表一:主流的人臉識別測試場(chǎng)景、測試集、指標比較

表二: 在三個(gè)測試集上代表廠(chǎng)商成績(jì)比較。安防廠(chǎng)商??低曃窗l(fā)布公開(kāi)測試成績(jì)。
LFW 是由美國馬薩諸塞大學(xué)發(fā)布并維護的公開(kāi)人臉數據集,測試數據規模為萬(wàn),國內多個(gè)團隊例如百度、騰訊、大華、曠視、商湯都曾獲得了 99.5% 以上的成績(jì)。
MegaFace 是由美國華盛頓大學(xué)發(fā)布并維護的公開(kāi)人臉數據集,測試規模比 LFW 大 100 倍,更能區分各個(gè)算法的性能差異。第一名是創(chuàng )立于 1999 年的老牌俄羅斯公司 Vocord,獲得 91.7% 的成績(jì),比第二名騰訊優(yōu)圖高出 8%。
在頂級的競爭中,數據和計算的優(yōu)勢并不能保證輸出最優(yōu)秀的算法性能。
由美國國家標準技術(shù)局(NIST)主持的 FRVT,除了主持機構的權威性外,測試結果的權威性還來(lái)自其評測的嚴謹和全面性:
1、數據均來(lái)自真實(shí)業(yè)務(wù)場(chǎng)景,測試結果好則代表該技術(shù)可以在實(shí)戰場(chǎng)景中直接應用。
2、數據規模是通過(guò)對百億對樣本采樣,達到百萬(wàn)量級。如此大規模的測試集可以穩定評估算法性能,詳細區分不同算法的優(yōu)劣。
3、測試數據不公開(kāi) (盲測),這保證了測試的公正性。因為參賽的算法團隊無(wú)法利用測試數據做模型訓練,可以有效避免過(guò)擬合或直接作弊等手段,因此相對于 LFW、MegaFace 而言,FRVT 則更能體現測試的公正性。
4、科學(xué)專(zhuān)業(yè)性,FRVT 對不同實(shí)戰場(chǎng)景、人種、年齡、性別,做了詳細分解下的識別性能比較,并在模型速度、特征庫大小、比對閾值等做了詳細評估。
這是目前為止全球公開(kāi)的、最大規模測試集、最權威測試指標下的最好成績(jì),比2014年參與同樣測試的第一名日本公司NEC在準確率上有大幅提高。
NIST 針對測試作了不同場(chǎng)景、不同人種、不同性別、不同年齡的識別性能比較。從 FRVT 的官方描述來(lái)看,其提供的測試數據對應了出入境管理、身份門(mén)禁認證、平安城市監控等實(shí)戰應用場(chǎng)景,依圖在四項主要的測試場(chǎng)景中均獲得第一名。
在更詳細的人種(黑人、白人、亞洲人等)、性別比較中,依圖的算法表現幾乎沒(méi)有差異;而其他算法隨著(zhù)識別難度增加,識別率出現了不同程度的較大降低。對比結果說(shuō)明依圖的算法可以在不同類(lèi)型數據分布的實(shí)用場(chǎng)景中,例如黑人較多的場(chǎng)景下,算法也可有穩定表現。
智能萬(wàn)倍增長(cháng)
過(guò)去四年,從 LFW 到 FRVT,測試指標已經(jīng)從千分之一誤報到千萬(wàn)分之一誤報,識別性能已經(jīng)提高一萬(wàn)倍,意味著(zhù)誤報降低萬(wàn)倍??梢灶A見(jiàn),很快就會(huì )出現測試指標在億分之一、十億分之一、百億分之一誤報下的識別性能比較,這將是另一個(gè)千倍的智能識別能力的增長(cháng)。
可以想象,在十億級超大規模比對、十億分之一超低誤報下的高識別性能,意味著(zhù)智能技術(shù)將解鎖更多的應用場(chǎng)景,從樓宇建筑到城市量級,甚至多城聯(lián)動(dòng),再到全國范圍內的人臉比對、安防布控都將成為可能。
筆者就此事特別采訪(fǎng)了依圖科技 CEO 朱瓏,朱瓏說(shuō):「NIST 是工業(yè)界最權威的測試,有最直接的應用指導價(jià)值。從測試的結果來(lái)說(shuō),有兩個(gè)意義: 我們可以平靜的接受,來(lái)自中國的算法技術(shù)超過(guò)全球的競爭對手;更大的意義在于,掌握標準制定話(huà)語(yǔ)權和實(shí)際全球影響力的美國國家標準技術(shù)局,已經(jīng)顯得『沒(méi)見(jiàn)過(guò)世面』,千萬(wàn)分之一的誤報下的識別率并不能拉開(kāi)我們和第二名的差距,我們的算法已經(jīng)在 10 億分之一的誤報下達到超過(guò) 90% 的識別率。希望將來(lái),國際主流學(xué)術(shù)機構能接受,只有中國參與的標準測試,才反映全球最前沿的技術(shù)理解?!?/p>

評論