人臉識別精度提升 | 基于Transformer的人臉識別

現階段的人臉檢測識別技術(shù)已經(jīng)特別成熟，不管在什么領(lǐng)域都有特別成熟的應用，比如：無(wú)人超市、車(chē)站檢測、犯人抓捕以及行跡追蹤等應用。但是，大多數應用都是基于大量數據的基礎，成本還是非常昂貴。所以人臉識別的精度還是需要進(jìn)一步提升，那就要繼續優(yōu)化更好的人臉識別框架。

論文：https://arxiv.org/pdf/2103.14803.pdf

一、技術(shù)回顧——Transformer

相比于卷積，Transformer有什么區別，優(yōu)勢在哪？

卷積有很強的歸納偏見(jiàn)（例如局部連接性和平移不變性），雖然對于一些比較小的訓練集來(lái)說(shuō)，這毫無(wú)疑問(wèn)是有效的，但是當我們有了非常充足的數據集時(shí)，這些會(huì )限制模型的表達能力。與CNN相比，Transformer的歸納偏見(jiàn)更少，這使得他們能夠表達的范圍更廣，從而更加適用于非常大的數據集；

卷積核是專(zhuān)門(mén)設計用來(lái)捕捉局部的時(shí)空信息，它們不能夠對感受野之外的依賴(lài)性進(jìn)行建模。雖然將卷積進(jìn)行堆疊，加深網(wǎng)絡(luò )會(huì )擴大感受野，但是這些策略通過(guò)聚集很短范圍內的信息的方式，仍然會(huì )限制長(cháng)期以來(lái)的建模。與之相反，自注意力機制通過(guò)直接比較在所有時(shí)空位置上的特征，可以被用來(lái)捕捉局部和全局的長(cháng)范圍內的依賴(lài)；

當應用于高清的長(cháng)視頻時(shí)，訓練深度CNN網(wǎng)絡(luò )非常耗費計算資源。目前有研究發(fā)現，在靜止圖像的領(lǐng)域中，Transformer訓練和推導要比CNN更快。使得能夠使用相同的計算資源來(lái)訓練擬合能力更強的網(wǎng)絡(luò )。

二、簡(jiǎn)要

最近，人們不僅對Transformer的NLP，而且對計算機視覺(jué)也越來(lái)越感興趣。我們想知道Transformer是否可以用于人臉識別，以及它是否比cnns更好。

因此，有研究者研究了Transformer模型在人臉識別中的性能?？紤]到原始Transformer可能忽略inter-patch信息，研究者修改了patch生成過(guò)程，使相互重疊的滑動(dòng)塊成為標識。這些模型在CASIA-WebFace和MSSeleb-1M數據庫上進(jìn)行訓練，并在幾個(gè)主流基準上進(jìn)行評估，包括LFW、SLLFW、CALFW、CPLFW、TALFW、CFP-FP、AGEDB和IJB-C數據庫。研究者證明了在大規模數據庫MS-Celeb-1M上訓練的人臉Transformer模型實(shí)現了與CNN具有參數和MACs相似數量的CNN相似的性能。

二、FACE TRANSFORMER

2.1 網(wǎng)絡(luò )框架愛(ài)

人臉Transformer模型采用ViT[A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly et al., “An image is worth 16x16 words: Transformers for image recognition at scale,” arXiv preprint arXiv:2010.11929]體系結構，采用原Transformer。唯一的區別是，研究者修改了ViT的標記生成方法，以生成具有滑動(dòng)塊的標記，即使圖像塊重疊，以便更好地描述塊間信息，如下圖所示。

具體地說(shuō)，從圖像

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。