人臉識別出錯導致無(wú)辜路人被捕，但被AI冤枉過(guò)的可能不只他一個(gè)

　　美國一名男子被 AI 列為一起盜竊案的嫌疑人。盡管調查報告明確指出，人臉識別匹配只能作為調查線(xiàn)索，不是明確證據，當地警方仍然將他逮捕。這是已知的第一宗在美國發(fā)生的同類(lèi)案件，但他可能未必是第一個(gè)被冤枉的人。

圖片來(lái)源：Sarah Grillo / Axios

　　對于威廉姆斯（Robert Julian-Borchak Williams）來(lái)說(shuō)，今年 1 月糟糕的部分不只有新冠疫情的出現，還有一通來(lái)自警察局的電話(huà)。

　　那通電話(huà)的到來(lái)，讓這位非裔美國人成為目前被公開(kāi)的第一位被機器錯誤定罪的無(wú)辜者。

一通意外的電話(huà)

　　威廉姆斯是密歇根州底特律的一名上班族。2020 年 1 月某個(gè)周四下午，正在公司上班的他接到了底特律警察局的電話(huà)，并被要求投案自首。

　　剛開(kāi)始他對電話(huà)的內容不以為然，直到接到電話(huà)的一小時(shí)后，他在住宅區的車(chē)道上被一輛警車(chē)截停。在妻子和兩個(gè)年幼的女兒面前，兩名警察對他戴上手銬，沒(méi)有說(shuō)明為什么逮捕他，只是出示了一張有他照片的并寫(xiě)有“盜竊罪”的“重罪逮捕令”。

威廉姆斯（Robert Julian-Borchak Williams），本文主人公 圖片出處：美國民權自由聯(lián)盟，ACLU

　　隨后，威廉姆斯經(jīng)歷的便是對待“盜竊犯”的例行流程：在拘留中心拍了嫌疑犯照片，被提取了指紋和 DNA，并拘留一晚。

　　在審訊室，兩名警探向他詢(xún)問(wèn)起 Shinola 商店被盜的事情，威廉姆斯才知道發(fā)生了什么。

　　Shinola 是當地的一家高檔精品店，銷(xiāo)售手表、自行車(chē)和皮革制品。2018 年 10 月，該店 5 只價(jià)值 3800 美元的手表被盜。

　　審訊中，警探拿出一張監控視頻的截圖，顯示一名身材魁梧的男子站在一塊手表前，身穿黑色衣服，頭戴圣路易斯紅雀隊的紅色帽子。警察懷疑，威廉姆斯就是照片中的犯罪嫌疑人。

　　“這是你嗎？”警察問(wèn)。

　　“這不是我。你以為所有的黑人都長(cháng)得一樣嗎？”威廉姆斯說(shuō)。

　　威廉姆斯承認，2014 年這家店剛開(kāi)張時(shí)，他和妻子去過(guò)此地，但威廉姆斯知道自己沒(méi)有盜竊?？傻滋芈删炀值?a class="contentlabel" href="http://dyxdggzs.com/news/listbylabel/label/人臉識別">人臉識別算法并不這么認為。在威廉姆斯這起案子中，正是人臉識別算法將他與 Shinola 的盜竊案聯(lián)系到了一起。

“西海岸頭號人臉識別  供應商”浮出水面

　　公開(kāi)報道顯示，底特律的警察部門(mén)已有數十年的人臉管理系統使用歷史。

　　而且，不止底特律警察局，整個(gè)密歇根州警方都在使用人臉識別技術(shù)，由一家名為 DataWorks Plus 的公司提供。

　　這家公司成立于 2000 年，本身并不直接開(kāi)發(fā)面部識別軟件，而是為執法機構開(kāi)發(fā)自定義工具和系統，例如可用于分析警方數據（比如面部識別和指紋匹配）的工具。罪犯面部數據庫“加州面部識別互聯(lián)”（California Facial Recognition Interconnect）是這家公司的標志性產(chǎn)品之一。

　　2005 年，DataWorks Plus 開(kāi)始擴展產(chǎn)品，增加了外部供應商開(kāi)發(fā)的面部識別組件，主要來(lái)自于 NEC、Rank One 和 Cognitec 三家公司（前兩家是密歇根州使用的人臉識別算法技術(shù)供應商），其在美國執法系統中的市場(chǎng)份額進(jìn)一步擴大，業(yè)內還稱(chēng)其為“西海岸頭號人臉識別供應商”。

　　當外部供應商開(kāi)發(fā)出一種識別人臉的算法時(shí)，DataWorks Plus 會(huì )嘗試通過(guò)識別系統已知的低質(zhì)量人物圖像來(lái)判斷其有效性。然而，他們并不會(huì )系統地衡量其中的準確性或偏差。

　　更糟糕的是，這些供應商的人臉識別算法也并不穩定。2019年，NEC、Rank One 的算法曾被納入一項針對 100 多個(gè)面部識別系統的聯(lián)邦研究中，結果發(fā)現其存在一定程度的算法偏見(jiàn)——識別非裔美國人和亞洲人面部的錯誤率是白種人的 10 倍至 100 倍。隨后，Rank One 的首席執行官 Brendan Klare 表示，公司又開(kāi)發(fā)了一種新算法， “縮小了不同人群之間的準確性差異?！?/p>

　　但在威廉姆斯這起案件中，效果并非如此。

　　首先來(lái)看犯罪者的人臉數據是怎么來(lái)的：Shinola 商店被盜事件發(fā)生后，防損公司 Mackinac Partners 的調查員 Katherine Johnston 調取了商店的監控錄像，并向底特律警方發(fā)送了副本。五個(gè)月后，即 2019 年 3 月，密歇根州警察局的數字圖像檢查員 Jennifer Coulson 將錄像視頻中截取的靜止圖像上傳至 DataWorks Plus 人臉識別數據庫。

　　Coulson 對圖像進(jìn)行搜索之后，系統給出了一組生成的圖像和一組匹配度最高的圖像以及匹配度得分。這些圖像中就有威廉姆斯的駕照照片。她將其作為“調查線(xiàn)索報告”發(fā)送給了底特律警察。

　　重點(diǎn)是，該文件頂部用明確寫(xiě)道：“該文件不是明確證據，僅是調查線(xiàn)索，不能因此逮捕人員?！?/p>

“該文件不是明確證據，僅是調查線(xiàn)索，不能因此逮捕人員?！?nbsp;圖片出處：美國民權自由聯(lián)盟，ACLU

　　這也是技術(shù)供應商和執法人員在捍衛人臉識別算法時(shí)始終強調的一點(diǎn)：這僅是該案的一個(gè)線(xiàn)索，而不是強力證據。警察在逮捕威廉姆斯之前，調查人員需要找到其他證據證明他犯了盜竊罪，例如目擊者的證詞，手機中的位置數據或證明他擁有犯罪嫌疑人衣物的證據。

　　令人遺憾的是，根據底特律警方的報告，調查人員并沒(méi)有這么做。

　　他們只是將威廉姆斯的照片和其他 6 張生成的照片交給 Johnston 指認。Johnston 指認了威廉姆斯。

　　據威廉姆斯回憶，當他在審訊室把監控錄像拿穩放在臉旁后，兩名警探還彼此對視了一下，其中一名警探似乎很懊惱，對搭檔說(shuō)：“我想是機器搞錯了?！倍髢扇擞址_(kāi) Shinola 商店里出現的男子照片，這張照片就擺在威廉姆斯駕照的旁邊。威廉姆斯再次指出，他們不是同一個(gè)人。

　　威廉姆斯一直被拘留到周五晚上，被捕后 30 小時(shí)，他以 1，000 美元的個(gè)人保證金獲釋。

　　隨后，威廉姆斯一家聯(lián)系了辯護律師，然而，大多數辯護律師都認為威廉姆斯犯了罪行，并報價(jià)約 7，000 美元才肯為其辯護。威廉姆斯的妻子在密歇根州的美國公民自由聯(lián)盟發(fā)了推文，才引起了大范圍的關(guān)注。

　　美國公民自由聯(lián)盟律師 Phil Mayor 表示：“我們一直在努力敲響人臉識別的警鐘，它如果能夠正常工作也會(huì )威脅隱私，而一旦犯了錯誤則涉及種族歧視。這些事情總在發(fā)生，只是我們沒(méi)有獲知，因為人們通常不會(huì )意識到，自己是糟糕的人臉識別技術(shù)的受害者?！?/p>

　　該聯(lián)盟指出，威廉姆斯是第一宗已知道的在美國發(fā)生的同類(lèi)案件，但威廉斯可能未必是第一個(gè)被冤枉的人。許多人都不知道執法人員利用這種技術(shù)查案，會(huì )無(wú)端把他們列作偵查目標。

圖片來(lái)源：Alex Castro / The Verge

誰(shuí)應該為算法偏見(jiàn)負責？

　　最終，威廉姆斯被證明清白，因為底特律警方核實(shí)了他的不在場(chǎng)證明。

　　但案件的影響仍在持續。這起案件演示了，技術(shù)之缺陷和不合格的執法工作帶來(lái)的糟糕后果。

　　正如威廉姆斯在《華盛頓郵報》撰文講述自己的經(jīng)歷時(shí)所寫(xiě)：“我從未想過(guò)要向女兒解釋為何她們的爸爸會(huì )被警察拘捕。我怎樣向她們說(shuō)，這是因為電腦出錯，但警方仍然只是相信電腦？”

　　在美國，民眾關(guān)于執法中存在種族主義的爭論本來(lái)就長(cháng)期存在：抗議者不僅在抗議個(gè)人官員的行為，還在抗議用來(lái)監視社區和識別犯罪嫌疑人的人臉識別系統存在的種族偏見(jiàn)。

　　MIT 和美國國家標準技術(shù)研究院（NIST）的研究已證實(shí)，現有的人臉識別算法在識別白人上表現相對較好，但對于其他種族人群而言準確性較差，部分原因是其缺乏多樣性數據庫。

　　或許是因為考慮到這一點(diǎn)，去年年底以來(lái)，包括亞馬遜、微軟和 IBM 在內的不少硅谷巨頭紛紛宣布，將停止或暫停為執法部門(mén)提供面部識別服務(wù)。

　　然而，這些舉動(dòng)真的能扭潮水的方向嗎？

　　一方面在于，人臉識別其實(shí)并不是這幾家公司的主營(yíng)業(yè)務(wù)，另一方面，這些聲明很大程度上也只是象征性的。事實(shí)上，美國執法部門(mén)使用的人臉識別技術(shù)往往是由一些不那么家喻戶(hù)曉的公司提供的，比如 Vigilant Solutions、Cognitec、NEC、Rank One Computing 和 Clearview AI 等。只要有需求，總有人會(huì )做這筆生意。

　　喬治敦大學(xué)隱私與技術(shù)中心的律師 Clare Garvie 曾發(fā)表過(guò)一篇有關(guān)政府使用人臉識別系統的文章，她在文章中強調，應禁止使用低質(zhì)量的圖像搜索系統（例如顆粒感強的低精度監控視頻中截取的靜止圖像），并且應對當前投入使用的系統進(jìn)行嚴格的準確性和偏差測試。她說(shuō)：“人臉識別算法有好有壞，執法部門(mén)必須盡可能使用更好的算法?！?/p>

　　還有一個(gè)技術(shù)以外的疑問(wèn)或許更難回答，那就是：當算法難以避免會(huì )出錯，應該向誰(shuí)問(wèn)責？

　　如果算法只是幫助我們更好的娛樂(lè )、工作，這個(gè)問(wèn)題似乎不那么緊迫，可當算法被用到刑偵、醫療中時(shí)，AI 被用于給出錯誤的犯罪者線(xiàn)索、疾病診斷結果時(shí)，這是一個(gè)必須回答的問(wèn)題。

　　關(guān)于這個(gè)問(wèn)題，全球范圍內的從業(yè)者仍在積極地討論之中，目前也形成了一些共識：首先是認識到 AI 的不可解釋性或將長(cháng)期存在，通過(guò)解釋某個(gè)結果如何得出而實(shí)現算法的透明化，在技術(shù)上幾乎不具有實(shí)操性，也會(huì )極大地限制 AI 的應用；基于這一點(diǎn)，可以操作的空間是，在 AI 的行為和決策上盡可能有效透明，例如成立專(zhuān)門(mén)的第三方監管機構、針對不同的場(chǎng)景分層次設置監管等。

　　當然，這些大部分還是初步的討論，對于我們每一個(gè)個(gè)人來(lái)說(shuō)，在這個(gè)關(guān)鍵決策愈發(fā)走向算法驅動(dòng)的世界中，可以做到的就是保持學(xué)習和警惕。