研究人員用“成員推斷攻擊”檢索大模型知識庫，攻擊精度達到80%

知識檢索增強系統，是已被用于大模型的技術(shù)之一，能有效解決大模型存在的知識更新不及時(shí)和幻覺(jué)等問(wèn)題。

知識檢索增強的存在使得大模型無(wú)需通過(guò)模型訓練來(lái)適應下游任務(wù)，而是能夠通過(guò)一個(gè)外掛的知識庫，檢索與用戶(hù)所提的問(wèn)題最相關(guān)的文本，并將這些文本集成為大模型的輸入，從而優(yōu)化模型生成的內容。

想象一下，知識檢索增強就像是給 AI 裝上了一個(gè)超級圖書(shū)館。當我們向 AI 提問(wèn)時(shí)，它不需要把所有知識都記在“大腦”里，而是在這個(gè)“圖書(shū)館”中快速查找最相關(guān)的信息，然后基于這些信息給出回答。

然而，知識檢索增強雖然實(shí)用并且使用門(mén)檻較低，但也同樣帶來(lái)了風(fēng)險。

已有研究表明，只需向知識檢索增強的知識庫中注入一些有害信息，就能誘導大模型產(chǎn)生不當的回答?？梢?jiàn)知識檢索增強系統本身并不安全。

更令人擔憂(yōu)的是：知識檢索增強系統的知識庫本身安全嗎？知識庫中的信息通常是私有的，會(huì )不會(huì )存在被泄露的風(fēng)險？

想象一下，在醫療領(lǐng)域，知識檢索增強系統的知識庫里可能包含大量的醫療問(wèn)答數據。一旦這些信息被泄露，病人的隱私就會(huì )受到嚴重威脅。

因此，知識檢索增強的數據安全尤為重要，但在此前只有來(lái)自于 IBM 研究實(shí)驗室和南洋理工大學(xué)的研究人員關(guān)注這個(gè)問(wèn)題。

為了驗證這些問(wèn)題，近期有研究人員設計了一種新的算法，旨在通過(guò)成員推斷攻擊（MIA，Membership Inference Attack）來(lái)判斷知識檢索增強系統的知識庫中所存儲的信息。

成員推斷攻擊，是用來(lái)測試模型隱私性的一種通用技術(shù)。它的工作原理可以理解為是在玩一個(gè)猜謎游戲：通過(guò)觀(guān)察模型的損失值、置信度、困惑度等信息，來(lái)推測它是否“見(jiàn)過(guò)”某個(gè)樣本。

但是，傳統的成員推斷攻擊主要針對那些參數化的 AI 模型，并不適用于知識檢索增強這樣非參數化系統。

而該團隊提出的新算法僅通過(guò)一個(gè)黑盒的應用程序編程接口（API，Application Programming Interface），無(wú)需介入模型訓練過(guò)程，也無(wú)需知道模型內部信息。僅通過(guò)模型輸出就能有效判斷某個(gè)信息是否存在于知識檢索增強的知識庫中。

具體來(lái)說(shuō)，課題組將用戶(hù)的輸入文本劃分為兩部分。前半部分作為 prompt，使得知識檢索增強系統能檢索與 prompt 最相關(guān)的信息并生成輸出文本。

假如輸入文本存在于知識庫中，模型生成的內容會(huì )與輸入文本非常相似，且生成文本的困惑度更低。

因此，他們通過(guò)輸入文本和輸出文本的相似度以及模型生成的困惑度作為評判標準，來(lái)判斷輸入文本是否存在于知識庫中。

實(shí)驗結果顯示，本次方法能夠達到 80% 以上的攻擊精度，證明知識檢索增強系統的知識庫的確存在隱私泄露的風(fēng)險。

圖 | 相關(guān)論文（來(lái)源：arXiv）

日前，相關(guān)論文以《眼見(jiàn)為信：針對檢索增強生成模型的“黑盒”會(huì )員推斷攻擊》（SEEING IS BELIEVING: BLACK-BOX MEMBERSHIP INFERENCE ATTACKS AGAINST RETRIEVAL AUGMENTED GENERATION）為題發(fā)在 arXiv[1]。

湖北大學(xué)人工智能學(xué)院楊洋副教授與國家級人才計劃專(zhuān)家程力教授課題組碩士生李鈺穎是論文第一作者，本論文在劉高揚博士和楊洋副教授的指導下完成。

圖 | 李鈺穎（來(lái)源：李鈺穎）

在應用前景上：

其一，本次研究證明知識檢索增強系統知識庫存在隱私泄露的風(fēng)險，這有望推動(dòng)科技公司重新審視他們的知識檢索增強系統，以便更加地重視用戶(hù)隱私。

因此，這可能會(huì )催生出一系列新的安全協(xié)議和行業(yè)標準，讓 AI 變得更加可信。

其二，本次研究有望提供一種數據確權的新方法。在數字時(shí)代，數據就是新的石油。但是，如何證明數據的所屬權？

現有研究只能對模型的預訓練數據進(jìn)行確權，但本次成果有望對知識檢索增強知識庫中的數據進(jìn)行確權。

在未來(lái)，這可能會(huì )成為數據版權保護的新方法，讓數據所有者能更好地維護自己的權益。

其三，隨著(zhù)《數據安全法》的實(shí)施和相關(guān)法律法規的出臺，本次成果可能成為一個(gè)重要的取證手段，在數字世界的法律糾紛中發(fā)揮關(guān)鍵作用。

例如，在未來(lái)的知識產(chǎn)權糾紛中，本次成果可能會(huì )被用來(lái)證明某個(gè)模型是否使用了受保護的數據。

其四，隨著(zhù)人們對隱私保護的意識日益增強，本次成果可能會(huì )衍生出一些個(gè)人使用的數據管理工具。

想象一下，未來(lái)人們可以用一個(gè) APP 來(lái)檢測個(gè)人信息是否被不當用于 AI 系統，以增強個(gè)人對隱私數據的控制力。

其五，本次成果也可能被用來(lái)對 AI 系統進(jìn)行“健康檢查”。公司和機構可以定期使用這種技術(shù)對知識檢索增強系統進(jìn)行審核，確保沒(méi)有意外泄露用戶(hù)信息或存儲不當數據。

（來(lái)源：arXiv）

目前，課題組已經(jīng)設計出一套攻擊方案，并證明了該方案的可行性。但是，這一系列研究不會(huì )止步于此。

目前的工作已經(jīng)揭示了基于大模型及其各種應用系統存在的數據安全隱患，但關(guān)于這些隱患的成因，目前尚無(wú)公認的結果。

眼下該團隊正在加緊研究大模型內部的機制，尤其是在模型的記憶和正向推理過(guò)程中，重點(diǎn)分析信息流動(dòng)和處理的關(guān)鍵環(huán)節，深入研究可能導致隱私泄露的薄弱環(huán)節。

同時(shí)，課題組正在探究模型信息回溯和信息整合的內在機理，為從根本上解決大模型數據隱私安全問(wèn)題提供扎實(shí)的理論和實(shí)踐基礎。

研究人員表示：“本工作由湖北大學(xué)人工智能學(xué)院、智能感知系統與安全教育部重點(diǎn)實(shí)驗室以及華中科技大學(xué)電子信息與通信學(xué)院、智能互聯(lián)網(wǎng)技術(shù)湖北省重點(diǎn)實(shí)驗室聯(lián)合發(fā)布，該成果將先推廣至國家電網(wǎng)等信息安全敏感單位，目前正在洽談中?！?/span>