中科大提出統一輸入過(guò)濾框架InFi：首次理論分析可過(guò)濾性，支持全數據模態(tài)

針對模型推理過(guò)程中的輸入冗余，中科大新研究首次從理論角度進(jìn)行了可過(guò)濾性分析，并提出統一的輸入過(guò)濾框架，讓模型推理的資源效率大幅提升。

隨著(zhù)移動(dòng)設備算力的提高和對感知數據進(jìn)行實(shí)時(shí)分析需求的增長(cháng)，以移動(dòng)為中心的人工智能應用愈發(fā)普遍。據估計，2022 年將有超過(guò) 80% 的商用 IoT 項目將包含 AI 應用。然而多數精度最優(yōu)的 AI 模型的計算量過(guò)大，以至于難以在移動(dòng)設備上進(jìn)行高吞吐的推理，甚至當推理任務(wù)被卸載到邊緣或云端服務(wù)器時(shí)其推理效率也難以滿(mǎn)足應用的需求。
冗余的輸入廣泛存在于移動(dòng)為中心的人工智能應用中，將其過(guò)濾是一種有效的提高推理效率的方法?，F有工作分別探索過(guò)兩類(lèi)輸入過(guò)濾機制：推理跳過(guò)和推理重用。其中推理跳過(guò)方法旨在跳過(guò)那些不會(huì )產(chǎn)生有意義輸出的推理計算，例如相冊分類(lèi)應用可能會(huì )在沒(méi)有人臉的圖片上運行人臉檢測模型：

智能音箱應用可能將不包含指令的語(yǔ)音上傳至云端進(jìn)行語(yǔ)音識別：

而推理重用方法希望重用已進(jìn)行過(guò)得推理計算結果，從而在新的數據到來(lái)時(shí)能夠從緩存中更快速地返回結果，例如智能手環(huán)上的動(dòng)作分類(lèi)模型可能會(huì )處理產(chǎn)生相同動(dòng)作標簽的運動(dòng)信號：

以及基于無(wú)人機和邊緣服務(wù)器的交通監控可能會(huì )在連續兩個(gè)畫(huà)面幀中得到不變的車(chē)輛計數結果：

現有工作已針對很多應用設計了有效的輸入過(guò)濾方法，然而兩個(gè)重要的問(wèn)題仍未得到解答，并且嚴重影響著(zhù)輸入過(guò)濾方法的應用：

1. 推理任務(wù)的可過(guò)濾性。盡管輸入過(guò)濾技術(shù)已在很多具體應用中顯示出優(yōu)化效果，但往往是由主觀(guān)的對冗余輸入的觀(guān)察而啟發(fā)的。如果不能從理論上回答 “哪些推理任務(wù)存在輸入過(guò)濾的優(yōu)化機會(huì )” 這一問(wèn)題，則輸入過(guò)濾技術(shù)的應用難以避免高成本的試錯過(guò)程；

2. 魯棒的特征可區分性。輸入數據的特征表達直接關(guān)系到進(jìn)行推理跳過(guò)和找到可重用推理結果的精度，因此對于輸入過(guò)濾的表現有著(zhù)關(guān)鍵影響?，F有方法多數依賴(lài)手工特征或預訓練深度特征，這些特征在應用過(guò)程中沒(méi)有魯棒的可區分性，可能完全失去過(guò)濾效果。

在 MobiCom 2022 上，中國科學(xué)技術(shù)大學(xué) LINKE 實(shí)驗室針對移動(dòng)為中心的模型推理場(chǎng)景，提出端到端可學(xué)的輸入過(guò)濾框架 InFi (INput FIlter)。該工作首次對輸入過(guò)濾問(wèn)題進(jìn)行了形式化建模，并基于推理模型和輸入過(guò)濾器的函數族復雜性對比，在理論層面上對推理任務(wù)的可過(guò)濾性進(jìn)行了分析。InFi 框架涵蓋了現有的 SOTA 方法所使用的推理跳過(guò)和推理重用機制?；?InFi 框架，該工作設計并實(shí)現了支持六種輸入模態(tài)和三種推理任務(wù)部署方式的輸入過(guò)濾器，在以移動(dòng)為中心的推理場(chǎng)景中有著(zhù)廣泛的適用性。在 12 個(gè)以移動(dòng)為中心的人工智能應用上進(jìn)行的實(shí)驗驗證了理論分析結果，并表明 InFi 在適用性、準確性和資源效率方面均優(yōu)于 SOTA 方法。其中，在一個(gè)移動(dòng)平臺上的視頻分析應用中，相較于原始推理任務(wù)，InFi 實(shí)現了 8.5 倍的推理吞吐率并節省了 95% 的通信帶寬，同時(shí)保持超過(guò) 90% 的推理精度。

論文地址：https://yuanmu97.github.io/preprint/InFi_MobiCom22.pdf項目地址：https://github.com/yuanmu97/infi
可過(guò)濾性分析
直觀(guān)來(lái)說(shuō)，推理任務(wù)的可過(guò)濾性指：相較于原始推理任務(wù)，能否得到一個(gè)低成本、高精度的輸入數據冗余性的預測器。原始的推理任務(wù)定義為屬于函數族 H  的模型 h，其將輸入數據映射至推理輸出，例如人臉檢測模型以圖片為輸入，輸出檢測結果（人臉位置的檢測框）。根據推理模型的輸出結果，定義冗余性判斷函數 f_h，其輸出冗余性標簽，例如當人臉位置檢測框輸出為空時(shí)，將該次推理計算視為冗余。屬于函數族 G  的輸入過(guò)濾器  g 定義為從輸入數據到冗余標簽的映射函數。

假設原始推理模型的目標函數（即提供真實(shí)標簽的函數）為 c ，其過(guò)濾器的目標函數為，則可見(jiàn)訓練原始的推理模型和訓練輸入過(guò)濾器的區別在于監督標簽的不同：推理預測由原始任務(wù)標簽域  Y 監督，而過(guò)濾預測由冗余標簽域 Z  監督。那么對于推理任務(wù)的可過(guò)濾性一個(gè)直觀(guān)的想法是，如果學(xué)習輸入過(guò)濾器比學(xué)習原始推理模型更簡(jiǎn)單，則有潛力得到有效的輸入過(guò)濾器。
基于此思路，該工作分析了三類(lèi)常見(jiàn)推理任務(wù)的可過(guò)濾性：

分析過(guò)程的關(guān)鍵在于將輸入過(guò)濾器的目標函數與原始推理模型相關(guān)聯(lián)，從而在兩個(gè)學(xué)習任務(wù)間建立復雜度可比較的橋梁。以分類(lèi)任務(wù)基于置信度進(jìn)行冗余判別為例，輸入過(guò)濾器的目標函數族形式為，依此可證明輸入過(guò)濾器的函數族的 Rademarcher 復雜度小于等于原始推理模型，進(jìn)而得到該任務(wù)可過(guò)濾性的分析結果。
框架設計和實(shí)現
以上的可過(guò)濾性分析基于將輸入過(guò)濾視為一個(gè)學(xué)習任務(wù)得到，因此框架設計需要具有端到端可學(xué)性，而不依賴(lài)手工特征或預訓練深度特征。同時(shí)，框架設計應該統一地支持推理跳過(guò)（SKIP）和推理重用（REUSE）機制。該工作基于一個(gè)簡(jiǎn)潔的思路，即 SKIP 等價(jià)于對全零輸入的推理結果的 REUSE，將兩種機制統一到一個(gè)框架之中。
框架包含訓練和推理兩個(gè)階段。訓練階段通過(guò)孿生特征網(wǎng)絡(luò )為一對輸入數據抽取特征，計算特征距離后由一個(gè)分類(lèi)網(wǎng)絡(luò )得到冗余標簽預測結果。

在推理階段，若采用 SKIP 機制，則將另一個(gè)輸入的特征固定為零，退化為基本的分類(lèi)器，根據預測的冗余性標簽決策是否跳過(guò)當前輸入數據；若采用 REUSE 機制，則需要維護一個(gè) “輸入特征 - 推理輸出” 表作為緩存，通過(guò)計算當前輸入特征與緩存的輸入特征之間的距離，采用 K - 近鄰方法決策是否重用緩存的推理結果。

該工作提出了 “模態(tài)相關(guān)的特征網(wǎng)絡(luò ) + 任務(wù)無(wú)關(guān)的分類(lèi)網(wǎng)絡(luò )” 的設計，為文本、圖像、視頻、音頻、感知信號、中間層特征設計了特征抽取網(wǎng)絡(luò )，并能夠很容易地擴展至更多數據模態(tài)，分類(lèi)器網(wǎng)絡(luò )則設計為多層感知機模型。對輸入模態(tài)的靈活支持為 InFi 在不同的任務(wù)部署方式上的適用性提供了基礎，包括三種典型的以移動(dòng)為中心的推理任務(wù)部署方式：端上推理、卸載至邊緣推理、端 - 邊模型切分推理。
InFi 使用 Python 實(shí)現，深度學(xué)習模塊基于 TensorFlow 2.4，目前代碼已開(kāi)源。
驗證實(shí)驗
InFi 在 5 個(gè)數據集上的 12 種人工智能推理任務(wù)上進(jìn)行了驗證實(shí)驗，涵蓋圖片、視頻、文本、音頻、運動(dòng)信號、中間層特征六種輸入模態(tài)。與三個(gè)基線(xiàn)方法的對比實(shí)驗表明，InFi 具有更廣泛的適用性，并且在準確性和效率上都更優(yōu)。

以在城市道路監控視頻中進(jìn)行車(chē)輛計數的任務(wù)為例，在端上推理時(shí)，相較于原始的工作流，采用 SKIP 和 REUSE 機制的 InFi 方法分別能夠將推理吞吐提升 1.9 和 7.5 倍，同時(shí)皆保持超過(guò) 90% 的推理精度；在進(jìn)行端 - 邊模型切分推理時(shí)，兩種機制下的 InFi 分別能夠節省 70.7% 和 95.0% 的通信帶寬。

InFi 的訓練成本也很低。在一個(gè)基于運動(dòng)信號的動(dòng)作識別應用中，僅使用 10% 的訓練數據集即可得到過(guò)濾表現接近最優(yōu)的 SKIP 和 REUSE 結果。InFi 可在保持超過(guò) 95% 推理精度的情況下，節省 80% 的推理運算。

結論與未來(lái)展望
該工作首次給出了可過(guò)濾性的理論分析，提出了統一的端到端可學(xué)的輸入過(guò)濾框架，并在廣泛的人工智能推理任務(wù)中驗證了其設計和實(shí)現的優(yōu)越性，對于實(shí)現以移動(dòng)為中心的資源高效的推理有著(zhù)重要的意義。InFi 框架的一大優(yōu)點(diǎn)在于無(wú)需人工標注，未來(lái)可能會(huì )形成新的人工智能模型部署的最佳實(shí)踐，即在每個(gè)模型的推理服務(wù)期間，自監督地訓練輸入過(guò)濾器，實(shí)現精度 - 資源權衡的模型推理。
論文引用：
Mu Yuan, Lan Zhang, Fengxiang He, Xueting Tong, and Xiang-Yang Li. 2022. InFi: End-to-end Learnable Input Filter for Resource-efficient Mobilecentric Inference. In The 28th Annual International Conference On Mobile Computing And Networking (ACM MobiCom ’22), October 24–28, 2022, Sydney, NSW, Australia. ACM, New York, NY, USA, 14 pages. https://doi.org/10.1145/ 3495243.3517016