AI手機長(cháng)出“上帝之手”

“2025年會(huì )是AI智能體元年?！遍_(kāi)年的短暫時(shí)間里，關(guān)于智能體的押注再次如潮水涌現。

在通用人工智能（AGI）的宏大版圖中，AI Agent（智能體）被視為關(guān)鍵一步。它不僅能聊天，還要做出實(shí)際行動(dòng)，實(shí)現“從說(shuō)到做”的進(jìn)化。

事實(shí)上，AI智能體早已在手機里展現潛力。一句話(huà)點(diǎn)2000杯咖啡、群發(fā)微信紅包、自動(dòng)搶演唱會(huì )門(mén)票……過(guò)去一年里，幾乎所有手機廠(chǎng)商都在為AI智能體秣馬厲兵，試圖打造科幻電影里知無(wú)不言的“賈維斯”。

技術(shù)狂飆的背后，隱憂(yōu)悄然浮現。盡管AI還未實(shí)現“全自動(dòng)駕駛”手機的理想形態(tài)，但南財合規科技研究院、21世紀經(jīng)濟報道實(shí)測發(fā)現，多款手機智能體在后臺打開(kāi)了手機的無(wú)障礙權限，部分未事先通知用戶(hù)。這一功能原本是為殘障人士設計的“特殊通道”，可以看到屏幕上所有隱私內容，乃至執行任何操作，屬于高敏感權限。

這場(chǎng)由手機智能體引發(fā)的技術(shù)躍遷，也在為隱私保護、App變革帶來(lái)新課題。南財合規科技研究院為此測評6款AI手機，整理出七個(gè)需要了解的關(guān)鍵問(wèn)題，繪制一張認知地圖。

手機智能體能“代勞”到哪一步了？

手機助手的概念并不新鮮。2011年，Siri以“智能語(yǔ)音助手”的身份亮相蘋(píng)果發(fā)布會(huì )后，幾乎每一臺移動(dòng)設備里，都能找到一個(gè)像Siri、小愛(ài)同學(xué)一樣的智能助手。它們靠語(yǔ)音交互就能完成一些簡(jiǎn)單操作，但離真正的“智能”還差得遠。

生成式AI的加入帶來(lái)了讓人興奮的變化。2024年9月，榮耀率先宣布用大模型“全面升級”手機助手。隨后華為、vivo、OPPO、小米等廠(chǎng)商都升級了自家的手機助手，搖身變成AI智能體。

不同于早期的手機助手，智能體的目標是深入手機操作流程，成為全能管家。開(kāi)發(fā)者們宣稱(chēng)，只需要一句話(huà)，用戶(hù)無(wú)需逐個(gè)打開(kāi)App，手機智能體就能像真人一樣在多個(gè)App之間操作，完成訂票、點(diǎn)餐、取消續費等復雜任務(wù)。

但實(shí)際體驗到底如何？

以最高頻的宣傳場(chǎng)景為例，我們在語(yǔ)音球里喚醒出AI智能體，提出要求：幫我點(diǎn)一杯咖啡。這時(shí)小米、OPPO會(huì )跳轉到美團App的“咖啡”外賣(mài)搜索頁(yè)，但無(wú)法繼續操作，任務(wù)終止。

榮耀的YOYO智能體可以更進(jìn)一步。它會(huì )先彈出一張有三種咖啡選擇的外賣(mài)卡片，再跳轉進(jìn)美團App的“咖啡”搜索頁(yè)，由YOYO一步步抵達最終下單頁(yè)面。不過(guò)整個(gè)過(guò)程仍然需要多輪確認，并不比自己動(dòng)手快多少。

整體來(lái)看，手機智能體更多還是“宣傳上的巨人”。成功率低、響應不穩定、耗時(shí)長(cháng)，是普遍存在的問(wèn)題。

這背后的一道難關(guān)是，手機智能體需要突破App之間的藩籬。西湖大學(xué)AGI實(shí)驗室負責人張馳告訴我們，早一代的手機助手主要調用的是系統自帶應用，本質(zhì)是調用預設好的命令塊，比如Siri能查蘋(píng)果天氣。而手機智能體面對的是跨第三方App操作和復雜多變的用戶(hù)指令——美團、餓了么、攜程、同程、飛豬……“現在技術(shù)理念基本定型了，但要真正落地為一個(gè)產(chǎn)品，還得面對大量工程問(wèn)題?！?/p>

張馳曾帶隊某頭部大廠(chǎng)的智能體研究團隊，他們在2023年12月的論文中提出了一種名為App Agent的手機代理框架，并測試了十款App里修圖、購物、訂機票等任務(wù)的成功率。當時(shí)，App Agent的成功率約為73%，學(xué)習示例后可提升至84%，而真人手動(dòng)操作的成績(jì)在95%左右。

“與12個(gè)月甚至6個(gè)月前相比，這已經(jīng)是巨大進(jìn)步了，畢竟那時(shí)的智能體往往在短短幾秒鐘后就會(huì )‘跑偏’?！睆堮Y表示，現在手機智能體每執行一個(gè)操作前，都要“思考”下一步該做什么。提升性能和效率，是接下來(lái)的關(guān)鍵方向。

如何實(shí)現“代勞”？

手機智能體不能只是“聊天”，還需要“眼睛”和“手”進(jìn)一步操作手機，背后的關(guān)鍵技術(shù)是什么？

多位業(yè)內人士告訴我們，現在有兩種主流方法。

第一種方法的行業(yè)術(shù)語(yǔ)叫“意圖框架”，本質(zhì)是App和手機智能體的合作方案。經(jīng)過(guò)App授權后，手機智能體通過(guò)應用編程接口（API）或者開(kāi)發(fā)套件（SDK）調用App的特定功能。

“能用API的地方，當然會(huì )優(yōu)先使用API?！睆堮Y說(shuō)，調用API的好處是能直接完成任務(wù)，兼具穩定和安全。他接觸過(guò)的大多廠(chǎng)商都傾心這種方案，它們會(huì )提前列舉一系列高頻場(chǎng)景——外賣(mài)、購物、訂票——再讓手機智能體調用相應場(chǎng)景的API完成任務(wù)?！跋到y始終在這1000個(gè)既定任務(wù)內運行，不會(huì )超出邊界，更可控安全。如果只有幾種固定場(chǎng)景，效率確實(shí)會(huì )更高?！?/p>

目前，蘋(píng)果、華為、vivo、OPPO都已推出各自的意圖框架，小紅書(shū)、同程旅行、百度云、58同城、支付寶等App出現在“智能體生態(tài)合作名單”中。

但我們也從接觸過(guò)談判的業(yè)內人士了解到，合作進(jìn)展不算順利，App大廠(chǎng)對于加入意圖框架的態(tài)度謹慎。

原因不難想象。如果手機智能體能直接調用App功能，用戶(hù)可能不再主動(dòng)打開(kāi)App，影響流量和廣告曝光量，甚至削弱用戶(hù)數據積累。而即便有互聯(lián)互通的口號，要讓一個(gè)個(gè)App孤島接受手機智能體的調用、統一指揮和分配，仍然是一個(gè)艱巨任務(wù)。

這種情況下，另一種基于“視覺(jué)路線(xiàn)”的方案（GUI Agent；圖形界面智能體）正受到越來(lái)越多關(guān)注。

簡(jiǎn)單來(lái)說(shuō)，視覺(jué)路線(xiàn)等于用“讀屏+模擬操作”來(lái)調用App。此時(shí)手機智能體的工作思路與普通人無(wú)差別：

1.感知——先閱讀屏幕信息和界面元素；

2.推理——思考下一步要做什么；

3.操作——點(diǎn)擊，滑動(dòng)，打字，直到任務(wù)完成。

這種方案的最大優(yōu)勢是能繞過(guò)一個(gè)個(gè)App授權，從前臺直接操作。但難題在于一旦界面變化，手機智能體可能難以適應，并且存在一定安全風(fēng)險。

多位技術(shù)人士向我們解釋時(shí)提到，要讓手機智能體直接操作屏幕，就必須用到一項敏感權限“無(wú)障礙服務(wù)（Accessibility Service）”。其擁有系統級別的最高權限，可以看到屏幕上銀行卡密碼、聊天記錄等所有信息，繼而替用戶(hù)點(diǎn)擊、長(cháng)按、滑動(dòng)屏幕，相當于手機里的一雙“上帝之手”。

“（視覺(jué)路線(xiàn)）雖然潛力巨大，代表著(zhù)未來(lái)的發(fā)展方向，但也伴隨著(zhù)諸多問(wèn)題和風(fēng)險?！睆堮Y坦言。

哪些手機智能體會(huì )用到“高敏感權限”？

資料圖

對很多人來(lái)說(shuō)，“無(wú)障礙功能”還是個(gè)陌生概念?！盁o(wú)障礙功能”也叫“輔助功能”，原先是為殘障人士設計的，例如“屏幕朗讀”功能可以讀出屏幕上所有文本、按鈕、標簽，讓視障用戶(hù)用聽(tīng)覺(jué)了解手機里發(fā)生的事情。

“讀屏”可以隱秘獲得屏幕前臺的所有內容、“模擬點(diǎn)擊”可以執行操作，無(wú)障礙功能的能力之大讓風(fēng)險陡增，因此安卓等系統將其明確列為“高敏感權限”。

從我們的測試來(lái)看，除了華為，幾乎所有手機智能體都涉及這一“高敏感權限”。

手機智能體通常會(huì )在《隱私政策》中交代相關(guān)情況，但面對動(dòng)輒幾十頁(yè)的《隱私政策》，普通人很難查找相關(guān)內容。要想快速確認智能體是否使用了無(wú)障礙功能，最直接的方法是進(jìn)入“手機系統設置—無(wú)障礙功能”，查看統一的“已下載應用列表”。

通過(guò)這一方法，我們發(fā)現，榮耀、小米、三星的手機智能體，在實(shí)際使用中確實(shí)用到了無(wú)障礙功能。

當榮耀的YOYO在美團App下單咖啡時(shí)，系統會(huì )顯示其正在接管手機，同時(shí)“無(wú)障礙應用列表”里YOYO的開(kāi)關(guān)開(kāi)啟，任務(wù)結束后又自動(dòng)關(guān)閉。

小米的超級小愛(ài)在打車(chē)、調出滴滴App時(shí)也會(huì )開(kāi)啟無(wú)障礙功能。

三星的Bixby使用更為頻繁，無(wú)論是否跳轉App，只要對智能體Bixby說(shuō)話(huà)，Bixby的無(wú)障礙權限便會(huì )自動(dòng)打開(kāi)。

還有兩種特殊情況值得一提。vivo系統輸入法中嵌入了小v寫(xiě)作功能，據稱(chēng)為了讓AI“識別頁(yè)面聊天記錄，并根據上下文語(yǔ)義理解高輸出回復結果”。在拿到一部新手機后，只要用到vivo輸入法，同意授權后，便會(huì )全程打開(kāi)無(wú)障礙功能。

而OPPO盡管在小布智能體的《隱私政策》中提到了會(huì )用到無(wú)障礙權限，但小布沒(méi)有出現在“無(wú)障礙應用列表”中，因此我們無(wú)從核查是否使用。

用了“高敏感權限”一定在作惡?jiǎn)幔?/span>

技術(shù)往往具有雙刃劍的復雜特性，無(wú)障礙功能也一樣。

一方面，這些年濫用無(wú)障礙服務(wù)的黑灰產(chǎn)業(yè)不少。此前流行的“跳開(kāi)屏廣告”神器李跳跳、自動(dòng)搶紅包和外賣(mài)單的“超級雷神”外掛、手游里的打怪外掛等等，都涉嫌濫用無(wú)障礙服務(wù)。今年315晚會(huì )曝光的數據黑灰產(chǎn)，竊取20億條個(gè)人信息背后，亦與“無(wú)障礙權限”密切相關(guān)。

另一方面，無(wú)障礙服務(wù)是殘障人士融入數字生活的必需品。我國無(wú)障礙環(huán)境建設法于去年9月1日起施行，要求各大互聯(lián)網(wǎng)平臺符合無(wú)障礙網(wǎng)站設計標準和國家信息無(wú)障礙標準。315信息安全技術(shù)實(shí)驗室技術(shù)專(zhuān)家彭根提到，無(wú)障礙功能的合法使用場(chǎng)景還包括表單填寫(xiě)、自動(dòng)化軟件測試，從而提高工作效率。

“大模型本身就也在享受無(wú)障礙功能的紅利?！蓖瑵髮W(xué)法學(xué)院助理教授、上海市人工智能社會(huì )治理協(xié)同創(chuàng )新中心研究員朱悅補充說(shuō)，許多早期的多模態(tài)大模型訓練數據，正來(lái)自無(wú)障礙服務(wù)為海量視頻和圖像提供的文本標注。多模態(tài)大模型與無(wú)障礙的“互助”，可以說(shuō)是技術(shù)往前走的必要。

因此，核心問(wèn)題不在于手機智能體是否使用無(wú)障礙功能，而在于合理使用的邊界。這條邊界目前有兩條清晰的規則要求：第一，在使用無(wú)障礙前有沒(méi)有明確通知用戶(hù)，獲得同意？第二，有沒(méi)有提供權限開(kāi)關(guān)，讓用戶(hù)能監測和控制？

沿著(zhù)這兩條規則往下走，我們發(fā)現手機智能體的局面較為混亂。

榮耀和三星的智能體在使用過(guò)程中，會(huì )默默打開(kāi)相關(guān)功能的無(wú)障礙權限，使用結束后再默默關(guān)閉，沒(méi)有單獨的通知同意。OPPO在小布《隱私政策》的權限列表里明確提到，開(kāi)啟無(wú)障礙服務(wù)前不會(huì )詢(xún)問(wèn)。

與之對比的是小米的超級小愛(ài)。它會(huì )先彈出通知界面，明確說(shuō)明“模擬點(diǎn)擊”和“屏幕內容獲取”權限的用途，用戶(hù)同意后再啟用無(wú)障礙功能。

而vivo的情況較為特殊，盡管輸入法的無(wú)障礙權限全程開(kāi)啟，但在回微信、寫(xiě)小紅書(shū)文案時(shí)首次用到小v寫(xiě)作的話(huà)，系統會(huì )跳出一條“一鍵識屏”的授權提示，告知該功能會(huì )控制屏幕、讀取所有內容。

在控制開(kāi)關(guān)上，各家做法也不盡相同。只有小米、榮耀、三星在系統“無(wú)障礙應用列表”中為AI智能體提供了開(kāi)關(guān)，用戶(hù)可以隨時(shí)手動(dòng)關(guān)閉。此外，小米、vivo在智能體的單獨頁(yè)面中提供了針對“一鍵識屏”等功能的單獨開(kāi)關(guān)，相當于另設了一道防線(xiàn)。

觀(guān)韜中茂（上海）律師事務(wù)所合伙人吳丹君告訴我們，無(wú)障礙功能會(huì )獲取到存款、消費記錄、網(wǎng)頁(yè)瀏覽記錄等敏感個(gè)人信息，按照個(gè)人信息保護法的要求，處理敏感個(gè)人信息必須取得單獨同意。因此，如果手機智能體“默默”開(kāi)啟了無(wú)障礙權限，涉嫌違反個(gè)人信息保護法中“單獨同意”的規定。如果在任務(wù)結束后仍保持開(kāi)啟，并且收集了超出必要范圍的數據，還可能構成“超范圍收集個(gè)人信息”。

針對隱私合規問(wèn)題，我們向榮耀、vivo、OPPO、小米發(fā)出問(wèn)詢(xún)。OPPO此前回復：“出于便利性等客觀(guān)原因，調用無(wú)障礙服務(wù)可以無(wú)需授權。無(wú)障礙服務(wù)的使用前提是需要遵循用戶(hù)隱私規范，其僅會(huì )被用于幫助使用有困難的用戶(hù)更好地使用智能設備?！眝ivo則表示，“公司對智能體行為有嚴格的管控策略，全方位保障智能體的安全可控。相關(guān)權限均在隱私政策中聲明，并獲取用戶(hù)同意，用戶(hù)可自主關(guān)閉?！?/p>

截至發(fā)稿，其余手機廠(chǎng)商未有回復。

現在有哪些安全防護？

安卓官方規定，無(wú)障礙權限必須由用戶(hù)在應用管理中手動(dòng)確認開(kāi)啟。公開(kāi)報道顯示，2017年，谷歌曾向所有安卓開(kāi)發(fā)者發(fā)送郵件，要求調用無(wú)障礙功能的App必須明確描述用途，否則將無(wú)法上架谷歌的應用商店。

國內手機廠(chǎng)商在安卓系統之上構建自己的生態(tài)，小米、榮耀、vivo、OPPO繼承了安卓的安全機制。從實(shí)際情況來(lái)看，六款AI手機為用戶(hù)提供了不同程度的安全防護。在系統設置中，都有統一的無(wú)障礙應用列表和控制開(kāi)關(guān)——如果用戶(hù)要手動(dòng)為某個(gè)App敞開(kāi)無(wú)障礙大門(mén)，系統會(huì )彈出強提示，包括強制閱讀、“高敏感權限”的風(fēng)險提示，以及無(wú)障礙功能的具體介紹。

但業(yè)界仍然有擔憂(yōu)的聲音。手機智能體是手機廠(chǎng)商的原生產(chǎn)品，而安全規則又由手機廠(chǎng)商自行制定，有沒(méi)有可能提供特殊待遇？

實(shí)測過(guò)程中，這種雙重標準的疑問(wèn)確有跡可循。雖然五款手機智能體均提到會(huì )調用無(wú)障礙功能，但vivo和OPPO的智能體并未出現在前述“無(wú)障礙應用列表”中。在實(shí)際使用時(shí)，也沒(méi)有一款手機智能體會(huì )引導用戶(hù)進(jìn)入該管理頁(yè)面。

當然，手機智能體也有專(zhuān)門(mén)的安全機制，關(guān)鍵在于明確操作場(chǎng)景。張馳表示，需要一套監督模式，監控手機智能體不會(huì )執行超出安全范圍的操作，“但目前這方面的研究是不夠的?！?/p>

OpenAI在Operator中已設立了一系列安全護欄。例如，涉及輸入密碼的敏感操作時(shí)，Operator會(huì )進(jìn)入用戶(hù)手動(dòng)接管模式，這意味著(zhù)不會(huì )存儲密碼信息；允許用戶(hù)一鍵刪除瀏覽數據和歷史對話(huà)，并注銷(xiāo)所有網(wǎng)站。

目前測試的六款國產(chǎn)手機智能體在輸密碼、下單支付等敏感場(chǎng)景需要用戶(hù)手動(dòng)操作。三星的Bixby提供了“本地化處理數據的選項”，減少數據上云帶來(lái)的泄露風(fēng)險。

我們就更多安全機制問(wèn)題，向vivo、小米、OPPO、榮耀發(fā)出詢(xún)問(wèn)。截至發(fā)稿，vivo簡(jiǎn)略回應稱(chēng)，其智能體設有多重安全防護措施，包括指令管理、權限管理、行為管理等。其余廠(chǎng)商未有回復。

還有哪些未解擔憂(yōu)？

“視覺(jué)路線(xiàn)的智能體，本質(zhì)上是在扮演用戶(hù)角色?！睆堮Y指出，這意味著(zhù)理論上，用戶(hù)能看到的所有內容AI也能讀取，用戶(hù)能執行的所有操作AI也能完成。由于無(wú)障礙權限的特殊性，這一過(guò)程往往很難被第三方技術(shù)監測。

除了前文提到的隱私風(fēng)險，更深一層的隱患是網(wǎng)絡(luò )安全?！按斫俪帧钡刃滦凸舴绞揭驯恢忻蓝鄠€(gè)研究機構關(guān)注，彭根指出，這種攻擊可能利用智能體的權限給其他人發(fā)釣魚(yú)郵件、打電話(huà)詐騙、盜刷資金。甚至手機可能被惡意程序劫持，成為僵尸網(wǎng)絡(luò )的節點(diǎn)，為黑客執行大規模攻擊。

第二重風(fēng)險則是決策層面的。手機智能體的野心不僅是“助手”，更希望成為用戶(hù)的“代理人”，在比價(jià)、規劃、社交溝通等更復雜的場(chǎng)景發(fā)揮作用。但如果做出了錯誤決策或者面臨道德困境，誰(shuí)能為結果擔責？

在行業(yè)中，關(guān)于手機智能體的制度性討論已經(jīng)在進(jìn)行。一位監管側人士提到，今年1月1日生效施行的《網(wǎng)絡(luò )數據安全管理條例》對自動(dòng)化工具作出了特殊規定。比如《網(wǎng)絡(luò )數據安全管理條例》第二十四條明確，通過(guò)自動(dòng)化采集技術(shù)處理個(gè)人信息，必須刪除或者匿名化處理其中的個(gè)人信息。這些約束對手機智能體也適用。

不過(guò)，“絕大多數用戶(hù)缺乏與‘個(gè)人助理’互動(dòng)的經(jīng)驗，無(wú)法準確形成在這一場(chǎng)景中有關(guān)個(gè)人信息使用的合理預期?！痹谶@種不對等的關(guān)系下，多位法律業(yè)內人士指出，手機智能體需要明確授權，并且要用可視化的界面向用戶(hù)清楚解釋數據流向。

下一步會(huì )怎么發(fā)展？

市場(chǎng)調研機構Canalys預測，2024年具備生成式AI能力的手機出貨量將占全球智能手機市場(chǎng)的16%，到2028年，這一比例將提升至54%。

市場(chǎng)已經(jīng)熱了起來(lái)，但技術(shù)路線(xiàn)的選擇依然存在分歧。從數據安全的立場(chǎng)出發(fā)，不少業(yè)內人士認為，視覺(jué)路線(xiàn)只是過(guò)渡方案，最優(yōu)解仍然還是推動(dòng)API合作，構建統一的意圖框架，讓智能體兼具安全與靈活性。

但除了技術(shù)發(fā)展與隱私安全的拉鋸，手機智能體還面臨另一重挑戰：商業(yè)利益的博弈。

在國內，智譜AI、DeepSeek等AI初創(chuàng )公司，已經(jīng)頻繁出現在各大手機廠(chǎng)商的合作通稿中。手機廠(chǎng)商的智能體策略正從完全自研轉向“自研+合作”雙軌并行。

另一邊，擅長(cháng)打造產(chǎn)品的互聯(lián)網(wǎng)巨頭也在加緊布局智能體。對互聯(lián)網(wǎng)公司來(lái)說(shuō)，手機智能體的發(fā)展可能觸及生存核心。手機智能體能自動(dòng)點(diǎn)外賣(mài)、網(wǎng)購、發(fā)微信消息，也意味著(zhù)能收集用戶(hù)散落在各個(gè)App中的行為數據。隨著(zhù)這些壁壘被打通，智能體的用戶(hù)畫(huà)像將更加精準。而用戶(hù)數據，正是各大App的護城河。

智能體領(lǐng)域的新玩家不斷涌入，利益選擇變得前所未有的復雜。AI公司將智能體視為邁向AGI的關(guān)鍵鑰匙，手機廠(chǎng)商希望用它拉動(dòng)疲軟的硬件市場(chǎng)，互聯(lián)網(wǎng)巨頭則不愿放棄流量入口和數據城池。在三大市場(chǎng)陣營(yíng)下，各方有多大動(dòng)力推動(dòng)合作、共享數據？還是一個(gè)懸而未決的問(wèn)題。

前述業(yè)內人士因此認為，意圖框架和“視覺(jué)路線(xiàn)”并非二選一，而是應該并行發(fā)展?！爱吘瓜到y開(kāi)發(fā)者有適配成本，也有大廠(chǎng)為了自己的閉環(huán)生態(tài)，是不會(huì )加入合作的。從互聯(lián)互通和市場(chǎng)競爭的角度，需要仔細思考（實(shí)現方式）?！?/p>

前述監管側人士則提醒，接下來(lái)尤其需要關(guān)注手機智能體對互聯(lián)網(wǎng)市場(chǎng)秩序帶來(lái)的沖擊。隨著(zhù)終端廠(chǎng)商、App開(kāi)發(fā)者等圍繞用戶(hù)權限的爭奪日益激烈，未來(lái)勢必會(huì )涉及權限的定義、掌控及優(yōu)先級劃分等問(wèn)題。

曾經(jīng)由爬蟲(chóng)和自動(dòng)化采集技術(shù)引發(fā)的不正當競爭大戰，似乎已為手機智能體埋下一處伏筆。各方在隱私安全、數據流動(dòng)及商業(yè)競爭中如何找到平衡，會(huì )是接下來(lái)一大看點(diǎn)。