微軟亞研院新作：讓大模型一口氣調用數百萬(wàn)個(gè) API

近年來(lái)，人工智能發(fā)展迅速，尤其是像 ChatGPT 這樣的基礎大模型，在對話(huà)、上下文理解和代碼生成等方面表現出色，能夠為多種任務(wù)提供解決方案。

但在特定領(lǐng)域任務(wù)上，由于專(zhuān)業(yè)數據的缺乏和可能的計算錯誤，它們的表現并不理想。同時(shí)，雖然已有一些專(zhuān)門(mén)針對特定任務(wù)的 AI 模型和系統表現良好，但它們往往不易與基礎大模型集成。

為了解決這些重要問(wèn)題，TaskMatrix.AI 破繭而出、應運而生，這是由微軟（Microsoft）設計發(fā)布的新型 AI 生態(tài)系統。

其核心技術(shù)近期在《科學(xué)》合作期刊 Intelligent Computing 上發(fā)表的論文 TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs 中正式亮相，作者為微軟亞洲研究院的段楠博士團隊：

（詳見(jiàn)鏈接：https://spj.science.org/doi/10.34133/icomputing.0063）

TaskMatrix.AI 將基礎大模型與數以百萬(wàn)計的應用程序編程接口（APIs）連接起來(lái)完成任務(wù)。

其核心思想是利用現有的基礎大模型作為類(lèi)似大腦的中央系統，結合其他 AI 模型和系統的 APIs 作為各種子任務(wù)解決者，以完成數字和物理領(lǐng)域的多樣化任務(wù)。

▲ 圖由 DALL?E 3 生成

TaskMatrix.AI 如何工作？

TaskMatrix.AI 的整體架構由以下四個(gè)關(guān)鍵組件構成：

• 多模態(tài)對話(huà)基礎模型（MCFM）：負責與用戶(hù)溝通，理解他們的目標和上下文（多模態(tài)），并基于 API 生成可執行代碼以完成特定任務(wù)。MCFM 能夠處理文本、圖像、視頻、音頻和代碼等多模態(tài)輸入，生成執行特定任務(wù)的代碼。它還能夠從用戶(hù)指令中提取具體任務(wù)，并提出合理的解決方案大綱，幫助選擇最合適的 API 進(jìn)行代碼生成。

• API 平臺：提供一個(gè)統一的 API 文檔架構，用于存儲數以百萬(wàn)計具有不同功能的 API，并允許 API 開(kāi)發(fā)者和所有者注冊、更新和刪除他們的 API。API 平臺通過(guò)統一的文檔架構幫助 MCFM 更好地理解和利用各種 API。

• API 選擇器：根據 MCFM 對用戶(hù)指令的理解，推薦相關(guān)的 API。API 選擇器具備搜索能力，能夠在擁有大量 API 的平臺上快速定位到與任務(wù)需求和解決方案大綱相匹配的 API。

• API 執行器：通過(guò)調用相關(guān) API 執行生成的動(dòng)作代碼，并返回中間和最終的執行結果。API 執行器設計用于運行各種 API，包括從簡(jiǎn)單的 HTTP 請求到復雜的算法或需要多個(gè)輸入參數的 AI 模型。

以上四個(gè)組件協(xié)同工作，共同構建了一個(gè)高效的系統。MCFM 作為用戶(hù)交互的主要接口，負責生成解決方案。API 平臺則提供了一個(gè)標準化的 API 文檔格式，并作為一個(gè)集中存儲庫，容納了數百萬(wàn) API。API 選擇器根據 MCFM 對用戶(hù)需求的理解，從 API 平臺中選取合適的 API。

最后，API 執行器負責執行由選定 API 生成的代碼，并解決任務(wù)。

此外，TaskMatrix.AI 還提供了兩個(gè)可學(xué)習的機制，以更有效地將 MCFM 與 API 對齊：

• 基于人類(lèi)反饋的強化學(xué)習（RLHF）：這是一種基礎大模型的通用技術(shù)，它使用強化學(xué)習方法，利用人類(lèi)反饋來(lái)優(yōu)化機器學(xué)習模型。在 TaskMatrix.AI 中，RLHF 利用這些反饋來(lái)增強 MCFM 和 API 選擇器，從而在處理復雜任務(wù)時(shí)實(shí)現更快的收斂和更好的性能。

• 向 API 開(kāi)發(fā)者提供反饋：TaskMatrix.AI 完成任務(wù)后，會(huì )將用戶(hù)反饋以適當的方式傳遞給 API 開(kāi)發(fā)者，指示他們的 API 是否成功用于完成任務(wù)。這種包含 <用戶(hù)指令、API 調用和用戶(hù)反饋> 的三元組不僅展示特定 API 的使用情況，還可以作為 API 開(kāi)發(fā)者改進(jìn) API 文檔的參考，使文檔對 MCFM 和 API 選擇器更加友好和易于理解。

因此，TaskMatrix.AI 可以被視為一個(gè)超級 AI，同時(shí)也是一個(gè)生態(tài)系統，具有以下關(guān)鍵優(yōu)勢：

• 能夠通過(guò)使用基礎大模型作為核心系統，首先理解不同類(lèi)型的多模態(tài)輸入（如文本、圖像、視頻、音頻和代碼），然后生成調用 API 完成任務(wù)的代碼，來(lái)執行各種數字和物理任務(wù)。

• 擁有一個(gè) API 平臺，作為各種任務(wù)專(zhuān)家的存儲庫。該平臺上的所有 API 都有一致的文檔格式，這使得基礎大模型可以輕松使用它們，開(kāi)發(fā)者也便于添加新的 API。

• 具有強大的終身學(xué)習能力，因為它的技能可以通過(guò)向 API 平臺添加具有特定功能的新 API 來(lái)擴展，以處理新任務(wù)。

• 能夠提供更加可解釋的響應，因為任務(wù)解決邏輯（即行動(dòng)代碼）和 API 的結果都是可理解的。

TaskMatrix.AI 能完成什么任務(wù)？

TaskMatrix.AI 能完成的任務(wù)非常廣泛，小到文字、圖像信息的基本信息處理，大到控制機器人平臺、接入物聯(lián)網(wǎng)（IoT）等通用平臺任務(wù)，TaskMatrix 都能勝任。

圖像處理任務(wù)

TaskMatrix.AI 可以執行圖像處理任務(wù)，并且能夠接受語(yǔ)言和圖像作為輸入。下圖展示了 TaskMatrix.AI 的相關(guān)版本 Visual ChatGPT，它不僅能夠理解人類(lèi)意圖，還能處理語(yǔ)言和圖像輸入，以完成包括圖像生成、問(wèn)題回答和編輯在內的復雜視覺(jué)任務(wù)。

下圖展示了使用多個(gè) API 協(xié)作生成高分辨率圖像的示例。在該例中，解決方案框架由 3 個(gè) API 組成：圖像問(wèn)答、圖像標題以及圖像對象替換。

左側框線(xiàn)部分展示了解決方案框架如何協(xié)助將圖像擴展至 2048×4096 分辨率。通過(guò)迭代執行框架中的預定義步驟，TaskMatrix.AI 可以生成任何所需尺寸的高分辨率圖像。

辦公自動(dòng)化

TaskMatrix.AI 能夠通過(guò)語(yǔ)音指令理解并自動(dòng)執行計算機操作系統、專(zhuān)業(yè)軟件以及智能手機應用的操作。利用 TaskMatrix.AI，可以快速上手復雜軟件。

此外，它還能幫助用戶(hù)在不進(jìn)行搜索的情況下直接訪(fǎng)問(wèn)所需功能。以下是一個(gè) PowerPoint 自動(dòng)化的實(shí)例，TaskMatrix.AI 能夠根據用戶(hù)指定的主題自動(dòng)生成幻燈片，智能調整內容布局，插入和優(yōu)化圖像，并應用相應的設計主題，從而顯著(zhù)提升工作效率。

機器人和物聯(lián)網(wǎng)設備控制

TaskMatrix.AI 可以連接機器人和物聯(lián)網(wǎng)設備，實(shí)現對體力勞動(dòng)和智能家居操作的自動(dòng)化管理。通過(guò)集成先進(jìn)的機器人技術(shù)，TaskMatrix.AI 能夠執行一系列任務(wù)，如物體的拾取與放置以及對家庭物聯(lián)網(wǎng)設備的智能控制。

此外，該平臺還整合了多種流行的互聯(lián)網(wǎng)服務(wù)，包括但不限于日歷 API、天氣 API 和新聞 API，提供了更加豐富和便捷的用戶(hù)體驗。

TaskMatrix.AI 的挑戰

盡管 TaskMatrix.AI 已經(jīng)在各種任務(wù)中證明了其強大的功能和通用性，但仍面臨以下幾個(gè)挑戰：

• 多模態(tài)會(huì )話(huà)基礎大模型：TaskMatrix.AI 需要一個(gè)能夠處理多種輸入（文本、圖像、視頻、音頻和代碼）的強大基礎大模型。這個(gè)模型需要能夠從上下文中學(xué)習，使用常識進(jìn)行推理和計劃，并生成高質(zhì)量的代碼來(lái)完成任務(wù)。此外由于 TaskMatrix.AI 需要處理更多樣化的輸入模式，這要求確定一個(gè)最小模式集來(lái)訓練 MCFM。

• API 平臺：構建和維護一個(gè)包含數百萬(wàn) API 的平臺需要解決文檔生成、API 質(zhì)量保證和 API 創(chuàng )建建議等挑戰。API 文檔的清晰性和 API 的質(zhì)量對于 TaskMatrix.AI 的成功至關(guān)重要。此外，平臺還需要根據用戶(hù)反饋指導 API 開(kāi)發(fā)者創(chuàng )建新的 API 來(lái)解決特定任務(wù)。

• API 調用：在處理大量 API 時(shí)，TaskMatrix.AI 需要能夠合理選擇和推薦相關(guān)的 API 來(lái)完成任務(wù)。此外還涉及到在線(xiàn)規劃，即在無(wú)法立即生成解決方案時(shí)，與用戶(hù)交互并嘗試不同的解決方案。

• 安全和隱私：在 API 能夠訪(fǎng)問(wèn)物理和數字世界時(shí)，確保模型忠實(shí)于用戶(hù)指令并保持數據私密性是至關(guān)重要的。這要求在執行操作前驗證模型的行為，并確保數據傳輸的安全性和數據訪(fǎng)問(wèn)的授權。

• 個(gè)性化：TaskMatrix.AI 需要個(gè)性化策略來(lái)幫助開(kāi)發(fā)者構建定制的 AI 界面，并為用戶(hù)提供私人助理。這包括降低擴展成本和使用少量示例來(lái)學(xué)習用戶(hù)的偏好，以便生成符合用戶(hù)需求的解決方案。

關(guān)于 Intelligent Computing

Intelligent Computing 由之江實(shí)驗室和美國科學(xué)促進(jìn)會(huì )（AAAS）共同創(chuàng )辦，是《科學(xué)》合作期刊框架中智能計算領(lǐng)域的第一本開(kāi)放獲?。∣pen Access）國際期刊。期刊以「面向智能的計算、智能驅動(dòng)的計算」以及「智能、數據與計算驅動(dòng)的科學(xué)發(fā)現」為主題，主要刊載原創(chuàng )研究論文、綜述論文和觀(guān)點(diǎn)論文。