中科院香港創(chuàng )新院發(fā)布具身智能手術(shù)大模型，可用于手術(shù)指導

11月22日，中國科學(xué)院香港創(chuàng )新研究院人工智能與機器人創(chuàng )新中心發(fā)布CARES Copilot具身智能手術(shù)AI大模型2.0版本，可為臨床診斷和決策提供支持。

中國科學(xué)院香港創(chuàng )新研究院是中央批準的內地在港設立的首個(gè)國家級科研機構，人工智能與機器人創(chuàng )新中心是其下設兩家中心之一，圍繞多模態(tài)AI手術(shù)大模型、具身智能醫療機器人、人工智能基礎理論等方面開(kāi)展研究工作，目標是打造香港人工智能品牌。

今年3月，AI多模態(tài)大模型CARES Copilot 1.0發(fā)布，可以在手術(shù)階段自動(dòng)識別病灶和解剖結構，以識別和輔助醫生的功能為主。

而CARES Copilot 2.0的突破性主要在四方面：提供高效醫學(xué)搜索與內容生成功能，幫助醫療專(zhuān)業(yè)人士快速檢索與生成結構化醫學(xué)報告；提供藥物相互作用、適應癥與禁忌癥等多層次查詢(xún)，利用AI技術(shù)自動(dòng)解析并生成精準用藥建議；能快速生成針對呼吸系統診斷的詳細且專(zhuān)業(yè)的手術(shù)報告；基于大語(yǔ)言模型技術(shù)，集成數字人定位、機器人運動(dòng)控制與三維重建，實(shí)現全自動(dòng)超聲檢查。

中科院香港創(chuàng )新研究院人工智能與機器人創(chuàng )新中心主任劉宏斌教授接受界面新聞采訪(fǎng)時(shí)指出，2.0版本大模型的突破性體現在，首先從整體架構來(lái)看，為了保證回答的安全性、可解釋性和可追溯性，整體技術(shù)設計上做了全面升級。另外是多模態(tài)能力，即處理不同模態(tài)的圖像，大模型可以理解核磁共振、CT、超聲影像，并進(jìn)行圖像轉換。

“我們將1.0大模型給醫生后，他們使用最多的功能是手術(shù)規劃。以前做手術(shù)規劃要翻書(shū)，決定術(shù)式后還有一系列注意事項，如腫瘤的位置、怎樣開(kāi)缺口?，F在大模型能幫助規劃?！眲⒑瓯筇岬?，醫生反饋指，手術(shù)規劃找顱骨缺口角度時(shí)，一般要用CT拍骨性結構，但神經(jīng)外科手術(shù)里一般只有核磁影像，所以就產(chǎn)生了核磁共振跟CT轉化的需求和相應的技術(shù)迭代。

在1.0版本，CARES Copilot使用3000多本國內外的神經(jīng)外科教材以及指南訓練作為數據進(jìn)行訓練。劉宏斌表示，2.0版本的數據大幅增加，“1.0只有神經(jīng)外科一個(gè)科室的數據，2.0增加了呼吸科、超聲科、麻醉科等科室數據?！?/p>

在手術(shù)領(lǐng)域，具身智能技術(shù)正逐步滲透到微創(chuàng )手術(shù)和手術(shù)機器人中。2.0大模型主要聚焦術(shù)中的人機交互，即大模型在手術(shù)過(guò)程中要跟醫生進(jìn)行互動(dòng)、理解醫生的提問(wèn)，進(jìn)一步聚焦具身應用。

“比如醫生會(huì )告訴大模型，需要腫瘤的某個(gè)切面圖。傳統手術(shù)中，完成這個(gè)指令需要幾個(gè)步驟，首先對掃描圖像進(jìn)行3D重構，分割腫瘤區域，并考慮從哪個(gè)地方做切面，最后展示。一個(gè)受過(guò)訓練的醫生會(huì )自然而然做這些工作，但是讓一個(gè)AI系統來(lái)做的話(huà)，它需要知道怎么分解這個(gè)任務(wù)、調動(dòng)相應功能、組合起每個(gè)環(huán)節。這個(gè)是我們在2.0的時(shí)候重點(diǎn)開(kāi)發(fā)的?！眲⒑瓯笳J為，具身智能體現在，AI系統能夠跟人交互，并進(jìn)行任務(wù)的規劃和執行。

基于多科室的數據訓練，CARES Copilot2.0也進(jìn)一步完善手術(shù)指導功能。例如在神經(jīng)外科中，可以進(jìn)行手術(shù)導航，給醫生一些實(shí)時(shí)的提醒，比如應該看哪個(gè)部位、重點(diǎn)關(guān)注核磁影像上的哪個(gè)區域；麻醉科中，可以實(shí)現輸血決策，在術(shù)中指導如何輸血。

中科院香港創(chuàng )新院在辦公室展廳中展出了正在打造的人工智能體（Embodied AI）手術(shù)室。雖然稱(chēng)之為“手術(shù)室”，更多是智能的技術(shù)集合體，包括微創(chuàng )手術(shù)機器人，部署在邊緣計算系統上的AI大模型，內窺鏡、手術(shù)室監控攝像頭、超聲等實(shí)時(shí)影像設備。中心人員介紹指，該系統已經(jīng)完成了四次的尸體實(shí)驗。

人工智能體（Embodied AI）手術(shù)室 拍攝：張熹瓏

劉宏斌告訴記者，手術(shù)室可能會(huì )在CARES Copilot 3.0時(shí)發(fā)布，目前機械臂也具備幫醫生拿工具的功能。

“傳統手術(shù)室中，醫生想一直有一個(gè)好助手，其實(shí)是一個(gè)悖論。好助手很難找，加上助手能很好地配合后就想去當主刀了?！眲⒑瓯筇岬?，所以可行的方式是，機器人經(jīng)過(guò)跟醫生的交互學(xué)習后，熟悉其操作方式和習慣用語(yǔ)，擔任助手的角色，“這個(gè)功能我們現在正在跟醫生一起開(kāi)發(fā)，這也對連續學(xué)習能力提出要求?！?/p>

正在打造國際創(chuàng )科中心的香港，將人工智能視為重點(diǎn)發(fā)展的賽道。香港2024《施政報告》提出，擴大研究和創(chuàng )科產(chǎn)業(yè)投資，設立100億元“創(chuàng )科產(chǎn)業(yè)引導基金”，加強引導市場(chǎng)資金投資指定策略性新興和未來(lái)產(chǎn)業(yè)，包括生命健康科技、人工智能與機械人、半導體與智能設備、先進(jìn)材料和新能源等。

CARES Copilot為香港最早落地的垂直領(lǐng)域大模型之一。此外，香港科技大學(xué)研發(fā)出四個(gè)AI醫學(xué)大模型，涵蓋乳腺癌診斷、病理輔助和全科醫學(xué)等，可為癌癥等多達30種疾病提供診斷和預后評估；香港城市大學(xué)孵化的增強現實(shí)手術(shù)導航能將CT的2D影像轉化為3D手術(shù)導航系統。

另一方面，香港通過(guò)引進(jìn)重點(diǎn)企業(yè)完善生態(tài)圈。近日落戶(hù)的百度智能云（香港）人工智能創(chuàng )新中心，就是通過(guò)香港引進(jìn)重點(diǎn)企業(yè)辦公室落戶(hù)本地的首批重點(diǎn)企業(yè)。這次合作為跨界別、跨地域——香港千帆科技負責投資和日常營(yíng)運，北京百度負責技術(shù)和軟硬件建設，并派駐人員進(jìn)行培訓和技術(shù)支持。

位于瑞士洛桑的國際管理發(fā)展學(xué)院發(fā)布的《2024年世界數碼競爭力排名》顯示，香港上升3位至全球第7位，其中“科技”和“知識”排名分別位列全球第3位及第5位。不過(guò)，香港于研發(fā)總支出百分比和用于教育的總公共開(kāi)支分別居全球第38及第50位，屬于需要改善的項目。

香港數碼港的人工智能超算中心首階段設施將于年內投入服務(wù)，將提供約每秒浮點(diǎn)運算300千萬(wàn)億次（PFLOPS）的算力，并會(huì )逐步提升至3000 PFLOPS的水平，相當于一小時(shí)可完成近100億張圖像處理。

港府此前亦推出30億元的“人工智能資助計劃”，資助本地大學(xué)、研發(fā)機構及企業(yè)等運用數碼港超算中心的算力。

劉宏斌透露，有意向跟超算中心合作，“之前跟算力中心的負責人有很多次交流，他們表示很愿意支持我們的科研。等中心正式運營(yíng)后，我們會(huì )再跟進(jìn)具體的合作形式?！?/p>