ChatGPT 和生成式 AI 對科學(xué)意味著(zhù)什么

正如 Greene 和 Pividori 在 2023 年 1 月 23 日的預印本中所報道的那樣，這個(gè)助手不是一個(gè)人，而是一種名為 GPT-3 的人工智能（AI）算法，該算法于 2020 年首次發(fā)布。它是被媒體大肆宣傳的生成式 AI 聊天機器人式工具之一，無(wú)論是被要求創(chuàng )作散文、詩(shī)歌、計算機代碼，還是編輯研究論文，都可以生成令人信服的流暢文本。

論文鏈接：https://www.biorxiv.org/content/10.1101/2023.01.21.525030v1
這些工具中最著(zhù)名的工具（也稱(chēng)為大型語(yǔ)言模型或 LLM）是 ChatGPT，它是 GPT-3 的一個(gè)版本，在 2022 年 11 月發(fā)布后一舉成名，因為它免費且易于訪(fǎng)問(wèn)。其他生成式 AI 可以生成圖像或聲音。
「我印象非常深刻?！乖谫M城賓夕法尼亞大學(xué)工作的 Pividori 說(shuō)，「這將幫助我們提高研究人員的工作效率?！?其他科學(xué)家表示，他們現在經(jīng)常使用 LLMs，不僅是為了編輯手稿，也是為了幫助他們編寫(xiě)或檢查代碼以及集思廣益。
「我現在每天使用 LLMs?！贡鶏u大學(xué)的計算機科學(xué)家 Hafsteinn Einarsson 說(shuō)，他從 GPT-3 開(kāi)始，但后來(lái)改用 ChatGPT，這有助于他編寫(xiě)演示幻燈片、學(xué)生考試和課程作業(yè)，并將學(xué)生論文轉化為論文?！冈S多人將其用作數字秘書(shū)或助理?！顾f(shuō)。
LLMs 是搜索引擎、代碼編寫(xiě)助手甚至聊天機器人的一部分，它可以與其他公司的聊天機器人協(xié)商以獲得更好的產(chǎn)品價(jià)格。ChatGPT 的創(chuàng )建者，加利福尼亞州舊金山的 OpenAI，宣布了一項每月 20 美元的訂閱服務(wù)，承諾更快的響應時(shí)間和優(yōu)先訪(fǎng)問(wèn)新功能（盡管其試用版仍然免費）。已經(jīng)投資 OpenAI 的科技巨頭微軟在 2023 年 1 月份宣布進(jìn)一步投資，據報道約為 100 億美元。LLMs 注定要被納入通用的文字和數據處理軟件中。生成式 AI 未來(lái)在社會(huì )中的普遍存在似乎是有把握的，尤其是因為今天的工具代表了這項處于起步階段的技術(shù)。
但 LLM 也引發(fā)了廣泛的擔憂(yōu)——從他們返回謊言的傾向，到人們擔心人們將 AI 生成的文本冒充為自己的文本。當 Nature 向研究人員詢(xún)問(wèn)聊天機器人（例如 ChatGPT）的潛在用途時(shí)，尤其是在科學(xué)領(lǐng)域，他們的興奮中夾雜著(zhù)憂(yōu)慮?！溉绻阆嘈胚@項技術(shù)具有變革的潛力，那么我認為你必須對此感到緊張?！箠W羅拉科羅拉多大學(xué)醫學(xué)院的 Greene 說(shuō)。研究人員表示，很大程度上將取決于未來(lái)的法規和指南如何限制 AI 聊天機器人的使用。
流利但不真實(shí)
一些研究人員認為，只要有人監督，LLMs 就非常適合加快撰寫(xiě)論文或資助等任務(wù)?！缚茖W(xué)家們不會(huì )再坐下來(lái)為資助申請寫(xiě)冗長(cháng)的介紹?！谷鸬涓绲卤に_爾格倫斯卡大學(xué)醫院的神經(jīng)生物學(xué)家 Almira Osmanovic Thunstr?m 說(shuō)，他與人合著(zhù)了一份使用 GPT-3 作為實(shí)驗的手稿，「他們只會(huì )要求系統這樣做?！?/span>
論文鏈接：https://hal.science/hal-03701250
總部位于倫敦的軟件咨詢(xún)公司 InstaDeep 的研究工程師 Tom Tumiel 表示，他每天都使用 LLM 作為助手來(lái)幫助編寫(xiě)代碼?！高@幾乎就像一個(gè)更好的 Stack Overflow?！顾f(shuō)，指的是一個(gè)流行的社區網(wǎng)站，程序員可以在該網(wǎng)站上互相回答問(wèn)題。
但研究人員強調，LLMs 在回答問(wèn)題時(shí)根本不可靠，有時(shí)會(huì )產(chǎn)生錯誤的回答?！府斘覀兪褂眠@些系統來(lái)產(chǎn)生知識時(shí)，我們需要保持警惕?！筄smanovic Thunstr?m 說(shuō)。
這種不可靠性融入了 LLM 的構建方式。ChatGPT 及其競爭對手通過(guò)學(xué)習龐大的在線(xiàn)文本數據庫中的語(yǔ)言統計模式來(lái)工作——包括任何不真實(shí)、偏見(jiàn)或過(guò)時(shí)的知識。當 LLM 收到提示時(shí)（例如 Greene 和 Pividori 精心設計的重寫(xiě)部分手稿的請求），他們只是逐字吐出任何在文體上似乎合理的方式來(lái)繼續對話(huà)。
結果是 LLM 很容易產(chǎn)生錯誤和誤導性信息，特別是對于他們可能沒(méi)有多少數據可以訓練的技術(shù)主題。LLMs 也無(wú)法顯示其信息的來(lái)源；如果被要求撰寫(xiě)學(xué)術(shù)論文，他們會(huì )編造虛構的引文?！覆荒芟嘈旁摴ぞ吣軌蛘_處理事實(shí)或生成可靠的參考資料?！筃ature Machine Intelligence 雜志 2023 年 1 月份在 ChatGPT 上發(fā)表的一篇社論指出。
有了這些警告，ChatGPT 和其他 LLM 可以成為研究人員的有效助手，這些研究人員具有足夠的專(zhuān)業(yè)知識來(lái)直接發(fā)現問(wèn)題或輕松驗證答案，例如計算機代碼的解釋或建議是否正確。
但是這些工具可能會(huì )誤導不明真相的用戶(hù)。例如，2022 年 12 月，Stack Overflow 暫時(shí)禁止使用 ChatGPT，因為網(wǎng)站版主發(fā)現自己被熱心用戶(hù)發(fā)送的大量不正確但看似有說(shuō)服力的 LLM 生成的答案所淹沒(méi)。這可能是搜索引擎的噩夢(mèng)。
缺點(diǎn)能解決嗎？
一些搜索引擎工具，例如以研究人員為中心的 Elicit，通過(guò)首先使用它們的功能來(lái)引導對相關(guān)文獻的查詢(xún)，然后簡(jiǎn)要總結引擎找到的每個(gè)網(wǎng)站或文檔，從而解決 LLM 的歸因問(wèn)題——因此產(chǎn)生明顯引用內容的輸出（盡管 LLM 可能仍然錯誤地總結每個(gè)單獨的文檔）。
建立 LLM 的公司也很清楚這些問(wèn)題。2022 年 9 月，谷歌子公司 DeepMind 發(fā)表了一篇關(guān)于名為 Sparrow 的「對話(huà)代理」的論文，該公司的首席執行官兼聯(lián)合創(chuàng )始人 Demis Hassabis 后來(lái)告訴《時(shí)代》雜志，該論文將在今年內發(fā)布；該雜志報道說(shuō)，谷歌的目標是開(kāi)發(fā)包括引用消息來(lái)源的能力在內的功能。其他競爭對手，例如 Anthropic，表示他們已經(jīng)解決了 ChatGPT 的一些問(wèn)題。
一些科學(xué)家說(shuō)，目前，ChatGPT 還沒(méi)有接受足夠專(zhuān)業(yè)的內容培訓，無(wú)法對技術(shù)主題有所幫助。Kareem Carr 是馬薩諸塞州劍橋市哈佛大學(xué)的生物統計學(xué)博士生，當他在工作中試用它時(shí)，他感到不知所措?！肝艺J為 ChatGPT 很難達到我需要的特異性水平，」他說(shuō)。（即便如此，卡爾說(shuō)，當他向 ChatGPT 詢(xún)問(wèn)解決研究問(wèn)題的 20 種方法時(shí)，它回復了胡言亂語(yǔ)和一個(gè)有用的想法——一個(gè)他從未聽(tīng)說(shuō)過(guò)的統計術(shù)語(yǔ)，將他引向了學(xué)術(shù)文獻的一個(gè)新領(lǐng)域。）
一些科技公司正在根據專(zhuān)業(yè)科學(xué)文獻對聊天機器人進(jìn)行培訓——盡管它們也遇到了自己的問(wèn)題。2022 年 11 月，擁有 Facebook 的科技巨頭 Meta 發(fā)布了一個(gè)名為 Galactica 的 LLMs 項目，該項目接受過(guò)科學(xué)摘要培訓，旨在使其特別擅長(cháng)制作學(xué)術(shù)內容和回答研究問(wèn)題。在用戶(hù)讓它產(chǎn)生不準確和種族主義之后，該演示已從公共訪(fǎng)問(wèn)中撤出（盡管其代碼仍然可用）?！覆辉倏赡芡ㄟ^(guò)隨意濫用它來(lái)獲得一些樂(lè )趣。開(kāi)心嗎？」Meta 的首席人工智能科學(xué)家 Yann LeCun 在推特上回應批評。
安全與責任
Galactica 遇到了倫理學(xué)家多年來(lái)一直指出的一個(gè)熟悉的安全問(wèn)題：如果沒(méi)有輸出控制，LLM 很容易被用來(lái)生成仇恨言論和垃圾郵件，以及可能隱含在其訓練數據中的種族主義、性別歧視和其他有害聯(lián)想。
密歇根大學(xué)科學(xué)、技術(shù)和公共政策項目主任 Shobita Parthasarathy 說(shuō)，除了直接產(chǎn)生有毒內容外，還有人擔心人工智能聊天機器人會(huì )從他們的訓練數據中嵌入歷史偏見(jiàn)或關(guān)于世界的想法，例如特定文化的優(yōu)越性。她補充說(shuō)，由于創(chuàng )建大型 LLM 的公司大多處于這些文化中，并且來(lái)自這些文化，因此他們可能很少?lài)L試克服這種系統性且難以糾正的偏見(jiàn)。
OpenAI 在決定公開(kāi)發(fā)布 ChatGPT 時(shí)試圖回避其中的許多問(wèn)題。它將其知識庫限制在 2021 年，阻止其瀏覽互聯(lián)網(wǎng)并安裝過(guò)濾器以試圖讓該工具拒絕為敏感或有毒提示生成內容。然而，要實(shí)現這一點(diǎn)，需要人工審核員來(lái)標記有毒文本。記者報道說(shuō)，這些工人的工資很低，有些人還受到了創(chuàng )傷。社交媒體公司也對工人剝削提出了類(lèi)似的擔憂(yōu)，這些公司雇用人員來(lái)訓練自動(dòng)機器人來(lái)標記有毒內容。
OpenAI 的護欄并沒(méi)有完全成功。2022 年 12 月，加州大學(xué)伯克利分校的計算神經(jīng)科學(xué)家 Steven Piantadosi 在推特上表示，他已要求 ChatGPT 開(kāi)發(fā)一個(gè) Python 程序，以確定一個(gè)人是否應該根據其原籍國受到酷刑。聊天機器人回復了代碼，邀請用戶(hù)輸入一個(gè)國家；如果那個(gè)國家是朝鮮、敘利亞、伊朗或蘇丹，則打印「這個(gè)人應該受到折磨」。（OpenAI 隨后關(guān)閉了此類(lèi)問(wèn)題。）
2022 年，一群學(xué)者發(fā)布了一個(gè)名為 BLOOM 的替代 LLMs。研究人員試圖通過(guò)在少量高質(zhì)量的多語(yǔ)言文本源上對其進(jìn)行訓練來(lái)減少有害輸出。相關(guān)團隊還完全開(kāi)放了其訓練數據（與 OpenAI 不同）。研究人員已敦促大型科技公司負責任地效仿這個(gè)例子——但尚不清楚他們是否會(huì )遵守。
一些研究人員表示，學(xué)術(shù)界應該完全拒絕支持大型商業(yè) LLM。除了偏見(jiàn)、安全問(wèn)題和受剝削的工人等問(wèn)題外，這些計算密集型算法還需要大量能量來(lái)訓練，這引發(fā)了人們對其生態(tài)足跡的擔憂(yōu)。更令人擔憂(yōu)的是，通過(guò)將思維轉移給自動(dòng)聊天機器人，研究人員可能會(huì )失去表達自己想法的能力?！缸鳛閷W(xué)者，我們?yōu)槭裁磿?huì )急于使用和宣傳這種產(chǎn)品？」 荷蘭拉德堡德大學(xué)大學(xué)的計算認知科學(xué)家 Iris van Rooij 在一篇博文中寫(xiě)道，敦促學(xué)術(shù)界抵制他們的吸引力。
進(jìn)一步的混亂是一些 LLMs 的法律地位，這些 LLMs 是根據從互聯(lián)網(wǎng)上抓取的內容進(jìn)行培訓的，有時(shí)權限不太明確。版權和許可法目前涵蓋像素、文本和軟件的直接復制，但不包括其風(fēng)格的模仿。當這些通過(guò) AI 生成的模仿品通過(guò)攝取原件進(jìn)行訓練時(shí)，就會(huì )出現問(wèn)題。包括 Stable Diffusion 和 Midjourney 在內的一些 AI 藝術(shù)程序的創(chuàng )作者目前正在被藝術(shù)家和攝影機構起訴；OpenAI 和微軟（連同其子公司技術(shù)網(wǎng)站 GitHub）也因創(chuàng )建其 AI 編碼助手 Copilot 而被起訴盜版軟件。英國紐卡斯爾大學(xué)互聯(lián)網(wǎng)法專(zhuān)家 Lilian Edwards 表示，強烈抗議可能會(huì )迫使法律發(fā)生變化。
強制誠實(shí)使用
一些研究人員表示，因此，為這些工具設定界限可能至關(guān)重要。Edwards 建議，現有的關(guān)于歧視和偏見(jiàn)的法律（以及計劃中的對 AI 的危險使用的監管）將有助于保持 LLM 的使用誠實(shí)、透明和公平?！改抢镉写罅康姆?，」她說(shuō)，「這只是應用它或稍微調整它的問(wèn)題?！?/span>
同時(shí)，有人推動(dòng) LLM 的使用透明公開(kāi)。學(xué)術(shù)出版商（包括《Nature》的出版商）表示，科學(xué)家應該在研究論文中披露 LLM 的使用情況；老師們表示，他們希望學(xué)生也有類(lèi)似的行為?！禨cience》雜志走得更遠，稱(chēng)不能在論文中使用由 ChatGPT 或任何其他人工智能工具生成的文本。
一個(gè)關(guān)鍵的技術(shù)問(wèn)題是人工智能生成的內容是否可以輕易被發(fā)現。許多研究人員正致力于此，其中心思想是使用 LLM 本身來(lái)發(fā)現 AI 創(chuàng )建的文本的輸出。
例如，2022 年 12 月，新澤西州普林斯頓大學(xué)計算機科學(xué)本科生 Edward Tian 發(fā)布了 GPTZero。這種 AI 檢測工具以?xún)煞N方式分析文本。一個(gè)是「困惑」，衡量 LLMs 對文本的熟悉程度。Tian 的工具使用了一個(gè)早期的模型，稱(chēng)為 GPT-2；如果它發(fā)現大部分單詞和句子都是可預測的，那么文本很可能是人工智能生成的。該工具還檢查文本的變化，一種稱(chēng)為「突發(fā)性」的度量：與人類(lèi)編寫(xiě)的文本相比，人工智能生成的文本在語(yǔ)氣、節奏和困惑度方面往往更加一致。
許多其他產(chǎn)品同樣旨在檢測 AI 編寫(xiě)的內容。OpenAI 本身已經(jīng)發(fā)布了 GPT-2 檢測器，并在 1 月份發(fā)布了另一個(gè)檢測工具。出于科學(xué)家的目的，由反剽竊軟件開(kāi)發(fā)商 Turnitin 公司開(kāi)發(fā)的工具可能特別重要，因為 Turnitin 的產(chǎn)品已被世界各地的學(xué)校、大學(xué)和學(xué)術(shù)出版商使用。該公司表示，自 GPT-3 于 2020 年發(fā)布以來(lái)，它一直在開(kāi)發(fā)人工智能檢測軟件，預計將在今年上半年推出。
然而，這些工具中沒(méi)有一個(gè)聲稱(chēng)是萬(wàn)無(wú)一失的，尤其是在隨后編輯 AI 生成的文本的情況下。此外，德克薩斯大學(xué)奧斯汀分校的計算機科學(xué)家兼 OpenAI 的客座研究員 Scott Aaronson 說(shuō)，檢測器可能會(huì )錯誤地暗示一些人類(lèi)編寫(xiě)的文本是人工智能生成的。該公司表示，在測試中，其最新工具在 9% 的情況下將人類(lèi)編寫(xiě)的文本錯誤地標記為 AI 編寫(xiě)的，并且僅正確識別了 26% 的 AI 編寫(xiě)的文本。Aaronson 說(shuō)，例如，在指控一名學(xué)生僅僅根據檢測器測試隱瞞他們對 AI 的使用之前，可能需要進(jìn)一步的證據。
另一個(gè)想法是人工智能內容將帶有自己的水印。2022 年 11 月，Aaronson 宣布他和 OpenAI 正在研究一種為 ChatGPT 輸出添加水印的方法。它尚未發(fā)布，但由馬里蘭大學(xué)帕克分校的計算機科學(xué)家 Tom Goldstein 領(lǐng)導的團隊在 1 月 24 日發(fā)布的預印本提出了一種制作水印的方法。這個(gè)想法是在 LLM 生成輸出的特定時(shí)刻使用隨機數生成器，以創(chuàng )建 LLM 被指示從中選擇的合理替代詞列表。這會(huì )在最終文本中留下一些選定單詞的痕跡，這些單詞可以通過(guò)統計方式識別，但對讀者來(lái)說(shuō)并不明顯。編輯可能會(huì )消除這種痕跡，但戈德斯坦建議編輯必須更改超過(guò)一半的單詞。
論文鏈接：https://arxiv.org/abs/2301.10226
Aaronson 指出，加水印的一個(gè)優(yōu)點(diǎn)是它很少產(chǎn)生誤報。如果有水印，則文本可能是用 AI 生成的。不過(guò)，它不會(huì )是萬(wàn)無(wú)一失的，他說(shuō)：「如果你有足夠的決心，肯定有辦法擊敗任何水印方案?！?檢測工具和水印只會(huì )讓欺騙性地使用 AI 變得更加困難——并非不可能。
與此同時(shí)，LLM 的創(chuàng )建者正忙于開(kāi)發(fā)基于更大數據集的更復雜的聊天機器人（OpenAI 有望在今年發(fā)布 GPT-4）——包括專(zhuān)門(mén)針對學(xué)術(shù)或醫學(xué)工作的工具。2022 年 12 月下旬，谷歌和 DeepMind 發(fā)布了一份關(guān)于名為 Med-PaLM 的以臨床為重點(diǎn)的 LLMs 的預印本。該工具幾乎可以像普通人類(lèi)醫生一樣回答一些開(kāi)放式的醫學(xué)問(wèn)題，盡管它仍然有缺點(diǎn)和不可靠。
論文鏈接：https://arxiv.org/abs/2212.13138
斯克里普斯研究轉化研究所（位于圣地亞哥）所長(cháng) Eric Topol 表示，他希望在未來(lái)，包括 LLMs 在內的 AI 甚至可以通過(guò)交叉檢查來(lái)自學(xué)術(shù)界的文本來(lái)幫助診斷癌癥和了解這種疾病。反對身體掃描圖像的文學(xué)。但他強調，這一切都需要專(zhuān)家的明智監督。
生成人工智能背后的計算機科學(xué)發(fā)展如此之快，以至于每個(gè)月都會(huì )出現創(chuàng )新。研究人員如何選擇使用它們將決定他們和我們的未來(lái)?！刚J為在 2023 年初，我們已經(jīng)看到了這種情況的結束，這太瘋狂了?！筎opol 說(shuō)，「真的才剛剛開(kāi)始?！?/span>
相關(guān)報道：https://www.nature.com/articles/d41586-023-00340-6