復旦發(fā)布中國版ChatGPT：MOSS開(kāi)啟測試沖上熱搜，服務(wù)器擠爆
發(fā)布人：傳感器技術(shù)
時(shí)間：2023-02-22
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
機器之心報道
編輯：澤南、蛋醬
不知道這個(gè)人工智能，有沒(méi)有獲得完整的一生。
ChatGPT 是最先進(jìn)的 AI，也是最熱門(mén)的應用 —— 自去年 11 月底發(fā)布以來(lái)，它的月活躍用戶(hù)兩個(gè)月超過(guò)一億，輕松拿到了全球互聯(lián)網(wǎng)史上用戶(hù)增長(cháng)速度的第一。
它也是一種門(mén)檻很高的技術(shù)。由于 ChatGPT 的訓練過(guò)程所需算力資源大、標注成本高，目前國內暫未出現對大眾開(kāi)放的同類(lèi)產(chǎn)品。百度、阿里、京東等互聯(lián)網(wǎng)大廠(chǎng)都放出消息，表示正在打造「國產(chǎn) ChatGPT」，并將在近期發(fā)布。
在各大廠(chǎng)產(chǎn)品到位之前，學(xué)界先有了消息。2 月 20 日晚，復旦大學(xué)自然語(yǔ)言處理實(shí)驗室發(fā)布了具備 ChatGPT 能力的語(yǔ)言模型 ——MOSS，并面向大眾公開(kāi)邀請內測。
- MOSS 體驗鏈接：https://moss.fastnlp.top/
- MOSS 項目主頁(yè)：https://txsun1997.github.io/blogs/moss.html
MOSS 的名稱(chēng)來(lái)自電影《流浪地球》，和電影一樣火的是，MOSS 發(fā)布的消息很快沖上了知乎等平臺熱搜榜的第一位。
不過(guò)與科幻不同的是，現實(shí)世界的 AI 還沒(méi)有量子計算機加持，距離開(kāi)放還沒(méi)有過(guò) 24 個(gè)小時(shí)，由于瞬時(shí)訪(fǎng)問(wèn)壓力過(guò)大，MOSS 服務(wù)器昨晚已被擠爆，可見(jiàn)大家對于生成語(yǔ)言模型的期待程度有多高。
據復旦大學(xué)研究人員介紹，目前在內測，與用戶(hù)交互迭代優(yōu)化，不適合公測。
我們知道，自然語(yǔ)言處理是 AI 領(lǐng)域的最大挑戰之一，雖然突破已經(jīng)出現，但這個(gè)月上線(xiàn)的新必應搜索，以及谷歌發(fā)布的競品 BARD 在測試中不時(shí)會(huì )出現問(wèn)題，復旦大學(xué)的 MOSS 水平如何呢？
對話(huà) MOSS，水平如何？
MOSS 的基礎功能與 ChatGPT 類(lèi)似，可以按照用戶(hù)輸入的指令完成各類(lèi)自然語(yǔ)言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。在預覽期間，MOSS 的使用是免費的。
MOSS 和 ChatGPT 一樣，構建的過(guò)程包括自然語(yǔ)言基礎模型訓練，以及理解人類(lèi)意圖的對話(huà)能力訓練兩個(gè)階段。
據項目主頁(yè)介紹，MOSS 和 ChatGPT 的主要區別在于：
- MOSS 的參數數量比 ChatGPT 少得多。
- MOSS 通過(guò)與人類(lèi)和其他人工智能模型交談來(lái)學(xué)習，而 ChatGPT 則通過(guò)人類(lèi)反饋強化學(xué)習（RLHF）進(jìn)行訓練。
- MOSS 將是開(kāi)源的，以促進(jìn)未來(lái)的研究，但 ChatGPT 可能不會(huì )。
MOSS 的對話(huà)水平如何，讓我們看幾個(gè)示例。以下是 MOSS 生成的一些交互記錄：
在這個(gè)例子中，用戶(hù)首先要求 MOSS 推薦五部科幻電影，接著(zhù)要求 MOSS 生成了一個(gè)表格來(lái)展示這些電影以及它們的導演，最后要求 MOSS 在表格中新插入一列來(lái)展示這些電影的上映年份。完成這一任務(wù)需要語(yǔ)言模型具備強大的多輪交互能力和指令理解能力，MOSS 顯然在這兩方面表現優(yōu)異。
與 ChatGPT 類(lèi)似，MOSS 有時(shí)也會(huì )輸出一些事實(shí)性錯誤的例子，比如例子中《黑客帝國》的導演并不是 Thomas Neff，而是沃卓斯基兄弟（姐妹）。
除了多輪對話(huà)，MOSS 生成代碼也不在話(huà)下。在下面的例子中，MOSS 不僅可以為用戶(hù)提供實(shí)現快速排序的 Python 代碼，還能在用戶(hù)的要求下對這段代碼提供解釋和使用示例，可謂是手把手教學(xué)的程序員了。
除了讓 MOSS 幫忙寫(xiě)代碼之外，還可以向 MOSS 詢(xún)問(wèn)有關(guān)代碼細節的問(wèn)題，讓其更好地幫助理解代碼。在下面的例子中，用戶(hù)向 MOSS 詢(xún)問(wèn)了一段代碼的編程語(yǔ)言和功能，并進(jìn)一步提問(wèn)了其中一個(gè)函數的作用，MOSS 均給出了滿(mǎn)意的回復。
此外，MOSS 還具備人類(lèi)的價(jià)值觀(guān)，當被要求回答不合理的問(wèn)題時(shí)，MOSS 會(huì )拒絕回答并給出正確的勸導。
據了解，MOSS 采用參數量為百億級的自研模型進(jìn)行訓練。在對話(huà)能力訓練階段，OpenAI 收集了至少幾十萬(wàn)條人類(lèi)指令 —— 讓各行各業(yè)的專(zhuān)業(yè)標注員寫(xiě)出指令回復，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復旦團隊則采用不同的技術(shù)路線(xiàn)，通過(guò)讓 MOSS 和人類(lèi)以及其它 AI 模型都進(jìn)行交互，顯著(zhù)提升了學(xué)習效率和研發(fā)效率，短時(shí)間內高效完成了對話(huà)能力訓練。
研發(fā)團隊表示，雖然 MOSS 已經(jīng)實(shí)現了 ChatGPT 的一些功能，但仍然存在許多限制，由于缺乏高質(zhì)量的數據、計算資源和模型容量，MOSS 仍然遠遠落后于 ChatGPT。
- 由于訓練數據中的多語(yǔ)言語(yǔ)料庫有限，MOSS 在理解和生成英語(yǔ)以外的語(yǔ)言的文本方面表現不佳。團隊目前正在開(kāi)發(fā)一個(gè)改進(jìn)版本，以提高其中文語(yǔ)言技能。
- 由于模型容量相對較小，MOSS 不包含足夠的世界知識。因此，MOSS 生成的一些響應可能包含誤導性或虛假信息。
- 有時(shí) MOSS 以迂回的方式執行，甚至未能遵循指示。在這種情況下，用戶(hù)可能需要重新生成幾次或修改 prompt，以獲得令人滿(mǎn)意的回復。團隊正在積極提高其遵循指示的能力以及生產(chǎn)力。
- 有時(shí) MOSS 可能會(huì )因 prompt 生成不道德或有害的反應。用戶(hù)可通過(guò)單擊 “不喜歡” 來(lái)幫助減少此類(lèi)行為，團隊將在下一個(gè)版本中更新模型。
研究團隊指出，當前版本的 MOSS 表現仍不穩定，也受到數據集問(wèn)題的影響：「MOSS 的英文回答水平比中文高，因為它的模型基座學(xué)習了 3000 多億個(gè)英文單詞，中文詞語(yǔ)只學(xué)了約 300 億個(gè)?！?/span>
發(fā)布之后，團隊將持續通過(guò)提供 MOSS 的可訪(fǎng)問(wèn)界面，根據寶貴的用戶(hù)反饋（在許可下）不斷改進(jìn)模型。
，時(shí)長(cháng)00:37
未來(lái)，研究人員還計劃結合復旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予 MOSS 繪圖、語(yǔ)音、譜曲等多模態(tài)能力，并加強它輔助科學(xué)家進(jìn)行高效科研的能力等。
期待 MOSS 能為國內對話(huà)大模型的發(fā)展開(kāi)一個(gè)好頭。
團隊介紹
MOSS 的主要作者共有兩位：復旦大學(xué)教授邱錫鵬和他的博士生孫天祥。此外還有多位成員對項目有所貢獻。
邱錫鵬，復旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授，博士生導師。國家優(yōu)青獲得者，于復旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。主要從事自然語(yǔ)言處理、深度學(xué)習等方向的研究，發(fā)表 CCF A/B 類(lèi)論文 70 余篇，獲得 ACL 2017 杰出論文獎（CCF A 類(lèi)）、CCL 2019 最佳論文獎、《中國科學(xué)：技術(shù)科學(xué)》2021 年度高影響力論文獎，有 5 篇論文入選 PaperDigest 發(fā)布的 IJCAI/ACL/EMNLP 的最有影響力論文（被引用數進(jìn)入前當屆會(huì )議的 20 名）。出版開(kāi)源專(zhuān)著(zhù)《神經(jīng)網(wǎng)絡(luò )與深度學(xué)習》，Github 關(guān)注數 1.5 萬(wàn)，豆瓣評分 9.4 分。主持開(kāi)發(fā)了開(kāi)源框架 FudanNLP 和 FastNLP，已被國內外數百家單位使用。2015 年入選首屆中國科協(xié)青年人才托舉工程項目，2018 年獲錢(qián)偉長(cháng)中文信息處理科學(xué)技術(shù)獎青年創(chuàng )新獎一等獎，2020 獲第四屆上海高校青年教師教學(xué)競賽優(yōu)等獎，2021 年獲首屆上海市計算機學(xué)會(huì )教學(xué)成果獎一等獎（第一完成人）等。培養學(xué)生多次獲得一級學(xué)會(huì )優(yōu)博、微軟學(xué)者、百度獎學(xué)金等。
孫天祥，復旦大學(xué)計算機科學(xué)學(xué)院博士生，導師為邱錫鵬教授和黃萱菁教授。2019 年畢業(yè)于西安電子科技大學(xué)。研究興趣集中于機器學(xué)習及其在自然語(yǔ)言處理中的應用，特別是預訓練語(yǔ)言模型的高效微調及推理、多任務(wù)學(xué)習、知識表示學(xué)習等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等會(huì )議發(fā)表多篇論文。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
