科技公司史上第一次：Meta開(kāi)源GPT3參數大小的AI模型

　　在生成文本段落、模擬人類(lèi)對話(huà)及解決數學(xué)問(wèn)題表現驚人的大型語(yǔ)言模型，顯然是這幾年AI發(fā)展最熱門(mén)的領(lǐng)域之一。但這樣的大型語(yǔ)言模型不僅能夠自行生成有害內容，還可以將這樣的內容通過(guò)在其上構建的下游應用程序傳播開(kāi)來(lái)。

　　理論上，更多人的參與對問(wèn)題的解決應該會(huì )有所幫助。然而，由于語(yǔ)言模型的訓練需要大量的數據和計算能力，迄今為止，它們仍然只是大型科技公司的特有項目。而在更廣泛的群體如學(xué)界，以及擔心人工智能濫用的倫理學(xué)家和社會(huì )科學(xué)家中，只有旁觀(guān)的選項。

　　“我相信建立信任的唯一方法是極度透明?！?a class="contentlabel" href="http://dyxdggzs.com/news/listbylabel/label/Meta">Meta AI的常務(wù)董事喬爾·皮諾（Joelle Pineau）說(shuō)。當地時(shí)間5月3日，Meta AI開(kāi)放了擁有1750億參數的大語(yǔ)言模型OPT-175B（Open Pretrained Transformer，OPT）。

對于大型科技公司來(lái)說(shuō)，這是一個(gè)前所未有的舉動(dòng)。即使是在大語(yǔ)言模型歷史上，這也是第一次毫無(wú)保留，把預訓練模型、訓練代碼以及使用代碼全部公開(kāi)。

　　“我們中的很多人都是大學(xué)的研究人員，”皮諾說(shuō)，“我們知道大學(xué)和行業(yè)在建立這些模式的能力方面存在明顯的差距。讓研究人員共同討論這一技術(shù)的好處是顯而易見(jiàn)的?！彼Ｍ渌四茏屑氀芯克麄兊墓ぷ?，對其進(jìn)行拆解分析，或者在此基礎上構建。她認為，當更多的人參與進(jìn)來(lái)時(shí)，突破就會(huì )更快實(shí)現。

　　OPT語(yǔ)言模型中約有1750億個(gè)參數（這些參數是神經(jīng)網(wǎng)絡(luò )在訓練過(guò)程中可以被調整的參數），與OpenAI開(kāi)創(chuàng )性的神經(jīng)網(wǎng)絡(luò )GPT-3規?；鞠嗤?，同時(shí)具有付費服務(wù)GPT-3的非凡能力和不可避免的缺陷。

　　皮諾不諱言，“這是經(jīng)過(guò)精心設計的”，該團隊在建立OPT時(shí)就考慮在語(yǔ)言任務(wù)的準確性和有害性方面與GPT-3相匹配。OPT是為了給研究人員提供一個(gè)類(lèi)似的語(yǔ)言模型來(lái)進(jìn)行研究。

　　OpenAI拒絕了對Meta的聲明發(fā)表評論。

　　OpenAI的母公司谷歌正在探索在其搜索產(chǎn)品中使用大型語(yǔ)言模型，但也因為缺乏透明度而受到批評。谷歌在這方面受到諸多爭議，其曾在人工智能倫理研究員Timnit Gebru想要發(fā)表一篇有關(guān)谷歌在當時(shí)的語(yǔ)言系統可能會(huì )從網(wǎng)站上學(xué)習包含偏見(jiàn)和仇恨言論的論文后辭退他，最近又解雇一位對已發(fā)表研究提出異議的員工。

　　那么，Meta為什么要這樣做呢？畢竟Meta也是一家很少提及臉書(shū)和Instagram背后算法工作原理的科技公司，還曾以讓其內部研究團隊隱瞞對其不利的問(wèn)題而聞名。

　　《麻省理工科技評論》認為，Meta采取不同方法的一個(gè)重要原因是皮諾本人，她多年來(lái)一直在推動(dòng)人工智能研發(fā)過(guò)程中的透明度。

　　在核心學(xué)術(shù)會(huì )議發(fā)表研究的方式上，皮諾要求研究人員必須將包括代碼和有關(guān)如何進(jìn)行實(shí)驗的詳細信息與結果一起提交。她自2017年加入Meta（當時(shí)的Facebook）以來(lái)，一直在其人工智能實(shí)驗室倡導這種文化。

　　“Meta對開(kāi)放科學(xué)的承諾是我在這里的原因，”皮諾說(shuō)，“我不會(huì )因為其他條件來(lái)到這里工作?！?/p>

　　除了代碼外，Meta也公布了開(kāi)發(fā)日志。日志包含團隊成員對于數據訓練的每日更新：如何將其添加到模型中，以及何時(shí)、哪些有效、哪些無(wú)效。在100多頁(yè)的筆記中，研究人員記錄了從2021年10月到2022年1月不間斷運行的三個(gè)月訓練過(guò)程中的每個(gè)錯誤、崩潰和重啟。

　　斯坦福大學(xué)基礎模型研究中心主任Percy Liang將大模型的開(kāi)放程度總結成4個(gè)層次：

　　第一層論文開(kāi)放，證明一些設想的可行性，并提供構建思路；第二層API開(kāi)放，允許研究人員探索和評估現有模型的能力（如推理能力）和限制（如偏見(jiàn)）；第三層模型權重開(kāi)放和訓練數據開(kāi)放，允許研究人員逐步改進(jìn)現有模型，開(kāi)發(fā)更深入的可解釋性技術(shù)和更有效的微調方法，讓研究人員更好地理解訓練數據在模型行為中的作用；第四層計算能力開(kāi)放，允許研究人員嘗試新的體系結構、訓練目標和過(guò)程、進(jìn)行數據融合，并在不同的領(lǐng)域開(kāi)發(fā)全新的模型。

　　“更高層次的開(kāi)放能讓研究者專(zhuān)注于更深的問(wèn)題，也同時(shí)會(huì )帶來(lái)更多風(fēng)險?！盤(pán)ercy Liang明確指出這一點(diǎn)。

　　Meta此次以這樣的程度開(kāi)源其大型語(yǔ)言模型是一個(gè)非常大膽的舉措，可能會(huì )產(chǎn)生當下想象不到的風(fēng)險。這也是OpenAI對于不發(fā)布GPT-3的前身GPT-2給出的原因。

　　“我不能告訴你，這種模型不會(huì )產(chǎn)生其他可怕的風(fēng)險?！逼ぶZ駁斥了“僅僅是因為它太危險”，所以不應該發(fā)布模型的想法。她說(shuō)道，“我理解這些模型的弱點(diǎn)，但這不是一種研究心態(tài)?！?/p>

　　據《麻省理工科技評論》，曾在被谷歌因“違反了其行為準則”辭退的人工智能倫理研究員瑪格麗特·米切爾（Margaret Mitchell）認為，OPT的發(fā)布是一個(gè)積極的舉措。但她認為透明度是有限度的。她提問(wèn)道，“語(yǔ)言模型是否經(jīng)過(guò)了足夠嚴格的測試？可預見(jiàn)的好處是否超過(guò)了其可預見(jiàn)的危害？在這個(gè)過(guò)程中如何避免錯誤信息的產(chǎn)生，或種族主義和厭惡女性的語(yǔ)言？“

　　華盛頓大學(xué)的計算語(yǔ)言學(xué)家艾米麗·M·本德（Emily M.Bender）曾在谷歌中心與米切爾共同合作過(guò)相關(guān)研究，她也擔心著(zhù)如何處理潛在的危害?！敖档腿魏螜C器學(xué)習技術(shù)風(fēng)險的真正關(guān)鍵是要在特定用例中進(jìn)行評估和探索，例如這個(gè)系統是用來(lái)做什么的？誰(shuí)將使用它？系統輸出將如何呈現給他們？”

　　對于皮諾來(lái)說(shuō)，這些擔憂(yōu)應該通過(guò)更多的公開(kāi)討論來(lái)解決，而不是減少溝通?！笆澜绺鞯氐娜藗儗τ谑裁礃拥膶υ?huà)是合適的有不同的看法，而人工智能是對話(huà)的一部分，”皮諾并不是希望語(yǔ)言模型能說(shuō)出令每個(gè)人都同意的話(huà)，“但我們該如何應對呢？那就是在討論過(guò)程中多去聽(tīng)卻他人的聲音”。