ChatGPT背后的開(kāi)源AI框架Ray，現在值10億美元

Ray 被 OpenAI、亞馬遜等科技公司用來(lái)開(kāi)發(fā)大模型，是最近異軍突起的框架。

最近一段時(shí)間，文本生成的人工智能在互聯(lián)網(wǎng)上掀起了一陣風(fēng)暴：ChatGPT 因為可以對人們能想到的幾乎任何問(wèn)題提供非常詳細、近乎逼真的回答而受到追捧。大模型應用的出現讓人們對于 AI 技術(shù)突破充滿(mǎn)了信心，不過(guò)很少有人知道在其背后，一個(gè)分布式機器學(xué)習框架正為這場(chǎng)生成式 AI 革命提供動(dòng)力。

分布式計算框架 Ray 來(lái)自 A16z 支持的初創(chuàng )公司 Anyscale，它是使 OpenAI 能夠強化其訓練 ChatGPT 等模型的關(guān)鍵。在 OpenAI 最近的所有大型語(yǔ)言模型背后都有 Ray 的身影 —— 它可能也會(huì )是 OpenAI 備受期待的 GPT-4 背后的框架。隨著(zhù)大模型技術(shù)的不斷落地，業(yè)內人士認為通過(guò)生成接近人類(lèi)的內容，一個(gè)價(jià)值數十億美元的產(chǎn)業(yè)正在形成。

在這一領(lǐng)域，Ray 是影響力最大的框架。在它出現之前，OpenAI 使用自定義工具集合來(lái)開(kāi)發(fā)大模型。但 OpenAI 總裁 Greg Brockman 在今年早些時(shí)候的 Ray 峰會(huì )上就表示，隨著(zhù)面臨的挑戰增多，該公司已轉而使用 Ray。

軟件公司 Weights & Biases 的 CEO Lukas Biewald 認為，Ray 已是 AI 世界中炙手可熱的后起之秀?！敢驗樾鹿ぞ叱霈F，你可以在筆記本電腦和大型分布式服務(wù)器上運行相同代碼。這是巨大的改變，隨著(zhù)模型變得更大，它的重要性也會(huì )隨之增加，」Biewald 表示。

十億美元的賭注

隨著(zhù)技術(shù)的成熟，Ray 引來(lái)了資本市場(chǎng)的關(guān)注。Anyscale 的股權成為了一種稀缺的商品，據 Business Insider 報道，有知情人士稱(chēng)，其最近一輪融資是 C 輪融資的延伸，估值超過(guò) 10 億美元，幾天內就結束了。

一些投資者將 Anyscale 描述為 Horowitz 充滿(mǎn)希望的「下一個(gè) Databricks」—— 這個(gè)描述看來(lái)不無(wú)道理，因為這家初創(chuàng )公司的創(chuàng )始人之一 Ion Stoica 是市值 310 億美元的數據巨頭 Databricks 的聯(lián)合創(chuàng )始人。

「人工智能的發(fā)展速度令人難以置信，人們一直在嘗試新方法，」Anyscale 首席執行官 Robert Nishihara 表示?！?a class="contentlabel" href="http://dyxdggzs.com/news/listbylabel/label/ChatGPT">ChatGPT 結合了此前大語(yǔ)言模型上的大量工作。在此基礎上，你需要擁有能夠實(shí)現靈活性、快速創(chuàng )新，并擴展不同算法和方法的基礎設施?！?/span>

由于像 ChatGPT 這樣熱門(mén)的新工具背后是越來(lái)越大的模型，科技公司不得不重新考慮從頭開(kāi)始開(kāi)發(fā) AI 的方式。Ray 應運而生，使訓練這些龐大的模型變得更加容易，并且可以包含數千億個(gè)數據點(diǎn)，讓每個(gè)響應都具有準栩栩如生的感覺(jué)。

Ray 如何成為機器學(xué)習的首選工具

Ray 是一個(gè)基于內存共享的分布式計算框架，適用于細粒度的并行計算和異構計算，其提供了一個(gè)底層基礎架構，用于管理分配機器學(xué)習模型訓練工作的復雜任務(wù)。

在 2017 年，UC Berkeley 的研究人員首次提交了 Ray 的論文《 Ray: A Distributed Framework for Emerging AI Applications 》：

在該工作中，研究人員預測了下一代 AI 應用程序的形態(tài)：與環(huán)境存在連續的交互，并從交互動(dòng)作中進(jìn)行學(xué)習。這些應用必然越來(lái)越多地在動(dòng)態(tài)環(huán)境中來(lái)完成任務(wù)，根據環(huán)境的變化作出反應，并執行一系列的動(dòng)作來(lái)達到長(cháng)期目標。這些特性對于運行環(huán)境性能和靈活性等方面提出了全新且苛刻的系統要求，因此研究者提出了基于分布式的 Ray 框架。

Ray 實(shí)現了統一接口，可以表達任務(wù)并行和基于參與者的計算，由單個(gè)動(dòng)態(tài)執行引擎支持。為了滿(mǎn)足性能要求，Ray 采用分布式調度程序和分布式容錯存儲來(lái)管理系統的控制狀態(tài)。它是首個(gè)將訓練、仿真和服務(wù)統一起來(lái)的分布式計算框架，基于動(dòng)態(tài)任務(wù)執行引擎統一了角色并行（actor）和任務(wù)并行（task）的計算，并保障了框架的高可擴展性和高容錯性。

Ray 的架構。

基于該工作，2019 年 12 月，UC Berkeley 的 Robert Nishihara、Philipp Moritz 和 Ion Stoica 以及伯克利教授 Michael I. Jordan 創(chuàng )立了 Anyscale，迄今為止該公司已融資 2.6 億美元。

機器學(xué)習從業(yè)者通?？梢栽谧约旱墓P記本電腦上運行使用有限數據集的小型模型，例如預測用戶(hù)購買(mǎi)產(chǎn)品的簡(jiǎn)單模型。然而，像 ChatGPT 這樣的超大型模型，筆記本電腦是行不通的，這些模型需要大量服務(wù)器來(lái)訓練。

使用大量設備訓練一個(gè)模型要面對一個(gè)重要挑戰 —— 在不同硬件上協(xié)調訓練。而 Ray 恰好解決了這個(gè)難題，它為從業(yè)者提供了一種將不同硬件作為一個(gè)單元來(lái)管理的機制，用于確定什么數據去哪里，處理故障等等，硬件種類(lèi)橫跨谷歌云、AWS 和其他處理相同問(wèn)題的產(chǎn)品組合。此外，Ray 還將其他語(yǔ)言中的一個(gè)關(guān)鍵編程概念「actor」擴展到 Python，眾所周知 Python 是機器學(xué)習程序的首選語(yǔ)言。

作為一個(gè)分布式計算框架，Ray 有兩個(gè)關(guān)鍵優(yōu)勢，分別是位置感知（Locality-aware）和任務(wù)分配（task placement）。如下圖所示，Ray 能夠橫向擴展系統，以支持高吞吐量的細粒度任務(wù)，同時(shí)保持容錯和低延遲任務(wù)調度。

Ray 為 OpenAI 訓練大模型消除了巨大的復雜性，為該公司騰出更多時(shí)間和精力專(zhuān)注于模型的關(guān)鍵能力。

新一代 AI 需要新的開(kāi)發(fā)工具，Ray 只是一系列迅速興起的下一代機器學(xué)習工具中的一個(gè)，這些工具正在迅速顛覆 AI 的開(kāi)發(fā)方式。例如，Google 的 JAX 框架也獲得了巨大關(guān)注，JAX 有望成為谷歌核心機器學(xué)習工具的支柱，已經(jīng)在 DeepMind 和 Google Brain 被廣泛采用。

類(lèi)似地，由 FirstMark Capital 和 Bessemer Venture Partners 支持的初創(chuàng )公司 Coiled 開(kāi)發(fā)了一個(gè)名為 Dask 的并行計算框架。

近來(lái)大型語(yǔ)言模型正在釋放更多潛力，這些新型機器學(xué)習工具將為業(yè)內科技巨頭和初創(chuàng )公司構建更強大的語(yǔ)言模型。