大格局！第四范式要在一年內開(kāi)源95%核心技術(shù)

最先落地 AutoML 的那家公司，現在喊出了開(kāi)源。

自動(dòng)機器學(xué)習 AutoML 技術(shù)，可以把特征提取、模型選擇、參數調節等機器學(xué)習的復雜過(guò)程實(shí)現自動(dòng)化。這種能夠大幅降低 AI 應用門(mén)檻的工具，是目前人工智能業(yè)界炙手可熱的方向。

第四范式成立之初就開(kāi)始投入力量研究 AutoML 技術(shù)，現在又把自動(dòng)化 AI 的能力拓展到 AI 應用的大多數環(huán)節。

在 6 月 23 日的年度發(fā)布會(huì )上，第四范式的 AI 操作系統 AIOS 升級到了 2.0 版。更引人關(guān)注的是，這家公司還計劃在一年內將 95% 核心技術(shù)開(kāi)源出來(lái)。

「我們把最核心的數據和算力技術(shù)開(kāi)源給技術(shù)社區，它們是開(kāi)發(fā)者最需要的東西?！沟谒姆妒铰?lián)合創(chuàng )始人、首席研究科學(xué)家陳雨強說(shuō)道。

第四范式技術(shù)副總裁鄭曌等人在發(fā)布會(huì )上宣布了 AIOS 核心技術(shù)的開(kāi)源。

從零開(kāi)始，構建 AI 數據引擎

首先是機器學(xué)習數據庫 OpenMLDB。在 AI 時(shí)代，機器學(xué)習模型不斷高頻次演進(jìn)，這意味著(zhù)數據供給的重要性不斷提升。但即使是在大型科技公司里，我們仍然能看到 SQL 數據處理 10 小時(shí)，上線(xiàn)排查 6 個(gè)月這樣的情況。 

「機器學(xué)習技術(shù)實(shí)現理性和瞬時(shí)高效的推理判斷，但不論事務(wù)型數據庫、分析型數據庫還是傳統數倉，在執行這類(lèi)機器學(xué)習任務(wù)時(shí)都無(wú)法保障正確的數據供給」在發(fā)布會(huì )當日的技術(shù)分論壇上，第四范式資深架構師王太澤說(shuō)道，「由于不是面向機器學(xué)習的設計，傳統的數據庫無(wú)法完全覆蓋從離線(xiàn)、在線(xiàn)到數據反饋的全流程，對于機器學(xué)習應用來(lái)說(shuō)效率較低?！?/p>

第四范式幫助超過(guò) 120 個(gè)場(chǎng)景完成了數據的開(kāi)發(fā)和矯正，這讓他們的工程師總結出供給正確數據的解法。

與Hadoop、Oracle、MySQL 等目前流行的數據庫相比，第四范式提出的OpenMLDB，定位是為AI 而生的機器學(xué)習數據庫，而這也是目前行業(yè)內的空白。

OpenMLDB 解決了 3 個(gè)機器學(xué)習的核心數據問(wèn)題：

首先是離線(xiàn)在線(xiàn)不一致，OpenMLDB 通過(guò)統一的數據存儲引擎避免了跨數據庫的信息交換。另一方面，通過(guò)統一的數據計算引擎，這套系統使離線(xiàn)和在線(xiàn)使用同一套計算邏輯，確保了總結規律和線(xiàn)索演算時(shí)思維方式的一致。

其次是時(shí)序正確性：在超過(guò)一半的場(chǎng)景中，由于傳統的數據庫系統無(wú)區別對待歷史經(jīng)驗和未知信息，數據科學(xué)家在數據開(kāi)發(fā)過(guò)程中產(chǎn)生了時(shí)序泄露，在進(jìn)行規律總結的時(shí)候使用到了不該使用、來(lái)自于未來(lái)的「穿越數據」。OpenMLDB 通過(guò)使用自動(dòng)時(shí)序拼接語(yǔ)法和時(shí)序泄露檢測模塊，避免了錯誤的數據使用。 

最后是閉環(huán)完整性，機器學(xué)習需要將線(xiàn)索演算以及業(yè)務(wù)推理判斷正確與否的反饋沉淀成經(jīng)驗和知識，這需要數據庫系統能夠具備 將線(xiàn)索推演，以及判斷的反饋，進(jìn)行正確關(guān)聯(lián)的能力。OpenMLDB 通過(guò)對線(xiàn)索與反饋的自動(dòng)拼接檢測與自動(dòng)關(guān)聯(lián)，保障了唯一拼接標識，避免了數據拼接錯位的問(wèn)題。 

在從傳統數據庫系統切換到 OpenMLDB 后，開(kāi)發(fā)過(guò)程的數據正確性得到了保障。除了性能上的優(yōu)化外， OpenMLDB 在使用上也很方便，它支持標準 JDBC、Restfull 和 SQL 接口。

「MLDB 是我們的核心能力。在機器學(xué)習數據庫上，我們的技術(shù)是非常領(lǐng)先的，」陳雨強表示。在一些 AI 決策任務(wù)中，使用 OpenMLDB 的開(kāi)發(fā)效率可以提升多達 8 倍，相比傳統數據庫進(jìn)行線(xiàn)上實(shí)時(shí)特征計算時(shí)，使用 OpenMLDB 能夠 3 到 10 倍的性能提升。

為 AI 而生的操作系統

在平臺側，第四范式推出了為 AI 而生的的操作系統內核——OpenAIOS。

AI 的應用深入來(lái)看要經(jīng)歷十幾個(gè)步驟，不同的技術(shù)組件支撐了不同的步驟，而每一個(gè)步驟對資源的需求又有著(zhù)較大的不同。第四范式將這些環(huán)節的能力面向計算、存儲、通信三個(gè)方面進(jìn)行了進(jìn)一步的抽象和沉淀。

越來(lái)越多AI異構芯片的出現，加速了AI異構計算芯片對操作系統內核進(jìn)行管理的細分需求，把計算負載從操作系統內核調度到集群上不同機器的不同芯片上。除了AI異構芯片外，不同的異構存儲介質(zhì)、異構通信設備都需要操作系統內核進(jìn)行統一的管理。在異構設備管理的基礎之上，保障任務(wù)的成功率與資源利用率，需要操作系統內核提供軟硬協(xié)同的整體調度策略。

為了實(shí)現有效的算力，第四范式研究人員實(shí)現了異構 Kernel 深度優(yōu)化、計算協(xié)同處理、資源調度等能力：

在算力方面，當數據量大到通用計算芯片無(wú)法處理時(shí)，OpenAIOS 的多級計算內核有針對性的設計硬件之間的協(xié)同處理策略，將計算任務(wù)進(jìn)行工作量拆分，通過(guò)統一的智能化調度，將拆分后的任務(wù)給到不同的專(zhuān)用計算芯片進(jìn)行處理。

在存儲方面，因為內存和顯存不夠導致的任務(wù)失敗是開(kāi)發(fā)者最常遇到的難題。在不侵入現有應用和代碼的情況下，OpenAIOS 在操作系統內部建立了一套面向內存和顯存的多級存儲內核，通過(guò)自動(dòng)擴容策略和多級緩存機制將存儲容量進(jìn)行擴展，提高了任務(wù)的成功率。 

在通信速率方面，數據的交換效率是人們關(guān)注的重點(diǎn)，OpenAIOS 提供了多級通信內核，在機器學(xué)習特有的梯度權重交換等環(huán)節，提供了低延遲、高吞吐的通信框架， 以及面向異構加速器的專(zhuān)用通信協(xié)議，減輕數據通信上的壓力。

多設備的情況下，OpenAIOS 可以高效率調動(dòng) GPU 算力，提升模型訓練時(shí)的速度。在 GPU 虛擬化的工作中，第四范式系統率先實(shí)現了應用零改造的顯存擴容。

第四范式技術(shù)副總裁鄭曌在發(fā)布會(huì )上宣布開(kāi)源機器學(xué)習操作系統內核 OpenAIOS，以及面向實(shí)時(shí)智能決策的分布式機器學(xué)習數據庫 OpenMLDB，面向開(kāi)發(fā)者提供開(kāi)箱即用的技術(shù)能力。

開(kāi)源地址：

OpenMLDB Github:

https://github.com/4paradigm/OpenMLDB

OpenAIOS Github:

https://github.com/4paradigm/openaios-platform

基于OpenAIOS內核，『AIOS社區版』也已經(jīng)正式上線(xiàn)，AIOS的核心技術(shù)都會(huì )以「社區版」的形式，免費向開(kāi)源社區開(kāi)放， AIOS 社區版擁有多元的開(kāi)發(fā)體驗，支持  Visual Studio、VSCode、Jupyter Notebook 等桌面和遠程開(kāi)發(fā)工具，內置核心應用和商店，同時(shí)支持第三方應用，又使用了原生的 Kubernetes 環(huán)境，擁抱所有云原生應用。

『AIOS社區版』：openaios.4paradigm.com

鄭曌還宣布了 Knot「中國結」計劃：在未來(lái)一年之內，公司將實(shí)現 95% 以上的核心技術(shù)開(kāi)源開(kāi)放，并為各家企業(yè)共計培養超過(guò)一萬(wàn)名 AI 應用開(kāi)發(fā)工程師。

「我們相信 AI 決策是幫助企業(yè)轉型的新范式，是能夠帶領(lǐng)企業(yè)走向質(zhì)變的重要方法。第四范式希望能夠幫助開(kāi)發(fā)者做越來(lái)越多重要的工作」鄭曌說(shuō)道。