關(guān)于 AIOps 的過(guò)去與未來(lái)，微軟亞洲研究院給我們講了這些故事

作者 | 賈凱強

出品 | AI科技大本營(yíng)（ID:rgznai100）

在過(guò)去的15年里，云計算實(shí)現了飛速發(fā)展，而這種發(fā)展也為諸多的前沿技術(shù)奠定了基礎，AIOps便在此環(huán)境中獲得了良好的發(fā)展契機。在數字化轉型的浪潮下，云計算已經(jīng)成為了整個(gè)社會(huì )的基礎設施之一。當企業(yè)把服務(wù)建立在云上，云計算的平臺性能、安全性等要求也在不斷增加，這種情況下，運維的升級便已如箭在弦上。

為了進(jìn)一步明晰AIOps技術(shù)發(fā)展的趨勢，微軟亞洲研究院常務(wù)副院長(cháng)，微軟杰出首席科學(xué)家張冬梅，微軟亞洲研究院首席研究員林慶維兩位專(zhuān)家為大家做出了明確的解析。

云時(shí)代下，AIOps的希望與契機

在云計算時(shí)代里，云平臺的系統規模已然成為了一種大規模分布式且復雜度非常高的操作系統。系統之間存在各種問(wèn)題，盡管工程師在設計時(shí)已經(jīng)盡量將其模塊化，但不改的依然是系統的復雜度。而要保證復雜系統的穩定、高效和安全等，就必須在整體設計、開(kāi)發(fā)、運維等各方面完成模式轉變。

張冬梅博士介紹稱(chēng)，云計算帶來(lái)的范式轉變主要包括了四個(gè)層面。首先是基于規則的系統，變成數據驅動(dòng)的系統。以前開(kāi)發(fā)模式基本上是憑借著(zhù)經(jīng)驗和想象而來(lái)，難以預測運行狀態(tài)如何，軟件在運行的時(shí)候會(huì )發(fā)生很多事情，模式的轉變就是希望把運行時(shí)產(chǎn)生和記錄的數據進(jìn)行分析，增加對整個(gè)系統狀況的理解?；诖?，整個(gè)系統在設計時(shí)將不再一成不變，而是有不斷變化的思想，從基于規則到數據驅動(dòng)。

第二則是從靜態(tài)到自適應的發(fā)展。當系統不再是固定的，如CI/CD一樣，系統可能隨時(shí)開(kāi)發(fā)，隨時(shí)變化，并附帶諸多檢查，當新代碼提交并構建后，經(jīng)過(guò)測試會(huì )再進(jìn)行部署，依賴(lài)部署策略，在更大的范圍內部署到整個(gè)平臺上去。整個(gè)過(guò)程從靜態(tài)變成了動(dòng)態(tài)，系統也需要在動(dòng)態(tài)過(guò)程當中，根據外部環(huán)境的變化進(jìn)行自身的調整。

第三則是從局部到整體的觀(guān)念轉化。在一個(gè)大的云計算系統中不能只看一點(diǎn)，應該把視野放大。比如在云平臺里面肯定會(huì )有存儲，但是當某塊硬盤(pán)壞掉時(shí)，要考慮的不僅僅是換硬盤(pán)，還要考慮為什么它會(huì )壞？它壞了之后，是否旁邊的也存在風(fēng)險。

第四便是防患于未然。以往的被動(dòng)式反應是等系統出了問(wèn)題才去處理，但是云時(shí)代更要做的是防患于未然，要主動(dòng)在其快出問(wèn)題的時(shí)候，先行采取措施，讓問(wèn)題最好不要出現。而AIOps便是這樣的一種機制。尤其是在大的云計算平臺，其往往可以根據自身特點(diǎn)和期望，對其設計、實(shí)現、運維這三個(gè)方面實(shí)現模式轉變。

事實(shí)上，微軟亞洲研究院早在十余年前就開(kāi)始對AIOps領(lǐng)域進(jìn)行研究。那么到底什么是AIOps呢？張冬梅博士解釋稱(chēng)AIOps是通過(guò)創(chuàng )新的AI、ML技術(shù)，讓用戶(hù)可以有效且高效地設計、構建、運營(yíng)大規模復雜的云服務(wù)。

微軟亞洲研究院常務(wù)副院長(cháng)、微軟杰出首席科學(xué)家張冬梅

關(guān)于現在，AIOps能夠帶來(lái)怎樣的改變

微軟亞洲研究院在嘗試AIOps的更多可能，關(guān)于A(yíng)IOps的定義，其主要有三個(gè)方面的研究。

第一是服務(wù)/系統，即AI for System。軟件的源代碼只有運行起來(lái)才是一個(gè)軟件系統，而從運行的系統觀(guān)點(diǎn)來(lái)看待問(wèn)題，其便關(guān)系到系統的性能、穩定性、安全性等各方面的問(wèn)題。

第二是客戶(hù)，即AI for Customer。系統可以服務(wù)于個(gè)人，也可以服務(wù)于企業(yè)。那么為用戶(hù)服務(wù)時(shí)便一定要注重用戶(hù)體驗。

第三是開(kāi)發(fā)/運維的生產(chǎn)效率，即AI for DevOps。開(kāi)發(fā)和運維主要是針對開(kāi)發(fā)人員和運維人員，如果能夠用智能技術(shù)幫到他們，提高生產(chǎn)效率，則可以讓平時(shí)的工作能夠變得更加順暢。

那么AIOps的應用場(chǎng)景包含了哪些呢？在系統服務(wù)方面，會(huì )常常用于異常行為檢測和預警，其可以基于數據采取機器學(xué)習的方法，再結合專(zhuān)業(yè)領(lǐng)域知識，實(shí)現較好的判斷和預判。

在開(kāi)發(fā)和運維方面，如CI/CD等。其不僅需要在不影響用戶(hù)的情況下快速讓系統恢復正常，還需要找出問(wèn)題出現的原因，但是由于系統的復雜性導致很多時(shí)候很難發(fā)現問(wèn)題漏洞，因此需要甄別如日志等各種信息并進(jìn)行大量的診斷，從而可以通過(guò)智能的方法將診斷工作提高效率。

在客戶(hù)方面，也需要讓客戶(hù)的體驗提升。微軟的云平臺經(jīng)過(guò)多年實(shí)踐后，將AIOps方面的實(shí)踐提煉成工具，并提供給客戶(hù)。當客戶(hù)自己構建服務(wù)和運維時(shí)，基于整個(gè)云平臺，就能夠幫助客戶(hù)構建其他服務(wù)。

在整個(gè)運維系統里面，AIOps的研發(fā)難度可謂排名前列。在不同的場(chǎng)景中，有著(zhù)不同的系統、客戶(hù)和DevOps運維等。不同的場(chǎng)景會(huì )使得研究的角度不同，研究人員需要針對共性問(wèn)題進(jìn)行抽象，并從研究角度解決共性問(wèn)題，找到可推廣的算法或者解決方案，這樣才能提高解決問(wèn)題的效率。

在A(yíng)IOps的研發(fā)過(guò)程中，其主要面對的挑戰有四個(gè)領(lǐng)域。首先是檢測，也就是需要知道問(wèn)題能否及時(shí)知道；第二是診斷，要及時(shí)的找到問(wèn)題在哪里，并了解根本原因；第三是預測，其需要防患于未然，而不只是出現問(wèn)題才采取措施；第四是優(yōu)化，面對多重約束等問(wèn)題需要不斷地將模型和產(chǎn)品進(jìn)行打磨優(yōu)化。

面向未來(lái)，AIOps還有哪些發(fā)展

微軟亞洲研究院多年以來(lái)在A(yíng)IOps方面進(jìn)行了深入的研究工作。其在A(yíng)IOps方向上起步非常早，早在2009年前后便已經(jīng)成立了Software Analytics Group（軟件分析組），并希望從數據驅動(dòng)的角度研究軟件領(lǐng)域。這其中包括了運行系統問(wèn)題、用戶(hù)體驗問(wèn)題、開(kāi)發(fā)效率問(wèn)題等。

云計算作為過(guò)去10到15年里整個(gè)軟件和工業(yè)范式的轉變，云計算系統也變成了運行軟件的主要形式。因此，Software Analytics研究的焦點(diǎn)便集中到云計算系統，微軟亞洲研究院也相應提出了云智能/AIOps。Software Analytics做的事情就像是軟件行業(yè)的數字化轉型。用數字化轉型的觀(guān)念來(lái)看，AIOps就像把整個(gè)云計算平臺用最先進(jìn)的AI技術(shù)，實(shí)現持續不斷的創(chuàng )新。

張冬梅博士認為，AIOps的發(fā)展一定要落地，如果不能對軟件工業(yè)進(jìn)步做出任何貢獻，那么技術(shù)就沒(méi)有太大意義。因此微軟亞洲研究院在研究的同時(shí)，也在尋找機會(huì )將其真正部署到微軟的Azure云平臺里面，從而對公司和社會(huì )做出一些貢獻。

林慶維隨后對微軟亞洲研究院在A(yíng)IOps方面的工作進(jìn)行了補充。服務(wù)系統方面，檢測異常行為很重要?，F在硬件問(wèn)題是虛擬機宕機的原因之一，在大型的硬件平臺中，磁盤(pán)故障是造成硬件問(wèn)題的主要原因。研究員們希望在出故障之前，系統能更早地意識到或者是能預測出磁盤(pán)故障并采取措施。如把用戶(hù)的虛擬機遷移到別的機器上去，或者通過(guò)軟啟動(dòng)等方式解決問(wèn)題，讓用戶(hù)不會(huì )受到影響。其可以作為一個(gè)機器學(xué)習的問(wèn)題，讓模型從大量硬盤(pán)的歷史數據中學(xué)習到知識之后，根據目前磁盤(pán)的狀態(tài)，預測將來(lái)是否可以及時(shí)采取措施。

開(kāi)發(fā)和運維方面，在云平臺上不會(huì )像桌面軟件那樣很長(cháng)時(shí)間才更新一次。云平臺上，每時(shí)每刻都有非常多的新的部署產(chǎn)生，需要時(shí)時(shí)刻刻檢測其安全性，避免任何一個(gè)部署出問(wèn)題，進(jìn)而導致整個(gè)云平臺宕機。因此，這就需要通過(guò)AIOps的方法，以智能的方式來(lái)解決問(wèn)題，在中間階段將問(wèn)題抑制，回歸到安全狀態(tài)。針對安全部署診斷問(wèn)題，在云平臺上面的部署，需要確保從小規模部署到大規模的每一步都是安全的，最后才能部署到云平臺。在整個(gè)部署的過(guò)程中需要檢測所有的健康信號，包括各種資質(zhì)、傳感器信號、狀態(tài)等，必須精確評估是否與部署相關(guān)。

因此，微軟亞洲研究院提出了遷移學(xué)習方案和主動(dòng)學(xué)習方案，即主動(dòng)遷移學(xué)習異常檢測ATAD。該方案在云平臺上的挑戰主要集中在難獲得高質(zhì)量的標簽數據，所以微軟亞洲研究院采用了遷移學(xué)習的方式將其他數據學(xué)到的知識轉化為目標領(lǐng)域。并通過(guò)主動(dòng)學(xué)習，讓工程師給出不同的優(yōu)先級，得到最好的學(xué)習效果。通過(guò)遷移學(xué)習和主動(dòng)學(xué)習，其能夠實(shí)現較好的效果。用少于0.1%的人工標注，得到了非常好的準確率。目前這一方案已經(jīng)用于云平臺中，達到了高效的準確度和召回率，且沒(méi)有大的遺漏。

微軟亞洲研究院首席研究員林慶維

在A(yíng)IOps未來(lái)的研究方向上，微軟亞洲研究院希望其能夠更加自主化，幫助用戶(hù)做出最優(yōu)的決策，而不需要人工干預；再比如希望其能夠更加主動(dòng)化，不能等問(wèn)題出現才想起來(lái)解決問(wèn)題，應該在問(wèn)題出現之前，就將其扼殺于萌芽狀態(tài)；第三則是希望其能夠更加通用，希望以后跨平臺的AIOps應用，不僅是服務(wù)于云平臺，而是服務(wù)于所有平臺。