大數據+AI能與碳中和扯上關(guān)系？看這家新能源企業(yè)如何操作

當 AI 進(jìn)入落地期，認真思考如何打通大數據與 AI 應用的關(guān)聯(lián)，才是企業(yè)眼前既現實(shí)、又關(guān)鍵的一大挑戰。

2020 年 9 月，中國政府提出了 2060 年前實(shí)現碳中和的目標，此后，這一概念的熱度節節攀升?！柑歼_峰」和「碳中和」也正式寫(xiě)進(jìn)了 2021 年的《政府工作報告》，成為兩會(huì )期間最熱門(mén)的議題。

從目前的排放總量來(lái)看，中國已是全球碳排放第一大國。處于經(jīng)濟上升期、排放達峰期的現況讓我們必須兼顧能源低碳轉型和經(jīng)濟轉型，統籌考慮約束碳排放和保持社會(huì )經(jīng)濟發(fā)展增速需求之間的矛盾。為了實(shí)現碳中和目標，各行各業(yè)，尤其是能源行業(yè)，都要付出更多的努力。

原本這些努力，與 IT 行業(yè)主導的 AI、大數據等技術(shù)或應用似乎是八桿子都打不著(zhù)的關(guān)系。然而，就在能源革命悄悄開(kāi)啟的當下，數字化和智能化的技術(shù)驅動(dòng)力還是悄然浮出了水面。

這兩者會(huì )產(chǎn)生關(guān)聯(lián)的原因其實(shí)很簡(jiǎn)單——在低碳經(jīng)濟的發(fā)展趨勢下，以風(fēng)電、光伏為代表的可再生新能源正在能源格局中扮演越來(lái)越重要的角色。來(lái)自國家能源局的數據顯示，僅 2019 年上半年，全國風(fēng)電發(fā)電量同比增長(cháng) 11.5%、光伏發(fā)電裝機量同比增長(cháng) 20%。

然而，風(fēng)電、光伏等新能源卻很容易受到環(huán)境因素的限制：在其生產(chǎn)過(guò)程中，風(fēng)速、風(fēng)向、日照、氣溫、氣壓等環(huán)境因素，都會(huì )給電力系統帶來(lái)巨大影響，使發(fā)電設備、 并入電網(wǎng)都面臨運行效率、設備安全等方面的問(wèn)題。

在這一特定背景下，功率預測系統的作用顯得尤為重要。除能幫助電網(wǎng)調度系統合理調整和優(yōu)化發(fā)電計劃，改善電網(wǎng)調峰能力，還能減少棄風(fēng)和棄光率，是產(chǎn)業(yè)真正實(shí)現降本增效的基礎。

以往，通過(guò)歷史資料以及人工經(jīng)驗來(lái)實(shí)施功率預測，往往存在準確率低、波動(dòng)性大等弊端。因此在這場(chǎng)史無(wú)前例的大變革中，人工智能、物聯(lián)網(wǎng)、云計算等新興技術(shù)注定會(huì )成為幕后英雄。以智能化手段來(lái)應對以上挑戰，也正在成為新能源企業(yè)面向未來(lái)，領(lǐng)跑綠色能源發(fā)展之路的首選。

金風(fēng)慧能就是其中的領(lǐng)跑者之一。這家新能源數字化、智能化領(lǐng)域的專(zhuān)業(yè)服務(wù)提供商，結合風(fēng)機級氣象預報、風(fēng)軌跡模擬等氣象預報數據， 以多模型組合的方式構建了用于功率預測的全新智能方案，將預測的準確率提升了 20% 以上。

它的秘訣是什么？

窮則變、變則通、通則久

在大數據和 AI 技術(shù)發(fā)展的助力下，基于 AI 的智能功率預測其實(shí)早就具備了充分的落地條件。但問(wèn)題是：只單純依靠海量歷史數據樣本，并且只采用單一的人工智能算法模型的方法，也早已面臨「技窮」的局面，其預測準確率會(huì )隨著(zhù)預測時(shí)段變長(cháng)而隨之降低。

圖片

對于電力生產(chǎn)而言，最常見(jiàn)的超短期預測也要求系統預測 4 小時(shí)內的功率輸出，這意味著(zhù)預測系統需要在未來(lái) 16 個(gè)時(shí)間點(diǎn) (每 15 分鐘計為一個(gè)時(shí)間點(diǎn)) 上都保持出色的預測準確率和穩定性。 

窮則思變，金風(fēng)慧能通過(guò)研究和實(shí)踐發(fā)現，在既有智能預測系統中，導入兩項技術(shù)即可帶來(lái)改觀(guān)：

一是導入更多維度、更具價(jià)值的數據。傳統預測方法是一種「從已有功率數據去預測未來(lái)功率」的方案，因此其在時(shí)間維度上缺乏必要的數據支撐，而氣象預報數據則能有效地彌補這一短板，其時(shí)序性數據能令未來(lái)各個(gè)時(shí)間點(diǎn)的預測準確率都保持一致性；

二是為更多維的數據匹配多模型組合的方案，便于根據實(shí)際需求選取不同的深度學(xué)習或機器學(xué)習模型，分別與氣象預報數據進(jìn)行組合，揚長(cháng)補短。

「牽手」Analytics Zoo, 打通大數據與 AI 應用

有了解決問(wèn)題的法子，接下來(lái)就是思考如何實(shí)施。

第一步，要先「打通」大數據平臺與 AI 應用，這是打造一個(gè)結合海量歷史數據與氣象預報數據，并以多模型組合方式運行的全新智能功率預測方式所必需的，但要在大量分布式數據節點(diǎn)上打通大數據平臺與 AI 模型、框架和優(yōu)化方法，也不是件容易事兒。為此，金風(fēng)慧能與英特爾展開(kāi)了緊密合作。

Analytics Zoo 是英特爾專(zhuān)門(mén)針對打通大數據平臺與 AI 任務(wù)這一挑戰開(kāi)發(fā)并開(kāi)源的解決方案，也是英特爾至強平臺在軟件和系統級優(yōu)化上的重要組成部分。它能幫助多數企業(yè)用戶(hù)現在普遍使用的、基于至強處理器的大數據平臺上，直接背靠其積累的海量數據無(wú)縫部署 AI 應用。這一過(guò)程既不需要分別構建大數據平臺和 AI 平臺，免去將「大噸位」數據在不同平臺間騰挪所消耗的高昂成本，也無(wú)需更換大數據平臺的基礎設施。

當然，Analytics Zoo 有很多自己的獨特優(yōu)勢：先天就可對基于英特爾 ? 架構的硬件基礎設施提供全面周到的性能調優(yōu)，同時(shí)支持 TensorFlow、PyTorch、Keras、BigDL 等多種主流 AI 框架。

基于 Analytics Zoo，構建統一端到端全優(yōu)化方案

正是基于 Analytics Zoo，金風(fēng)慧能輕松地將 Spark、TensorFlow、Keras 及其它軟件和框架無(wú)縫集成到了同一管道中，實(shí)現將數據存儲、數據處理以及訓練推理的流水線(xiàn)整合到統一的基礎設施上。如此一來(lái)，既可大幅提升新方案的部署效率、資源利用率和可擴展性，還能減少用于硬件管理及系統運維的成本。

下面這張圖展示了基于 Analytics Zoo 的分布式功率預測架構：

同時(shí)，Analytics Zoo 還能卓有成效地將英特爾提供的眾多底層軟件加速庫，如英特爾 ? 數學(xué)核心函數庫 (Intel? Math Kernel Library，現名為 oneAPI Math Kernel Library)、面向深度神經(jīng)網(wǎng)絡(luò )的英特爾 ? 數學(xué)核心函數庫 (Intel? Math Kernel Library for Deep Neural Network, 現名為 oneAPI Deep Neural Network Library) 等，應用到上層功率預測方案的優(yōu)化中去。

「壓榨」Analytics Zoo, 強化時(shí)序數據分析

除了提供統一的端到端平臺架構，Analytics Zoo 對于不同時(shí)序分析應用，如時(shí)序預測、異常檢測、時(shí)序表征學(xué)習、時(shí)序聚類(lèi)等，也提供了完整的解決方案，便于金風(fēng)慧能在新方案中構建更多的預測方法組合。

Analytics Zoo 針對時(shí)序數據預置了豐富的功能組件，包括功率預測常見(jiàn)的深度學(xué)習和機器學(xué)習模型（LSTM、Encoder-Decoder、MTNet、ARIMA 等），功率預測中常用的數據預處理和特征工程（Datetime features、 Time diff、Log-transform、Rolling window 等），功率預測中普遍的異常探測方法（Percentile、Distribution- based、Uncertainty based、Autoencoder 等）。 

Analytics Zoo 還提供了 AutoML 方法，使新方案實(shí)現了自動(dòng)化特征選擇、模型選擇和超參調優(yōu)等，令預測模型得以更好地擬合發(fā)電設備輸出功率的變化周期。 

經(jīng)過(guò)全國多個(gè)光伏測試場(chǎng)站的實(shí)地測試，在驗證方案以月為周期的條件下，每一個(gè)測試的光伏場(chǎng)中，在單小時(shí)內使用 30000 條記錄對 LSTNet 模型進(jìn)行 5000 次迭代優(yōu)化，并在 50 毫秒內獲得未來(lái) 2 小時(shí)的功率預測數據。結果顯示，新方案在預測準確率上超越了原有方案的 59%，達到了 79.41%。

金風(fēng)慧能功率預測新舊方案對比。

AI 要實(shí)現「軟著(zhù)陸」 大數據支持不能少

金風(fēng)慧能的一系列操作，從實(shí)戰角度再次印證了算法、算力、數據三者良性互動(dòng)的重要性。大數據作為基礎資源，為 AI 技術(shù)的快速進(jìn)步和實(shí)踐落地起到了奠基作用。不難想象，如果沒(méi)有足夠量級、獲取和使用足夠便捷的數據為算力和算法托底，AI 的落地很可能會(huì )演變成鼻青臉腫式的「硬著(zhù)陸」。

在這種認知的推動(dòng)下，有越來(lái)越多的行業(yè)在 AI 應用過(guò)程中導入 Analytics Zoo，以無(wú)縫對接他們的大數據平臺與 AI 應用。例如在智能制造領(lǐng)域，由 Analytics Zoo 提供的端到端 AI 開(kāi)發(fā)與部署能力，就幫助美的構建了高效的工業(yè)視覺(jué)檢測云平臺，用以實(shí)施產(chǎn)品缺陷檢測。

Analytics Zoo 讓美的能夠在統一的、基于至強處理器的云平臺上進(jìn)行海量數據管理、分布式模型訓練、模型重定義及模型推理等一系列 AI 處理流程。在數據采集及預處理優(yōu)化階段，Analytics Zoo 能幫助云平臺執行高效分布式數據預處理和代碼優(yōu)化，在 50 毫秒內就完成對圖片的讀取和處理；在海量數據管理階段，它能助云平臺快速進(jìn)行數據存儲、分類(lèi)以及更新；在分布式模型訓練階段，它一方面可協(xié)助云平臺構建檢測模型，另一方面通過(guò)自帶的 TF 優(yōu)化器迅速啟動(dòng)分布式訓練過(guò)程；在模型重定義階段，Analytics Zoo 不僅可執行參數調整，并可加速模型推理速度。

這一通連貫的組合拳下來(lái)，結果就是美的工業(yè)視覺(jué)檢測云平臺的模型推理時(shí)間從 2 秒縮短到了 124 毫秒。

MasterCard 和韻達則是金融和物流行業(yè)中打通大數據和 AI 應用的先行者，前者利用 Analytics Zoo，在基于至強可擴展處理器的大數據集群上直接開(kāi)發(fā)和運行用于營(yíng)銷(xiāo)推薦場(chǎng)景的深度學(xué)習應用，不但避開(kāi)了采用異構 AI 系統可能會(huì )面對的復雜工具集成、昂貴的數據復制和移動(dòng)，以及更長(cháng)的項目時(shí)間和資源消耗等問(wèn)題，還實(shí)現了更優(yōu)的精準度和召回率；后者則利用 Analytics Zoo 和英特爾至強平臺，以端到端的方式快速敏捷地構建了「大小件測量」、「數據中心異常檢測」以及「件量預測」等關(guān)鍵環(huán)節的 AI 應用，有效提升了快遞物流系統的運作效率，大大降低了人工勞動(dòng)的強度和人力成本。

在這些行業(yè)用戶(hù)積極嘗試 Analytics Zoo 的同時(shí)，也有致力于提供成熟商品化解決方案的合作伙伴盯上了它與至強可擴展平臺的組合優(yōu)勢——在中國 AI 服務(wù)器領(lǐng)域占據了市場(chǎng)及技術(shù)優(yōu)勢的浪潮，就于近期推出了融合 Analytics Zoo, 基于浪潮云海大數據平臺 insight 的端到端智慧計算解決方案，可以讓更多用戶(hù)快捷、高效、低成本地將大數據預處理、模型的訓練和推理與他們現有的大數據工作流整合在一起。

值得一提的是，英特爾也在同期發(fā)布了代號為 Ice Lake、面向單路和雙路服務(wù)器、基于 10 納米制程工藝生產(chǎn)、擁有更優(yōu)性能和能效的全新第三代至強可擴展處理器。該處理器可搭配傲騰持久內存 200 系列、傲騰固態(tài)盤(pán) P5800X 系列及通信帶寬最高達 100Gbps 的以太網(wǎng) 800 系列網(wǎng)絡(luò )適配器等存儲和網(wǎng)絡(luò )優(yōu)化型產(chǎn)品，還有包括 Analytics Zoo 在內的多種英特爾軟件及系統級優(yōu)化工具，進(jìn)而組合成數據計算、存儲和傳輸表現更優(yōu)、也更為均衡的新一代至強可擴展平臺，相信很多用戶(hù)和合作伙伴基于 Analytics Zoo 的 AI 實(shí)踐或解決方案，很快就會(huì )借此平臺實(shí)現更優(yōu)的性能、成本和靈活性收益。