Gartner發(fā)布2019年十大數據與分析技術(shù)趨勢

　　今年，我們將看到更多公司和企業(yè)開(kāi)始結合各種新興信息技術(shù)，如AI、區塊鏈等技術(shù)趨勢。當越來(lái)越多的創(chuàng )新公司這樣做時(shí)，就將經(jīng)歷格式塔轉變并從不同的角度看待他們的公司。那些成功遵循這條道路的組織將轉變?yōu)閿祿M織。Gartner建議數據和分析領(lǐng)導者與高級業(yè)務(wù)負責人討論他們的關(guān)鍵業(yè)務(wù)優(yōu)先級，并探索如何針對以下10個(gè)主要趨勢去實(shí)現這些優(yōu)先級策略布局。

　　增強分析

　　數據分析的下一階段是數據增強分析，為分析計劃帶來(lái)自動(dòng)化和新的程度的洞察力。

　　數據分析的下一階段的根本性轉變已經(jīng)開(kāi)始了。就像第二波自助商業(yè)智能破壞了第一波傳統商務(wù)智能，第三波增強分析技術(shù)將再次改變游戲規則。早期采用增強分析技術(shù)的用戶(hù)，以前所未有的速度洞察力和增強的競爭優(yōu)勢。

　　增強的分析應用程序通過(guò)無(wú)偏差的正確準備的數據在右手中提供了驚人的結果。 由于自動(dòng)化分析依賴(lài)于統計技術(shù)，因此不足以代表業(yè)務(wù)流程的不準確，有偏差或質(zhì)量差的數據將提供低質(zhì)量的結果。

　　增強數據管理

　　隨著(zhù)以云計算，大數據，移動(dòng)和社交為主要特征的第三平臺的發(fā)展，數據正在變成企業(yè)的核心驅動(dòng)力，企業(yè)對于數據的使用成為其競爭力的核心組成部分。所以企業(yè)中產(chǎn)生了越來(lái)越多生產(chǎn)數據的拷貝用于備份/恢復，開(kāi)發(fā)測試，統計分析，準業(yè)務(wù)平臺搭建，數據恢復有效性驗證等目的。

　　在當前產(chǎn)業(yè)環(huán)境下，大量行業(yè)用戶(hù)都已將核心業(yè)務(wù)遷移到自動(dòng)化系統，自動(dòng)化系統的運行往往需要在業(yè)務(wù)系統中抽取數據，這勢必會(huì )耗費業(yè)務(wù)系統的資源，對業(yè)務(wù)系統的效率、穩定性造成極大影響。而增強數據管理通過(guò)對數據管理流程的重塑，實(shí)現了簡(jiǎn)化數據使用、節約存儲空間、增強數據管理這幾大目標，在降低對業(yè)務(wù)系統壓力的同時(shí)，實(shí)現更敏捷的數據使用。

　　持續智能

　　來(lái)自所有數據的持續智能不是描述實(shí)時(shí)，速度或吞吐量的另一個(gè)短語(yǔ)。它是關(guān)于從所有數據中獲得連續業(yè)務(wù)價(jià)值的無(wú)摩擦循環(huán)時(shí)間。它是一種現代機器驅動(dòng)的分析方法，無(wú)論有多少數據源或數量多大，您都可以快速獲取所有數據并加速所需的分析。 它不是一次這樣做，而是讓機器自動(dòng)化，因此它是連續的，無(wú)摩擦的。

　　通過(guò)使用各種技巧和工具，有很多方法可以快速進(jìn)行分析。但是，如果它引導您進(jìn)入一個(gè)新的思維鏈，需要一直回到加載更多數據，建模，集成它并在每次業(yè)務(wù)出現新問(wèn)題時(shí)調整儀表板。

　　現在，人工智能驅動(dòng)的分析已經(jīng)通過(guò)應用當今數據處理平臺的巨大力量來(lái)自動(dòng)解釋和協(xié)調來(lái)自不同來(lái)源的數據?，F在，任何人都可以將AI驅動(dòng)的分析系統指向復雜的數據源進(jìn)行推斷和協(xié)調，系統可以完成工作并立即向業(yè)務(wù)發(fā)送持續的視覺(jué)洞察。業(yè)務(wù)決策的數據變得持續。

　　可解釋的AI

　　人工智能出現以后，似乎正在逐步滲透到我們生活中的每個(gè)角落，其中不乏它為我們做出了一些非常重要的決定，比如，身體里的腫瘤是不是已經(jīng)發(fā)生癌變;是否應該同意或拒絕保險索賠;旅客是不是應該被批準通過(guò)機場(chǎng)安檢，甚至是否授權導彈發(fā)射以及是否批準自動(dòng)駕駛汽車(chē)的制動(dòng)，等等。

　　最重要的是，這顯然意味著(zhù)應該提供關(guān)于如何獲得模型的響應的見(jiàn)解。直接的后果是，由于易于解釋?zhuān)瑢⒖赡芊椒ǖ姆秶s小到最簡(jiǎn)單的方法，除非我們找到方法將上下文添加到最先進(jìn)算法的預測中。更何況，這種趨勢更多是因為監管約束的強化而不是緩慢的。

　　圖形分析

　　圖形分析是一個(gè)快速發(fā)展的研究領(lǐng)域，其中圖形理論，統計和數據庫技術(shù)的組合應用于圖形結構數據的建模，存儲，檢索和性能分析。這些技術(shù)使研究人員能夠理解網(wǎng)絡(luò )的結構及其在不同條件下的變化，找到滿(mǎn)足不同約束的實(shí)體對之間的路徑，識別圖中的簇或緊密交互的子組，或查找與給定模式類(lèi)似的子圖。

　　對于這些和許多其他任務(wù)，重要的是將一個(gè)數據視為表示對象和表示它們之間關(guān)系的對象和邊的節點(diǎn)或頂點(diǎn)的圖(網(wǎng)絡(luò ))。對于諸如傳感器網(wǎng)絡(luò )的許多應用領(lǐng)域，圖形可能很大并且具有十億個(gè)節點(diǎn)和邊緣。

　　可以基于邊緣是否具有取向來(lái)定向或不定向圖形。如果每對頂點(diǎn)通過(guò)路徑連接，則連接無(wú)向圖。具有與每個(gè)邊相關(guān)聯(lián)的權重的圖被稱(chēng)為加權圖。用于網(wǎng)絡(luò )分析，基因組學(xué)，社交網(wǎng)絡(luò )分析和其他領(lǐng)域的大規模圖形處理的計算要求需要強大且高效的計算性能，只有加速器才能提供。

　　數據結構/數據網(wǎng)格

　　數據網(wǎng)格是一種架構和一系列數據服務(wù)，可以為內部環(huán)境和多云環(huán)境中的多種端點(diǎn)提供一致統一的功能。它可簡(jiǎn)化并集成云端和內部環(huán)境的數據管理，有助于加快數字化轉型的步伐。它提供一致統一的集成混合云數據服務(wù)，用于改善數據可見(jiàn)性和洞察力、據訪(fǎng)問(wèn)和控制，以及數據保護和安全。

　　面對巨大的壓力，IT 主管們迫切需要在有限的時(shí)間內，運用有限的技能和預算駕馭當今的海量數據，并利用這些數據為整個(gè)企業(yè)創(chuàng )造新的價(jià)值。 與此同時(shí)，數據不再是隱藏在防火墻之后的加密設備上，而是越來(lái)越呈現分布式、動(dòng)態(tài)性和多樣化的特點(diǎn)，而且數據量驚人，管理起來(lái)極為困難。

　　數據網(wǎng)格最終幫助企業(yè)釋放數據潛能，滿(mǎn)足業(yè)務(wù)需求并贏(yíng)得競爭優(yōu)勢。 它可以幫助 IT 部門(mén)更充分地發(fā)揮混合云的無(wú)限潛能，構建下一代數據中心并通過(guò)數據管理打造現代化的存儲。

　　NLP/會(huì )話(huà)分析

　　NLP是計算機以一種聰明而有用的方式分析，理解和從人類(lèi)語(yǔ)言中獲取意義的一種方式。通過(guò)利用NLP，開(kāi)發(fā)者可以組織和構建知識來(lái)執行自動(dòng)摘要，翻譯，命名實(shí)體識別，關(guān)系提取，情感分析，語(yǔ)音識別和話(huà)題分割等任務(wù)。

　　目前NLP的方法是基于深度學(xué)習，這是一種AI，它檢查和使用數據中的模式來(lái)改善程序的理解。深度學(xué)習模型需要大量的標記數據來(lái)訓練和識別相關(guān)的相關(guān)性，匯集這種大數據集是當前NLP的主要障礙之一。

　　NLP算法通?；跈C器學(xué)習算法。NLP可以依靠機器學(xué)習來(lái)自動(dòng)學(xué)習這些規則，而不是手工編碼大量的規則集，通過(guò)分析一系列的例子(如，一個(gè)大的數據庫，像一本書(shū)，直到一堆句子的集合)，并且做一個(gè)靜態(tài)的推論。一般來(lái)說(shuō)，分析的數據越多，模型越精確。社交媒體分析是NLP使用的一個(gè)很好的例子。品牌在線(xiàn)跟蹤對話(huà)以了解客戶(hù)的意見(jiàn)，并洞悉用戶(hù)行為。

　　區塊鏈

　　區塊鏈與往年的不同之處在于，2019年我們將看到第一批真正的企業(yè)應用程序正在使用中。不是在談?wù)撻_(kāi)發(fā)分散式應用程序的各種區塊鏈初創(chuàng )公司，也不是在談?wù)摳拍钭C明。在2019年，將看到大公司使用區塊鏈來(lái)改善行業(yè)協(xié)作。

　　區塊鏈的用戶(hù)數據隱私保護是一個(gè)新方向，接下來(lái)預計會(huì )看到越來(lái)越多的創(chuàng )業(yè)者和密碼學(xué)專(zhuān)家加入了這個(gè)行業(yè)，投入大量資源進(jìn)行研究?，F在這個(gè)方向已經(jīng)非常明確，通過(guò)加密算法保護用戶(hù)隱私數據，通過(guò)區塊鏈激勵機制在機構和用戶(hù)之間分配價(jià)值，這是區塊鏈的優(yōu)勢所在。

　　商業(yè)AI和ML

　　商業(yè)供應商現在已經(jīng)在開(kāi)源生態(tài)系統中構建了連接器，它們提供了擴展AI和ML所需的企業(yè)功能，例如項目和模型管理、循環(huán)利用、透明度提升，為數據以及開(kāi)源技術(shù)缺乏的平臺提供凝聚力和集成。

　　到2022年，75%利用AI和ML技術(shù)的新終端用戶(hù)解決方案將采用商業(yè)解決方案而非開(kāi)源平臺構建。

　　持久性?xún)却娣?wù)器

　　持久性?xún)却娣浅＿m合需要頻繁訪(fǎng)問(wèn)大型復雜數據集的環(huán)境。持久存儲器是內存/存儲層次結構的新增功能，可彌補DRAM和存儲之間的差距，通過(guò)提供更靠近處理器的非易失性，低延遲存儲器，實(shí)現更大的數據管理靈活性。因為它駐留在DRAM總線(xiàn)上，所以持久存儲器可以提供對關(guān)鍵數據的超快速DRAM訪(fǎng)問(wèn)。將傳統存儲的數據可靠性與超低延遲和高帶寬相結合，使設計人員能夠以全新的方式優(yōu)化系統并管理數據。

　　持久性?xún)却娣浅＿m合需要頻繁訪(fǎng)問(wèn)大型復雜數據集的環(huán)境，以及對因電源故障或系統崩潰導致的停機時(shí)間敏感的環(huán)境。應用程序包括大數據分析，存儲設備，RAID緩存，內存數據庫，存儲索引的元數據服務(wù)器以及在線(xiàn)事務(wù)處理。

　　隨著(zhù)我們進(jìn)入到未來(lái)，存儲數據這個(gè)基本概念將從鐵磁材料顆粒翻轉極性變成可直接尋址的異常小的硅片層，可以快速操作和讀取。由于硬件在變化，我們使用硬件的方式也應該隨之變化。

　　結尾

　　2019年將成為真理年。不僅從區塊鏈的角度來(lái)看，它為行業(yè)合作伙伴提供了單一版本的事實(shí)，而且還提供了物聯(lián)網(wǎng)安全性以及政府和商業(yè)組織之間激烈的軍備競賽?？偠灾?，當我們?yōu)橐詳祿橹行牡牡谌齻€(gè)十年做準備時(shí)，這將是一個(gè)非常激動(dòng)人心的一年。

　　今天的大數據分析市場(chǎng)與幾年前的市場(chǎng)截然不同，正是由于海量數據的暴增，未來(lái)十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng )新和顛覆。