在中國投資進(jìn)行元數據驅動(dòng)數據編織設計的三大理由

數據編織是一種新興的數據管理設計，在中國保持了較高的市場(chǎng)吸引力。2022年Gartner數據和分析云采用調研顯示，盡管受訪(fǎng)者對“數據編織”一詞的定義不盡相同，但42%的中國用戶(hù)表示已采用這一技術(shù)，另有34%的受訪(fǎng)者計劃在未來(lái)12個(gè)月內采用這項技術(shù)。這兩個(gè)選項的受訪(fǎng)者占比都超過(guò)了全球水平（見(jiàn)圖1）。

圖1：中國客戶(hù)與全球客戶(hù)的數據編織采用計劃

數據分析和人工智能（AI）技術(shù)及其在垂直行業(yè)用例的爆炸式增長(cháng)，使企業(yè)數據基礎設施變得日益復雜和難以維護。經(jīng)濟和地緣政治不確定性導致數據監管環(huán)境難以預測，進(jìn)一步提高了管理難度。如果企業(yè)無(wú)法實(shí)施由主動(dòng)元數據驅動(dòng)的數據編織來(lái)提升數據和分析（D&A）彈性和敏捷性，D&A系統的維護成本將超過(guò)其創(chuàng )造的價(jià)值。

千變萬(wàn)化的宏觀(guān)環(huán)境導致了數據管理規范的不確定性

過(guò)去兩年，中國政府發(fā)布了多項國家原則，如《數據二十條》和《數字經(jīng)濟發(fā)展十四五規劃》，以促進(jìn)數據、分析和AI在經(jīng)濟中的應用。與此同時(shí)，新的數據分析和AI用例（物聯(lián)網(wǎng)[IOT]、數字孿生、元宇宙、生成式AI等）不斷涌現，使中國企業(yè)機構進(jìn)一步推動(dòng)數據分析和AI的普及。

另一方面，主要由地緣政治緊張局勢驅動(dòng)的數據安全原則和自給自足要求，也在迫使企業(yè)更謹慎、更合規地使用數據。

為同時(shí)滿(mǎn)足上述兩個(gè)看上去對立的需求，數據和分析能力的升級路線(xiàn)圖和優(yōu)先任務(wù)變得難以預測。同時(shí)，由于缺乏對當前數據和分析平臺使用情況的持續監控和分析，企業(yè)無(wú)法主動(dòng)識別潛在的分析需求和問(wèn)題，導致大部分數據管理任務(wù)很被動(dòng)。數據編織中的主動(dòng)元數據管理，可以幫助企業(yè)機構以主動(dòng)和自主的方式識別這些需求和問(wèn)題。

更加復雜和去中心化的D&A架構

由于境內外的D&A供應商生態(tài)系統完全不同，數據安全和跨境數據傳輸法規日益明確，在中國境內和境外同時(shí)開(kāi)展業(yè)務(wù)的企業(yè)（例如在中國開(kāi)展業(yè)務(wù)的跨國企業(yè)，以及正在海外開(kāi)展業(yè)務(wù)的中國企業(yè)）必須構建兩組不同的D&A架構，甚至是不同的IT架構。對于僅在中國境內開(kāi)展業(yè)務(wù)的企業(yè)機構來(lái)說(shuō)，云遷移和技術(shù)自給自足計劃的開(kāi)展，會(huì )使其D&A架構長(cháng)期處于轉型中的狀態(tài)。

出于上述原因，中國企業(yè)機構的D&A架構與全球同行相比，會(huì )具有更強的去中心化屬性和復雜性。這將導致IT運營(yíng)成本大幅增加，流程也會(huì )變得更為復雜。

分析對比數據的設計期望與實(shí)際體驗之間的差距，可以更有效地完成上述大部分任務(wù)。數據編織中的主動(dòng)元數據管理，通過(guò)比較設計時(shí)元數據和運行時(shí)元數據來(lái)幫助企業(yè)機構分析數據的設計期望與實(shí)際體驗。這將使企業(yè)機構的系統、數據和數據管道在資源效率、性能、安全性、合規性和可用性方面始終處于“自動(dòng)化可觀(guān)測”狀態(tài)。

跨部門(mén)溝通障礙

技術(shù)和業(yè)務(wù)團隊之間的溝通障礙，仍然是中國企業(yè)機構快速、可持續地利用數據創(chuàng )造業(yè)務(wù)價(jià)值的一個(gè)主要障礙。2022年，Gartner收到了大量中國客戶(hù)關(guān)于D&A項目跨部門(mén)溝通的問(wèn)詢(xún)，包括如何更好地與業(yè)務(wù)利益相關(guān)者對齊數據業(yè)務(wù)語(yǔ)義，以及如何使數據團隊更快地做出響應。這些問(wèn)題大多關(guān)乎數據定義與其真實(shí)運營(yíng)體驗之間的偏差，即“語(yǔ)義漂移”。在大型企業(yè)機構中，這個(gè)問(wèn)題更嚴重，會(huì )拖累或阻礙數據和分析項目。

主動(dòng)元數據管理通過(guò)對數據工程師和數據消費者內容的持續分析，生成大量洞察，包括：

?   特定用例中使用的源數據語(yǔ)義是否發(fā)生了變化

?   數據使用過(guò)程中是否存在安全或隱私問(wèn)題

?   數據管道中的業(yè)務(wù)邏輯是否需要更新，以糾正語(yǔ)義漂移導致的數據質(zhì)量問(wèn)題