擁抱大數據 需要大智慧

　　近年來(lái)，有關(guān)大數據的熱點(diǎn)話(huà)題一浪高過(guò)一浪，關(guān)注大數據應用的人也越來(lái)越多?？傮w來(lái)說(shuō)，人們對大數據的前景持樂(lè )觀(guān)態(tài)度，比如談到大數據的技術(shù)特征，人們最容易想起的就是4個(gè)“v”：vast(數量龐大)、variety(種類(lèi)繁多)、velocity(增長(cháng)迅速)和value(總價(jià)值高)。這些都沒(méi)錯，但仔細一想，它們都是偏重說(shuō)明大數據的正面優(yōu)勢的。但其實(shí)，大也有大的難處，大數據也不可避免地存在著(zhù)一些負面劣勢。結合筆者的從業(yè)經(jīng)驗，大數據的負面劣勢可以概括為4個(gè)“n”，下面逐一說(shuō)明每個(gè)n的含義。

　　inflated大數據是肥胖的。大數據的大不僅僅體現在數據記錄的行數多，更體現在字段變量的列數多，這就為分析多因素之間的關(guān)聯(lián)性帶來(lái)了難度。哪怕是最簡(jiǎn)單的方差分析，計算一兩個(gè)還行，計算一兩百個(gè)就讓人望而生畏了。

　　unstructured大數據是非結構化的。大數據的結構也是非常復雜的，既包括像交易額、時(shí)間等連續型變量，像性別、工作類(lèi)型等離散型變量這樣傳統的結構化數據，更增添了如文本、社會(huì )關(guān)系網(wǎng)絡(luò )，乃至語(yǔ)音、圖像等大量新興的非結構化數據，而這些非結構化數據蘊含的信息量往往更加巨大，但分析手段卻略顯單薄。

　　incomplete大數據是殘缺的。在現實(shí)的世界里，由于用戶(hù)登記的信息不全、計算機數據存儲的錯誤等種種原因，數據缺失是常見(jiàn)的現象。在大數據的場(chǎng)景下，數據缺失更是家常便飯，這就為后期的分析與建模質(zhì)量增加了不確定的風(fēng)險。

　　abnormal大數據是異常的。同樣，在現實(shí)的世界里，大數據里還有不少異常值(outlier)。比如某些連續型變量(如一個(gè)短期時(shí)間內的交易金額)的取之太大，某些離散型變量(如某個(gè)被選購的產(chǎn)品名稱(chēng))里的某個(gè)水平值出現的次數太少，等等。如果不刪除，很可能干擾模型系數的計算和評估;如果直接刪除，又覺(jué)得缺乏說(shuō)服力，容易引起他人的質(zhì)疑。這使得分析人員落到了一個(gè)進(jìn)退兩難的境地。

　　如果不能處理好這些不利因素，大數據應用的優(yōu)勢很難發(fā)揮出來(lái)。想要擁抱大數據，并不是一項在常規條件下數據分析的簡(jiǎn)單升級，而是一項需要大智慧的綜合工作。STIR(喚醒)策略是筆者在實(shí)踐工作中提煉出來(lái)的、能夠在實(shí)際工作中有效克服大數據負面劣勢的應對方法。具體來(lái)說(shuō)，STIR策略包含了四種技術(shù)手段，目前都已經(jīng)有機地整合在統計分析與數據挖掘專(zhuān)業(yè)軟件JMP中了，它可以用來(lái)解決上文提出的四個(gè)問(wèn)題，下面將分別說(shuō)明。

Switching Variables切換變量

　　它是用來(lái)解決大數據“殘缺”問(wèn)題的。通過(guò)“列轉換器”、“動(dòng)畫(huà)播放”等工具，海量因素之間的關(guān)聯(lián)性分析變得十分簡(jiǎn)單、快捷，還可以根據需要對關(guān)聯(lián)性的重要程度進(jìn)行排序，大數據分析的效率由此得到大幅提升。

　　基于JMP軟件的關(guān)聯(lián)性分析篩選的界面

Text Mining文本挖掘

　　它是用來(lái)解決大數據“非結構化”問(wèn)題的。通過(guò)先對文字、圖像等新媒體信息源進(jìn)行降維、去噪、轉換等處理，產(chǎn)生結構化數據，再用成熟的統計分析和數據挖掘方法進(jìn)行評價(jià)和解釋。這樣一來(lái)，大數據的應用范圍得到了極大的拓展。

　　基于JMP軟件的文本分析結果的最終展現界面

Imputation缺失數賦值

　　它是用來(lái)解決大數據“殘缺”問(wèn)題的。在有missing data的時(shí)候，我們并不完全排斥直接刪除的方法，但更多的時(shí)候，我們會(huì )在條件允許的情況下，用賦值的方法去替代原先的缺失值。具體的技術(shù)很多，簡(jiǎn)單的如計算平均值、中位數、眾數之類(lèi)的統計量，復雜的如用回歸、決策樹(shù)、貝葉斯定理去預測缺失數的近似值等。這樣一來(lái)，大數據的質(zhì)量大為改觀(guān)，為后期的分析與建模奠定了扎實(shí)的基礎。

　基于JMP軟件的缺失數賦值方法選擇的操作界面

Robust Modeling穩健建模

　　它是用來(lái)解決大數據“異常”問(wèn)題的。在融入了自動(dòng)識別、重要性加權等處理手段后，分析人員既直接消除了個(gè)別強影響點(diǎn)的敏感程度，又綜合考慮了所有數據的影響，增強了模型的抗干擾能力，使得模型體現出良好的預測特性，由此做出的業(yè)務(wù)決策自然變得更加科學(xué)、精準。

　　基于JMP軟件的模型穩健擬合的報表界面

　　總之，我們必須要對大數據有一個(gè)全面、客觀(guān)的認識。只有在不同的業(yè)務(wù)和數據背景下采用不同的戰略戰術(shù)，才能在大數據時(shí)代，真正發(fā)揮大數據的杠桿作用，有效提高企業(yè)的運營(yíng)效率和市場(chǎng)競爭力。