JMP11新功能速覽

　　近日，SAS公司的可視化統計發(fā)現軟件JMP正式發(fā)布了最新的JMP11版(JMP普通版)及JMP Pro11版(JMP專(zhuān)業(yè)版)。在大數據話(huà)題越來(lái)越熱的今天，此次新品發(fā)布也受到了眾多統計分析愛(ài)好者和JMPer(JMP粉絲)們的關(guān)注。從內容上看，JMP11的提升力度很大。在繼承了JMP可視化交互式分析的產(chǎn)品特色之外，JMP11新增或改進(jìn)了16個(gè)功能大類(lèi)，共計約140項功能，技術(shù)難度不亞于重新設計開(kāi)發(fā)出一個(gè)新的小型統計分析軟件。

　　本文將以統計應用為導向，從用戶(hù)的視角出發(fā)，將內容及其豐富的JMP11新功能濃縮為探索性數據分析和數據可視化、質(zhì)量管理、產(chǎn)品研發(fā)、分析自動(dòng)化與擴展和專(zhuān)業(yè)統計分析六大統計應用領(lǐng)域，幫助廣大統計分析愛(ài)好者快速地對JMP11有一個(gè)全面而又準確的了解。

　　1. 探索性數據分析和數據可視化

　　探索性數據分析和數據可視化一直是JMP倡導的現代統計分析的重要發(fā)展方向和其與眾不同的統計分析手段之一。在使用JMP11進(jìn)行探索性數據分析和數據可視化的過(guò)程中，用戶(hù)體驗會(huì )更加愉快。這主要是因為相應的變化有：新添獨有的列查看器Column Viewer、轉換變量Transform Varaibles、交互式HTML報告Interactive HTML Report，改進(jìn)已有的數據過(guò)濾器Data Filter、圖形生成器Graph Builder、偏好設置Preference Setting等功能。

　　具體來(lái)說(shuō)，改進(jìn)的偏好設置是指JMP11提供更加出色的默認圖表和表格，也可以方便地對圖表、表格和報告的外觀(guān)進(jìn)行微調，使用戶(hù)可以自動(dòng)創(chuàng )建有效的可視化結果，最大程度地減少調整和優(yōu)化統計報表界面的無(wú)效時(shí)間，從而將精力更多地放到數據及其傳達的信息等有效事件上去。

　　新添的交互式 HTML報告是指很多原先只能在JMP軟件環(huán)境下才能實(shí)現動(dòng)態(tài)互動(dòng)式分析的圖形和報表，都可以被保存為 HTML5 格式的網(wǎng)頁(yè)，然后通過(guò)電子郵件發(fā)送給同事或朋友，或者直接公布到網(wǎng)站上，該報告支持最新的瀏覽器(包括移動(dòng)設備瀏覽器)進(jìn)行查看。這使得眾多還沒(méi)有安裝JMP的人員也能分享原創(chuàng )者的分析成果和樂(lè )趣，像安裝了JMP軟件一樣進(jìn)行探索性數據分析。

　　2. 質(zhì)量管理

　　在質(zhì)量管理及其衍生出來(lái)的六西格瑪領(lǐng)域從業(yè)的工程師和經(jīng)理們是JMP軟件用戶(hù)群中的一個(gè)重要分支，JMP11不負眾望，在這個(gè)方面交出了令人滿(mǎn)意的答卷。其中比較大的變化是：新增響應篩選Response Screening分析平臺，增強控制圖生成器Control Chart Builder和預測刻畫(huà)器Prediction Profiler兩個(gè)質(zhì)量分析工具。此外，還在過(guò)程能力分析Capability、魚(yú)骨圖Diagram、測量系統分析Measurement Systems Analysis等工具上有一些細節上的改進(jìn)。

　　其中最值得一提的是增強的控制圖生成器和預測刻畫(huà)器。

　　很對人可能還對在JMP10中新推出的拖放式控制圖生成器記憶猶新：只需輕輕一點(diǎn)，即可創(chuàng )建過(guò)程控制圖表，不但可以判斷流程是否穩定，而且可以分析流程不穩定的原因所在。只是讓人略感遺憾的是它不支持離散變量，只能做計量型控制圖。JMP11彌補了這一遺憾，最新的控制圖生成器允許用戶(hù)創(chuàng )建包括np、p、C和U圖在內的計數型控制圖。更令人驚喜的是，JMP11中的控制圖生成器還支持T和G圖在內的稀有事件控制圖!T和G圖是了解稀有事件發(fā)生頻率是否高于預期和證明干預正當性的一種有效方式 ，它在質(zhì)檢人員關(guān)注安全事故、嚴重質(zhì)量事故時(shí)非常實(shí)用，因為這時(shí)傳統的控制圖是無(wú)法真實(shí)表現出流程穩定性的。

　　JMP中的預測刻畫(huà)器是很多人耳熟能詳的一個(gè)特色工具，十幾年前就有了。JMP11中的預測刻畫(huà)器新增評估變量重要性Assess Variable Importance的選項，不僅可以通過(guò)圖形進(jìn)行定性分析，而且可以通過(guò)顯示的各自變量主效應值和總效應值，量化地了解建模過(guò)程中最重要的輸入因素。這個(gè)特點(diǎn)可以幫助我們在進(jìn)行敏感度分析，或者需要在眾多潛在因子中分離出影響響應的少數重要因子時(shí)，大幅節省分析時(shí)間，提高工作效率。

　　3. 產(chǎn)品研發(fā)

　　越來(lái)越多的人意識到統計質(zhì)量工具不僅僅適用在企業(yè)的質(zhì)量部門(mén)、工藝部門(mén)，其實(shí)在研發(fā)部門(mén)也大有用武之地，只是用到的工具會(huì )更復雜一些，如實(shí)驗設計DOE和可靠性Reliability。

　　具體來(lái)說(shuō)，JMP11中實(shí)驗設計方面的主要變化是：新添獨創(chuàng )性的決定性篩選設計Definitive Screening Design平臺，改進(jìn)已有的混料設計Mixture Design、篩選設計Screening Design、空間填充設計Space Filling Design等平臺。JMP11中可靠性方面的主要變化是：新添可靠性方塊圖Reliability Block Diagram平臺(僅限JMP Pro)，改進(jìn)已有的可靠性增長(cháng)Reliability Growth、擬合參數生存Fit Parametric Survival等平臺。

　　這當中最值得向研發(fā)人員推薦的就是新近開(kāi)發(fā)的決定性篩選設計和可靠性方塊圖。

　　決定性篩選設計的亮點(diǎn)在于它能夠一舉克服傳統篩選設計的兩個(gè)缺陷：一是容易遺漏主效應不顯著(zhù)但二次項顯著(zhù)的關(guān)鍵因子，二是當存在的交互作用項較多時(shí)，需要執行較多的實(shí)驗次數以提高實(shí)驗的分辨率。當實(shí)驗中需要考慮的潛在因子越多時(shí)，JMP11中的決定性篩選設計為你帶來(lái)的價(jià)值越大。因為運用這種新方法時(shí)，實(shí)驗次數的增加與實(shí)驗因子的增加幾乎完全是線(xiàn)性的，而不像傳統篩選設計中那樣需要成倍增加。更重要的是，它在幫助你節省實(shí)驗成本和時(shí)間的同時(shí)，任何主要模型項之間又不會(huì )相互混淆，顯著(zhù)提高了實(shí)驗分析的效率。也正是因為如此，負責這個(gè)DOE平臺的JMP研發(fā)人員還榮獲了美國質(zhì)量協(xié)會(huì )頒發(fā)的年度大獎呢。

　　可靠性方塊圖的最大特色在于以往我們能夠對一個(gè)簡(jiǎn)單產(chǎn)品或零部件進(jìn)行可靠性分析，但對一個(gè)復雜系統(如擁有多個(gè)硬盤(pán)的 RAID 存儲陣列，或者配備四個(gè)引擎的飛機)的可靠性往往會(huì )束手無(wú)策。JMP Pro11中的可靠性方塊圖就是專(zhuān)門(mén)為你創(chuàng )建和分析整個(gè)系統的可靠性的。它可以使用戶(hù)通過(guò)查看不同的設計和比較多個(gè)系統的設計圖來(lái)輕松進(jìn)行假設分析，通過(guò)添加冗余部件來(lái)彌補系統弱點(diǎn)，從而避免系統將來(lái)發(fā)生故障。

　　4. 市場(chǎng)調研

　　除了質(zhì)量、工藝、研發(fā)等技術(shù)部門(mén)之外，企業(yè)的市場(chǎng)部門(mén)經(jīng)常會(huì )面臨客戶(hù)市場(chǎng)細分、滿(mǎn)意度調查、精準營(yíng)銷(xiāo)、客戶(hù)挽留等大量與統計分析相關(guān)的任務(wù)，JMP軟件處理這類(lèi)數據分析問(wèn)題也是非常專(zhuān)業(yè)的。

　　以往這個(gè)特點(diǎn)一直是“藏在深閨無(wú)人知”，從JMP11開(kāi)始，分析菜單中新增加了一個(gè)“客戶(hù)研究Consumer Research”的二級主菜單，整合并改進(jìn)了已有的分類(lèi)Categorical、選擇Choice、項目分析Item Analysis平臺，新添了提升Uplift平臺(僅限JMP Pro)，顯示出JMP在市場(chǎng)調研領(lǐng)域也充滿(mǎn)了實(shí)力和信心。

　　這里和大家分享其中兩個(gè)最有價(jià)值的工具：分類(lèi)和提升。

　　分類(lèi)平臺早在JMP7時(shí)就有了，主要用于收集和分析有關(guān)客戶(hù)如何使用產(chǎn)品或客戶(hù)滿(mǎn)意度的信息。JMP11中分類(lèi)的分析操作更加簡(jiǎn)便，支持多種格式的調查問(wèn)題，無(wú)論是內容詳實(shí)的明細報告，還是內容緊湊的簡(jiǎn)潔報告，都可以輕松制作。用戶(hù)還可以分析調查中回答者可以選擇多個(gè)答案的多選問(wèn)題。甚至提供一個(gè)拖放界面，用于構建更加復雜的調查分析結構。全部完成之后，還可以輕松將完成的分析表格輸出到 Excel 工作簿中。

　　JMP Pro11中的提升平臺初看和JMP中的另外一個(gè)平臺：分割(即決策樹(shù))非常類(lèi)似，但其實(shí)包含著(zhù)全新的功能。它可以幫助用戶(hù)優(yōu)化市場(chǎng)營(yíng)銷(xiāo)決策，確定個(gè)性化促銷(xiāo)方案，或者更用來(lái)預測不同的消費者對某項市場(chǎng)活動(dòng)可能作出的不同回應。它還可以像其他數據挖掘方法一樣使用訓練、驗證和檢驗方法，防止過(guò)度擬合，使新建的模型能夠更好地推廣到新數據去。

　　5. 分析自動(dòng)化與擴展

　　分析自動(dòng)化與擴展的功能主要是指用編程的方式來(lái)自動(dòng)調用JMP進(jìn)行數據的整理和分析工作，并通過(guò)提高JMP與其他數據分析軟件的兼容性來(lái)快速提高JMP的適應能力和分析能力。它是專(zhuān)門(mén)為JMP高級用戶(hù)準備的。JMP11在這方面的亮點(diǎn)也是層出不窮，包括：構建界面更友好的JSL(JMP腳本語(yǔ)言)編程環(huán)境、優(yōu)化應用程序的實(shí)用功能、支持直接讀取Teradata數據庫、完善Excel導入向導、與Matlab無(wú)縫集成和導入海量外部數據前可事先抽樣等。

　　我們從中精選兩項內容來(lái)說(shuō)明一下：完善Excel導入向導和與Matlab無(wú)縫集成。

　　Excel是我們接觸頻率最高的數據分析軟件。常?？吹竭@樣的情形：需要用JMP分析的數據分布在多個(gè)Excel工作簿里，其中又有不同的嵌套層次和分組的行或列，因此在開(kāi)始分析前往往需要進(jìn)行大量處理?，F在，憑借完善后的JMP11 Excel導入向導，數據導入的難題迎刃而解，無(wú)需進(jìn)行長(cháng)時(shí)間的清理和格式修改，只需簡(jiǎn)單幾步，即可獲得JMP標準格式的分析表格。如果文件發(fā)生變更或更新，還可自動(dòng)生成JSL用于刷新數據。

　　和大眾化的Excel相反，Matlab的主要用戶(hù)是專(zhuān)業(yè)的信號處理工程師和計算金融分析師，在某些特定的領(lǐng)域積累了豐富的行業(yè)經(jīng)驗和現成的Matlab分析代碼，同時(shí)他們也喜歡交互性強、可視化效果好的JMP分析界面(如JMP獨有的預測刻畫(huà)器)?，F在，像這樣的用戶(hù)不必再糾結如何取舍工具軟件的問(wèn)題了。因為JMP11可以與Matlab無(wú)縫集成。使用JMP11中的JSL功能，JMP可以直接與Matlab結合，啟動(dòng) Matlab連接、向Matlab發(fā)送數據、提交代碼以及將數據輸出或送回JMP。更有意義的是，哪怕對Matlab及其編程知識一無(wú)所知的人，也可以借助同行現有的Matlab模型，進(jìn)一步拓展分析能力，大幅提高工作效率。

　　6. 專(zhuān)業(yè)統計分析

　　對于從事數據挖掘與建模預測、統計科研與教育的專(zhuān)業(yè)統計分析人士來(lái)說(shuō)，以上介紹的內容可能還不過(guò)癮。其實(shí)，JMP11對于統計高端用戶(hù)也推出了很多頗具幫助價(jià)值的新功能，其中包括全新或改進(jìn)過(guò)的穩健模型Robust Modeling、廣義回歸 Generalized Regression (僅限JMP Pro)、混合模型Mixed Models (僅限JMP Pro)、偏最小二乘Partial Least Squares等。

　　舉兩個(gè)例子來(lái)說(shuō)，廣義回歸的適應場(chǎng)景是：如果你有大量關(guān)聯(lián)性較強或者比觀(guān)測數據更多的預測變量，使用逐步回歸或其他標準方法將無(wú)法得到令人滿(mǎn)意的結果。這一類(lèi)模型經(jīng)常會(huì )過(guò)度擬合，并且很難推廣到新數據。JMP Pro 11中的廣義回歸能夠面對雜亂的大型數據集創(chuàng )建預測模型，這是JMP數據挖掘工具箱中的一項重要新功能，可用于對大量預測變量進(jìn)行變量選擇或創(chuàng )建數據挖掘模型。它能夠幫助你以非常自然的方式處理說(shuō)明變量中的多重共線(xiàn)性，通過(guò)對估計參數的較大波動(dòng)施加懲罰來(lái)避免過(guò)度擬合。除標準的正態(tài)或二項分布外，JMP Pro 11中的廣義回歸還支持泊松分布、零膨脹泊松分布、負二項分布、零膨脹負二項分布等其他分布形式。

　　混合模型則適應于：當化工生產(chǎn)或制藥行業(yè)的藥物試驗、交叉設計過(guò)程中需要對多個(gè)對象進(jìn)行多次測量時(shí)，以及其他會(huì )同時(shí)涉及時(shí)間和空間的數據時(shí)，就可以在實(shí)驗數據分析中運用混合模型。JMP Pro11中全新的混合模型特質(zhì)，能夠混合固定效應和隨機效應模型對數據進(jìn)行擬合。用戶(hù)可以在直觀(guān)的拖放界面中指定固定、隨機和重復效應，關(guān)聯(lián)多組變量，設定受試對象和連續型效應。另外，用戶(hù)還可以根據實(shí)際需要計算更多種關(guān)聯(lián)結構的協(xié)方差參數。