非結構化海量網(wǎng)絡(luò )數據處理技術(shù)研究

假設PerCyc為6，則在1 s內，平均提取6個(gè)時(shí)間點(diǎn)。以第二個(gè)時(shí)間點(diǎn)10為例，從圖中可以看到，某個(gè)實(shí)際的網(wǎng)絡(luò )數據包時(shí)間在10附近有08 s，09 s，12 s三點(diǎn)，那么在提取該網(wǎng)絡(luò )數據包的時(shí)候，比較后選擇09 s點(diǎn)數值為同步分析的結果數值。以此類(lèi)推，對需要提取的網(wǎng)絡(luò )數據包在10 s點(diǎn)的數值都可以比較逼近獲得。
2．3 分布式應用中間件網(wǎng)絡(luò )數據處理
以中間件形式(Active控件等)將網(wǎng)絡(luò )數據包接口軟件發(fā)布在分布式網(wǎng)絡(luò )數據處理系統中。該系統在數據管理、海量數據并發(fā)處理和數據分發(fā)等方面滿(mǎn)足海量飛行試驗數據處理需求，通過(guò)基于Web的飛行試驗數據處理子系統實(shí)現對所需數據信息的訪(fǎng)問(wèn)。如圖4所示。
(1)客戶(hù)端ActiveX根據調度服務(wù)器列表中的IP及端口號循環(huán)嘗試建立Socket通信，發(fā)出計算請求；
(2)客戶(hù)端ActiveX與調度服務(wù)器建立連接后，調度服務(wù)器經(jīng)過(guò)負載均衡計算，返回給客戶(hù)端ActiveX一個(gè)計算服務(wù)器的IP及端口號；
(3)客戶(hù)端ActiveX與計算服務(wù)器建立Socket連接；
(4)客戶(hù)端ActiveX發(fā)出執行計算命令；
(5)計算服務(wù)器接收到計算命令后，啟動(dòng)確定的分布式中間件執行分布式計算任務(wù)，并將狀態(tài)信息輸出到控制臺，計算服務(wù)器中的狀態(tài)監控程序用管道技術(shù)將分布式中間件的輸出作為自己的輸入，并通過(guò)Socket方式返回給客戶(hù)端ActiveX；
(6)客戶(hù)端ActiveX接收任務(wù)執行的狀態(tài)信息，顯示給用戶(hù)；
(7)當分布式中間件執行完畢，計算服務(wù)器中的狀態(tài)監控程序將最后的結果文件通過(guò)Socket傳給客戶(hù)端ActiveX；
(8)客戶(hù)端ActiveX控件將文件保存至客戶(hù)端，分布式計算結束。

3 結語(yǔ)
本文由面及點(diǎn)地對網(wǎng)絡(luò )化測試系統中采集記錄的網(wǎng)絡(luò )數據進(jìn)行了深層次的理解和多視角的剖析。同時(shí)為實(shí)現對非結構化海量網(wǎng)絡(luò )數據進(jìn)行快速分析處理，對數據處理算法和數據處理軟件集成進(jìn)行了研究，從接口軟件關(guān)鍵算法設計到數據系統集成提出了解決方法。并且這些方法已經(jīng)在飛行試驗海量網(wǎng)絡(luò )數據處理軟件的設計過(guò)程中應用，通過(guò)對飛行試驗中采集的網(wǎng)絡(luò )數據進(jìn)行分析處理，使用這些算法的飛行試驗海量網(wǎng)絡(luò )數據處理軟件的處理效率滿(mǎn)足飛行試驗海量網(wǎng)絡(luò )數據處理需求，解決了在飛行試驗中的非結構海量網(wǎng)絡(luò )數據快速分析處理問(wèn)題，為新一代機載網(wǎng)絡(luò )化測試系統應用于飛行試驗提供了技術(shù)保障。國外許多航空公司已經(jīng)在飛行試驗中應用網(wǎng)絡(luò )化測試系統，對非結構海量網(wǎng)絡(luò )數據分析處理技術(shù)也在進(jìn)行研究。