非結構化海量網(wǎng)絡(luò )數據處理技術(shù)研究

摘要：為實(shí)現網(wǎng)絡(luò )化測試系統下非結構化海量網(wǎng)絡(luò )數據的快速分析處理，在關(guān)鍵的算法和系統化集成處理方面提出解決方法。采用內存映射文件方式快速讀取海量數據，并設計了時(shí)間矩陣算法，用以快速進(jìn)行同步分析處理；應用分布式中間件方式實(shí)現海量數據的并發(fā)處理和數據分發(fā)，對飛行試驗采集的網(wǎng)絡(luò )數據進(jìn)行了分析處理，使用這些算法的數據處理軟件，可以使處理效率滿(mǎn)足飛行試驗海量網(wǎng)絡(luò )數據處理的需求。這些都為新一代機載采集系統應用于飛行試驗提供了技術(shù)保障。
關(guān)鍵詞：IENA；XNET／INET；PCAP；飛行試驗

飛行試驗數據處理是飛行試驗工程中非常重要的一個(gè)環(huán)節，是對各類(lèi)試飛數據信息進(jìn)行細致、充分和全面的分析與處理，數據處理結果是飛行試驗鑒定結論的核心依據。隨著(zhù)計算機網(wǎng)絡(luò )技術(shù)在飛行試驗測試領(lǐng)域的深入應用，網(wǎng)絡(luò )化測試技術(shù)逐漸成為飛行試驗測試技術(shù)發(fā)展的另一個(gè)核心。同時(shí)隨著(zhù)現代飛機設計技術(shù)的發(fā)展，飛機系統越來(lái)越復雜，飛行試驗科目、測試參數、測試數據種類(lèi)以及測試數據總量越來(lái)越多。對飛行試驗數據處理從質(zhì)量、速度以及數據安全性、可靠性等方面提出了更高的要求。機載網(wǎng)絡(luò )化測試系統架構技術(shù)應用于最新的飛機測試系統上，該系統采集記錄的網(wǎng)絡(luò )數據記錄了飛機一個(gè)飛行試驗起落的各類(lèi)測試數據信息，新一代飛機測試參數總量激增，數據總量達到上百個(gè)GB。為縮短單架次飛行試驗周期，如何高效快捷地對這些非結構化的海量網(wǎng)絡(luò )數據包進(jìn)行同步分析處理，方便科研人員的應用，就成為必須解決的實(shí)際問(wèn)題。

1 網(wǎng)絡(luò )化機載測試系統飛行試驗數據的特點(diǎn)
在網(wǎng)絡(luò )化機載測試系統Kam4000中，網(wǎng)絡(luò )數據包從采集器通過(guò)二級交換機到記錄器。第一級交換機可以有多個(gè)，二級交換機作為系統的時(shí)鐘接入點(diǎn)、遙測數據和記錄器的接入點(diǎn)、系統配置文件的加載點(diǎn)，結構如圖1所示。網(wǎng)絡(luò )數據包被記錄器完整的記錄下來(lái)，在此需要分析的是記錄器記錄的完整的網(wǎng)絡(luò )數據。該網(wǎng)絡(luò )數據是有一個(gè)個(gè)網(wǎng)絡(luò )數據包組成，每個(gè)網(wǎng)絡(luò )數據包的格式根據采集器的不同可以是不同的。

1．1 與Kam500采集系統的差別
現在大量應用于飛行試驗的Kam500機載測試系統，采集記錄的飛行試驗數據格式為標準的PCM數據。PCM數據由重復出現的長(cháng)幀組成，每個(gè)長(cháng)幀的長(cháng)度是固定的，每個(gè)長(cháng)幀包含若干個(gè)短幀。網(wǎng)絡(luò )化機載測試系統Kam4000中，采集記錄的飛行試驗數據為網(wǎng)絡(luò )數據包格式。每個(gè)網(wǎng)絡(luò )數據包的大小都可以不同，并且每個(gè)網(wǎng)絡(luò )數據包中的參數個(gè)數也可以不同。
1．2 海量網(wǎng)絡(luò )數據包的格式
網(wǎng)絡(luò )化測試系統采用ARCA公司的最新采集器，采集記錄的數據格式根據采集器的不同可以是IENA，或XNET／INET網(wǎng)絡(luò )數據包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結構。而采用BCU140(XNET Ethernet Controller)支持XNET／INET的同時(shí)，也支持IEN-A。在網(wǎng)絡(luò )化測試系統中IENA和XNET／INET網(wǎng)絡(luò )數據包以EthernetⅡ協(xié)議廣播。根據記錄器的不同，記錄的網(wǎng)絡(luò )數據包結構可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式：
文件頭 數據包頭 數據包 數據包頭 數據包 …
IRIG106-10基本格式：
文件頭 特殊字頭 數據包 特殊字頭 數據包 …
根據飛行試驗的測試特性，參照以往的模擬量在飛行實(shí)驗中記錄數據的大小，如果參數量為5 000個(gè)，一定的飛行時(shí)間內記錄的飛行試驗數據為12 GB左右。隨著(zhù)飛機系統的復雜性的增加，應用于飛行實(shí)驗的網(wǎng)絡(luò )化測試系統需測試的飛行試驗參數也越來(lái)越多，單架次的飛行試驗記錄的模擬量數據將是現在的4倍、5倍甚至更多。