NetFlow流量采集與聚合的研究實(shí)現
加入技術(shù)交流群
NetFlow的原始數據數據量非常龐大，保存每一條流數據的原始記錄將會(huì )使對數據進(jìn)行查詢(xún)分析時(shí)產(chǎn)生效率低下的問(wèn)題，在絕大部分應用中也沒(méi)有必要把數據粒度設計得如此之小。所謂流量聚合，是指對符合NetFlow數據格式的原始流記錄根據一定條件進(jìn)行流量合并，實(shí)現多條流合并為一條的過(guò)程，以實(shí)現原始流的壓縮整理。
2．3．1 聚合策略
流量聚合有三個(gè)關(guān)鍵要素：聚合條件(F)、時(shí)間粒度(T)和聚合項(C)。滿(mǎn)足相同聚合條件和時(shí)間粒度的流進(jìn)行流量疊加，并保留聚合項。三元組聚合策略：F，T，c>，其中：本文引用地址：http://dyxdggzs.com/article/188834.htm
按照實(shí)際流量分析的需要，從F，T，C中各取出一個(gè)值組成一個(gè)聚合策略。對于T的粒度要根據實(shí)際監控的時(shí)間長(cháng)短和監測精度來(lái)設置，一般來(lái)說(shuō)T＝3 min適合于當天實(shí)時(shí)流量的監測；T＝30 min用于一周流量的分析；T＝3 h用于一月內流量的分析。
2．3．2 聚合的實(shí)現
對于一個(gè)新采集的原始流，必須能根據其所攜帶的聚合條件信息快速匹配是否已存在與其相同聚合條件的聚合流，若有則做流量疊加，若沒(méi)有則創(chuàng )建一條新的聚合流。Hash表具有從Key快速映射到Value的特點(diǎn)，這種特點(diǎn)對于實(shí)時(shí)性較高的聚合非常有意義。圖3為流量聚合的}Iash表設計。
在圖3中聚合條件(F)作為Key，聚合項(C)作為Hash函數的映射值，時(shí)間粒度(T)作為Hash表導出到數據庫的時(shí)間。這樣可以滿(mǎn)足實(shí)時(shí)流量監測的需要，同時(shí)也壓縮數據減少存儲空間，提高數據的查詢(xún)效率。
3 實(shí)際NetFlow流采集與流量監測
在本系統設計的數據采集器的支持下，系統數據庫為前端分析提供了充足且多樣化的數據準備，前端程序只需通過(guò)簡(jiǎn)單的查詢(xún)語(yǔ)句即可得到所需的數據集，簡(jiǎn)化了查詢(xún)的工作量。利用該系統采集NetFlow數據包50 000個(gè)，時(shí)間持續約7 h，時(shí)間粒度為3 min，主要檢驗丟包情況，以及聚合后壓縮效率。這次采集無(wú)丟包發(fā)生，表1為該系統采集的數據結果。
圖4是系統由所采集的數據生成的該時(shí)段的流量監測圖。
4 結 語(yǔ)
NetFlow數據流的海量特征使得服務(wù)器程序的效率至關(guān)重要，因此基于NetFlow的流量監測的主要任務(wù)是如何根據應用保存最重要的網(wǎng)絡(luò )流特征以及如何更高效地實(shí)現數據檢索?；贜etFlow特點(diǎn)，提出了一套適用于大流量網(wǎng)絡(luò )的流量采集與聚合存儲方案。流量采集通過(guò)多線(xiàn)程和緩沖區機制實(shí)現，有效提高了流量采集的可靠性。采集的原始流經(jīng)聚合，并通過(guò)合理的分級存儲策略進(jìn)行存儲組織，為前端的數據分析提供了全面支持。本系統在實(shí)際應用中取得了良好效果。下一步還將對采集和多級聚合存儲方案進(jìn)行改進(jìn)，以豐富系統對網(wǎng)絡(luò )流量統計分析功能，并力爭為異常流量分析提供較為完善的數據支持。
評論