高速網(wǎng)絡(luò )流量監測系統的設計與實(shí)現

　隨著(zhù)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò )應用范圍不斷擴大，網(wǎng)絡(luò )結構和網(wǎng)絡(luò )應用越來(lái)越復雜，這使得網(wǎng)絡(luò )出現各種問(wèn)題的可能性增大，同時(shí)管理網(wǎng)絡(luò )的難度也增大。網(wǎng)絡(luò )流量監測提供了一種探索實(shí)際環(huán)境中網(wǎng)絡(luò )特性的手段。從實(shí)現方法的角度，目前所存在的流量測量方法可分為兩大類(lèi)：基于硬件的測量方法和基于通用PC平臺測量方法?；谟布臏y量方法由于在高速鏈路的環(huán)境下具有了巨大的性能優(yōu)勢，一般為大型開(kāi)發(fā)商和運營(yíng)商所用，但是因為其價(jià)格比較昂貴，大多數的中小企業(yè)還是選用基于通用PC的流量監測方法。然而，隨著(zhù)網(wǎng)絡(luò )速率的不斷提高，基于通用PC平臺的流量監測因為受到操作系統和硬件性能的限制，不能滿(mǎn)足高速鏈路流量監測的需求。
　本文設計并實(shí)現了一種高速網(wǎng)絡(luò )流量監測系統。該系統基于高速數據采集卡和普通服務(wù)器，在硬件采集、存儲數據的基礎上，實(shí)現數據捕獲、分析、統計、報表等功能。通過(guò)該系統，用戶(hù)可以制定針對特定業(yè)務(wù)的流量監測，并且可以對網(wǎng)絡(luò )的健康狀況和瓶頸等進(jìn)行測試，幫助用戶(hù)迅速地確定網(wǎng)絡(luò )問(wèn)題。
1 設計方案
　網(wǎng)絡(luò )流量監測驗證系統由硬件支撐平臺、軟件支撐平臺和網(wǎng)絡(luò )流量監測應用軟件（ntop）三部分構成。
1.1 硬件支撐平臺
1.1.1 TurboCap高速捕獲卡
　TurboCap是一種雙端口千兆捕獲與注入工具，具備多種功能，包括同時(shí)全速捕獲與注入、多端口通信聚合以及可調控的pass-thru模式。該工具套件同時(shí)提供TurboCap API以及winPcap/libpcap API。TurboCap套件包括TurboCap千兆捕獲卡、TurboCap驅動(dòng)和用戶(hù)級的API三部分。
1.1.2 服務(wù)器
　TurboCap卡是一種基于PCI-E的接口卡（4x或8x），為了最大程度發(fā)揮其性能，網(wǎng)絡(luò )流量監測系統采用HP380G6服務(wù)器，該服務(wù)器主要配置如下：PCI-E為X8 PCI-E卡插槽；CPU采用2.4 GHz雙核Intel Xeon W3503；內存為8 GB；存儲為SAS硬盤(pán)（10 000轉）RAID卡。
1.2 軟件支撐平臺
　軟件支撐平臺主要包括Linux操作系統、TurboCap卡驅動(dòng)和TurboCap Libpcap（Packet Capture Library）開(kāi)發(fā)包模塊等。
Linux操作系統采用Fedora 10，主要因為捕獲卡的驅動(dòng)為Fedora 10。
1.2.1 Libpcap開(kāi)發(fā)模塊
　Libpcap由Berkeley 大學(xué)的JACOBSON V、LERES C 和MCCANNE S編寫(xiě)， 是一個(gè)平臺獨立的網(wǎng)絡(luò )數據包捕獲開(kāi)發(fā)包，應用非常廣泛，幾乎只要涉及網(wǎng)絡(luò )數據包的捕獲功能，都可以使用Libpcap開(kāi)發(fā)包。Libpcap可以在絕大多數類(lèi)Unix/Linux平臺下工作。Libpcap軟件包可從http：//www.tcpdump.org下載，目前最新版本為1.1.1。
　本文采用的Libpcap版本號為libpcap-1.0.0-tc_17.fc10.x86_64，是由CACE公司提供的與TurboCap卡驅動(dòng)配套的開(kāi)發(fā)包。
1.2.2 支撐軟件安裝
　以ROOT用戶(hù)安裝TurboCap驅動(dòng)， TurboCap內核模塊，TurboCap開(kāi)發(fā)庫、文檔、例子以及支持TurboCap修改版的libpcap 1.0.0，操作如下：
　[root@x86_64]# rpm -ivh kernel-firmware-2.6.27.12-170.2.5.preemptive.kernel.kt.fc10.x86_64.rpm
　[root@x86_64]# rpm -ivh kernel-2.6.27.12-170.2.5.preemptive.kernel.kt.fc10.x86_64.rpm
　[root@x86_64]# rpm -ivh turbocap-1.6.2117-1.fc10.x86_64.rpm libpcap-1.0.0-tc_16.fc10.x86_64.rpm
　[root@x86_64]# rpm -ivh turbocap-module-2.6.27.12-170.2.5.preemptive.kernel.kt.fc10-1.6.2117-1.fc10.x86_64.rpm
　之后重啟計算機，確認選擇啟動(dòng)的內核是：Fedora （2.6.27.12-170.2.5.preemptive.kernel.kt.fc10.i686）或者Fedora（2.6.27.12-170.2.5.preemptive.kernel.kt.fc10.x86_64）
1.3 網(wǎng)絡(luò )流量監測應用軟件
　ntop是一套網(wǎng)絡(luò )流量監控軟件，由意大利Pisa大學(xué)教授DERI L于1997年開(kāi)始開(kāi)發(fā)，并以開(kāi)源方式提供使用，可以從http：//www.ntop.org下載，目前最新版本為4.0.3。ntop以sniffery方式運作，采用網(wǎng)頁(yè)接口，主要功能有網(wǎng)絡(luò )監控、網(wǎng)絡(luò )流量統計、提供網(wǎng)絡(luò )最佳化與除錯的信息以及偵測可疑的網(wǎng)絡(luò )流通信息等。
1.3.1 ntop功能
　ntop可以監測的數據包括：網(wǎng)絡(luò )流量、使用協(xié)議、系統負載和端口情況等。
　ntop能夠更加直觀(guān)地將網(wǎng)絡(luò )使用量的情況和每個(gè)節點(diǎn)計算機的網(wǎng)絡(luò )帶寬使用詳細情況顯示出來(lái)?？梢酝ㄟ^(guò)分析網(wǎng)絡(luò )流量來(lái)確定網(wǎng)絡(luò )上存在的各種問(wèn)題，如瓶頸效應或性能下降；也可以用來(lái)判斷是否有黑客正在攻擊網(wǎng)絡(luò )系統。如果懷疑網(wǎng)絡(luò )正在遭受攻擊，通過(guò)ntop截獲的數據包可以確定正在攻擊系統的是什么類(lèi)型的數據包，以及它們的源頭，從而可以及時(shí)地作出響應，或者對網(wǎng)絡(luò )進(jìn)行相應的調整，以保證網(wǎng)絡(luò )運行的效率和安全。通過(guò)ntop網(wǎng)管員還可以很方便地確定哪些通信量屬于某個(gè)特定的網(wǎng)絡(luò )協(xié)議、占主要通信量的是哪個(gè)主機、各次通信的目標是哪個(gè)主機、數據包發(fā)送時(shí)間、各主機間數據包傳遞的間隔時(shí)間等。這些信息為網(wǎng)管員判斷網(wǎng)絡(luò )問(wèn)題及優(yōu)化網(wǎng)絡(luò )性能，提供了十分寶貴的信息。
1.3.2 ntop基本架構
　ntop基本架構分成三個(gè)模塊：數據包捕獲（Packet Sniffer）模塊，數據包分析（Packet Analyser）模塊以及報告引擎（Report Engine）模塊，如圖1所示。由Packet Sniffer收集網(wǎng)絡(luò )上的Packet，然后送給Packet Analyser去處理，再由Report Engine將處理分析后的數據呈現出來(lái)。

1.3.3 ntop安裝與使用
　在FC10下，ntop的安裝配置更簡(jiǎn)單，大多數庫默認都已經(jīng)安裝，只需另外安裝GeoIP和rrdtool，下面簡(jiǎn)單介紹一下ntop的安裝和配置。
解壓縮源碼：tar -zxvf ntop-4.0.3.tar.gz；
　運行：cd ntop-4.0.3；
　運行：./autogen.sh；
　運行：make make install；
　添加用戶(hù)：useradd -M-s/sbin/nologin-r ntop；
　設置用戶(hù)權限：chown ntop：root /usr/local/var/ntop/；
　設置用戶(hù)權限：chown ntop：ntop /usr/local/share/ntop/；
　設置密碼：ntop-A；
　ntop作為守護進(jìn)程運行：/usr/local/bin/ntop-d-L-u ntop-P/usr/local/var/ntop--skip-version-check--use-syslog=daemon；
　查看統計信息：打開(kāi)瀏覽器，在地址欄輸入http：//host_ip：3000（“IP”就是安裝ntop的那臺網(wǎng)管工作站的IP地址），即可打開(kāi)ntop界面。
2 網(wǎng)絡(luò )流量監控系統的接入方式
2.1 網(wǎng)絡(luò )數據獲得技術(shù)
　在交換網(wǎng)絡(luò )中，有兩種有效的獲得數據的方法：
?。?）鏡像端口SPAN（Switch Port Analysis）：某些交換機可以將一個(gè)或幾個(gè)端口的數據包復制到一個(gè)指定的端口，然后可以在該端口上接網(wǎng)絡(luò )流量監測系統。
?。?）分路器TAP（Test Access Port）：可以把任意一個(gè)端口收到的數據注入到另一個(gè)端口?？捎糜诩磿r(shí)分析網(wǎng)絡(luò )流量，且不占用任何網(wǎng)絡(luò )資源。分路器TAP串接在被監控鏈路上，可永久固定在被監控鏈路上，避免插拔鏈路，不用配置交換機和額外占用交換機端口。
2.2 網(wǎng)絡(luò )流量監控系統的部署方式——SPAN方式
　網(wǎng)絡(luò )流量監控系統的部署方式為SPAN方式。下面主要說(shuō)明如何在Catalyst 2950上配置SPAN功能，以下是SPAN實(shí)現的范例：
　C2950#conf t
　C2950（config）#
　C2950（config）#monitor session 1 source interface fastEthernet 0/2
　!-- Interface fa 0/2 is configured as source port
　C2950（config）#monitor session 1 destination interface fastEthernet 0/3
　!-- Interface fa0/3 is configured as destination port
　C2950（config）#
　在使用SPAN時(shí)需要注意：（1）保證鏡像端口的線(xiàn)速等于或高于被監測端口的線(xiàn)速，防止數據過(guò)載，造成數據包丟失；（2）SPAN功能會(huì )增加交換機的負荷，占用交換機的CPU、內存等系統資源，致使交換機性能下降，所以在獲取到足夠的數據后，需要去除SPAN功能；（3）由于不同交換機轉發(fā)機制不同，有的交換機的SPAN功能會(huì )自動(dòng)丟棄錯誤的數據包，導致無(wú)法獲取到錯誤的數據包，而錯誤的數據包能為解決網(wǎng)絡(luò )問(wèn)題提供重要依據。
2.3 網(wǎng)絡(luò )流量監控系統的部署方式——TAP方式
　網(wǎng)絡(luò )流量監控系統的部署方式采用TAP方式，TAP方式又分以下幾種：
?。?）交換分路器（TAP）模式。當TurboCap卡處于pass-thru模式時(shí)，TurboCap把一個(gè)端口收到的數據注入到同卡上的另一個(gè)端口。兩個(gè)端口支持全速對發(fā)，從而使TurboCap具有分路器的功能。
?。?）匯聚TAP模式。安裝方法類(lèi)似于交換TAP。匯聚TAP可以將多條鏈路的全雙工數據合并到單一數據流中，這樣可以從單一數據流中看到來(lái)自多個(gè)SPAN端口的匯聚流量，將其復制后供分析使用。TurboCap支持同卡上的全速雙口通信聚合。用戶(hù)可以通過(guò)一個(gè)叫做Board Aggregationg Port（BAP）的虛擬端口來(lái)訪(fǎng)問(wèn)聚合通信。TurboCap還支持對多TurboCap卡的端口進(jìn)行聚合，這樣用戶(hù)可以一次捕獲超過(guò)兩個(gè)端口的通信。
在借助TAP分析網(wǎng)絡(luò )數據的時(shí)候，需要注意以下三點(diǎn)：（1）TAP主要用于對骨干鏈路數據的獲?。ó斎灰部梢杂糜谄渌溌罚?，使用時(shí)需要預先布放（串接）到鏈路中，避免監測骨干鏈路時(shí)再串接TAP而引起中斷網(wǎng)絡(luò )的情況發(fā)生；（2）被監測的鏈路流量不要超過(guò)TAP端口的線(xiàn)速，防止數據包因過(guò)載而丟失；（3）將不同的TAP組合起來(lái)使用可以實(shí)現更高要求的數據監測，通過(guò)TAP模式和聚合功能，就可以實(shí)現聚合TAP的功能。
　本文基于高速采集卡和普通服務(wù)器設計了高速網(wǎng)絡(luò )流量監測系統，采用Linux操作系統和開(kāi)源軟件，成本低，滿(mǎn)足了高速鏈路流量監測的需求。該系統既支持SPAN方式，也支持TAP方式，這兩種技術(shù)在網(wǎng)絡(luò )監測、分析時(shí)都普遍應用。用戶(hù)可以根據自己的使用情況，選擇合適的部署方式來(lái)部署網(wǎng)絡(luò )流量監測系統。
參考文獻
[1] 鄭惠之，羅進(jìn)文.一種有效的流量控制策略—ntop[J]. 信息科技，2002（3）：38-39.
[2] 趙冉.網(wǎng)絡(luò )流量測量系統Ntop的分析與研究[D].西安：西北大學(xué)，2008.
[3] TAMON M A. Ntop network monitoring guide[EB/OL].[2008].http：//techowto.wordpress.com.