基于網(wǎng)絡(luò )設備的網(wǎng)頁(yè)過(guò)濾的設計

在網(wǎng)頁(yè)過(guò)濾技術(shù)中，URL 過(guò)濾是普遍采用的過(guò)濾方式，因為其設計實(shí)現非常簡(jiǎn)單，速度快、效率高；但是互聯(lián)網(wǎng)是動(dòng)態(tài)的，每天有數以萬(wàn)計的新的網(wǎng)頁(yè)出現，URL 名單的更新速度往往跟不上；如果單純的采用URL 過(guò)濾，會(huì )造成過(guò)濾的遺漏

　　內容過(guò)濾能夠實(shí)現實(shí)時(shí)的網(wǎng)頁(yè)內容防護，過(guò)濾比較準確，但是因為內容過(guò)濾過(guò)程比較復雜，處理量如果過(guò)大，會(huì )造成用戶(hù)上網(wǎng)的明顯延遲。

　　設計的方法是基于網(wǎng)絡(luò )層的網(wǎng)頁(yè)過(guò)濾方法，在網(wǎng)絡(luò )設備上實(shí)現對網(wǎng)頁(yè)的過(guò)濾。采用URL 過(guò)濾與內容過(guò)濾相結合的方式，取安全與性能的折中。

　　1 網(wǎng)頁(yè)過(guò)濾總體框架

　　一臺主機要訪(fǎng)問(wèn)Web 服務(wù)器，首先與Web 服務(wù)器進(jìn)行三次握手，建立TCP 連接；然后向Web 服務(wù)器發(fā)送請求報文，其中包含用戶(hù)訪(fǎng)問(wèn)的URL，Web 服務(wù)器在收到請求報文后，會(huì )發(fā)送應答報文給客戶(hù)主機，因此過(guò)濾流程框架可按如下設計：

　?、僭?a class="contentlabel" href="http://dyxdggzs.com/news/listbylabel/label/網(wǎng)絡(luò )設備">網(wǎng)絡(luò )設備中*用戶(hù)的數據包，檢測到HTTP 請求報文[3]，則分析該報文中嵌入的網(wǎng)頁(yè)地址信息（即URL），提取出URL 信息，對其進(jìn)行在黑白名單中進(jìn)行匹配分析，根據匹配結果給予是否通過(guò)；②內容過(guò)濾采用“第一次放過(guò)”的策略，即第一次對未知URL 的返回報文僅做內容檢查。收集服務(wù)器返回的HTTP響應報文，提取出應用層信息，組成完整的HTML 文檔，進(jìn)行內容過(guò)濾，根據判定結果進(jìn)行相應的操作，整體過(guò)濾步驟如圖1 所示。

圖1 過(guò)濾模型

　　2 URL 過(guò)濾

　　2.1 相關(guān)定義

　　白（黑）名單：在該名單中的URL，必定是合（非）法的地址信息；未在該名單中的網(wǎng)址的合法性未知。

　　2.2 黑白名單機制的設計

　　URL 過(guò)濾框架的設計是基于兩個(gè)事實(shí)：

　?、僖蛱鼐W(wǎng)統計表明，超過(guò)80%的用戶(hù)經(jīng)常訪(fǎng)問(wèn)的是20%的網(wǎng)頁(yè)內容；②大多數用戶(hù)在多數時(shí)間內訪(fǎng)問(wèn)的是合法信息的網(wǎng)頁(yè)。

　　基于上述事實(shí)一，設計白名單時(shí)，僅存放經(jīng)常訪(fǎng)問(wèn)的合法網(wǎng)站地址信息。這樣設計可以保證在進(jìn)行URL 匹配時(shí)，能夠快速高效地判斷該網(wǎng)頁(yè)地址是否在高頻白名單中。對于一段時(shí)間內訪(fǎng)問(wèn)頻率不高的網(wǎng)頁(yè)，采用老化機制將其從名單中移除。

　　基于上述事實(shí)二，設計將URL 白名單放在黑名單之前，若采用黑名單在前的方式，將會(huì )浪費大量時(shí)間去查找黑名單，而在大多數時(shí)間內，這些查找是不必要的。

　　2.3 URL 過(guò)濾

　　URL 過(guò)濾過(guò)程有：

　?、贆z測通過(guò)網(wǎng)絡(luò )設備的報文，發(fā)現是HTTP 的GET 方法請求報文，提取其中攜帶的URL 信息，若與高頻名單中的條目匹配，表示該URL 為合法，給予通過(guò)，并將該條目的統計計數加1；②若在白名單中沒(méi)有匹配，則繼續和黑名單中的條目進(jìn)行匹配。如果匹配成功，則斷開(kāi)該TCP 鏈接，并且該匹配條目的統計計數加1；③若匹配失敗，則進(jìn)行內容，根據內容過(guò)濾的結果將URL添加到相應名單中。

　　2.4 黑白名單老化機制

　　黑白名單老化機制步驟如下：

　?、儆嬎忝麊沃蠻RL 條目訪(fǎng)問(wèn)次數的平均值M，計算公式如公式1：

　　其中n 為表中的URL 條目數，mi為第i 個(gè)條目的統計計數值；②將老化閾值設為該平均值；③遍歷所有的URL 條目，檢查每個(gè)URL 條目的統計計數，若高于老化閾值，則將其保留在名單中，并且將統計計數值0，如果低于老化閾值，則將其剔除。