聯(lián)通IP承載網(wǎng)VRR按需路由優(yōu)化研究

作者簡(jiǎn)介：劉倩，廈門(mén)大學(xué)碩士，工程師，現工作于中國聯(lián)通河南分公司云網(wǎng)運營(yíng)中心，主要從事IP城域網(wǎng)及承載網(wǎng)的維護與優(yōu)化工作。E-mail：liuq46@chinaunicom.cn。

0   引言

為進(jìn)一步提升公司現有產(chǎn)業(yè)互聯(lián)網(wǎng)容量和綜合承載能力，降低網(wǎng)絡(luò )建設和運維成本，更好地支撐5G 和通信云化建設，中國聯(lián)通計劃對現存的2 張MPLS 骨干承載網(wǎng)絡(luò )（現有的CUII 和IP 承載B 網(wǎng)）進(jìn)行融合，以統一界面的形式更好地為用戶(hù)服務(wù)。融合后的CUII 骨干網(wǎng)主要用于移動(dòng)業(yè)務(wù)、大客戶(hù)MV 業(yè)務(wù)、云骨干網(wǎng)業(yè)務(wù)、云網(wǎng)協(xié)同業(yè)務(wù)、物聯(lián)網(wǎng)、聯(lián)通內部管理系統以及固網(wǎng)NGN等多業(yè)務(wù)綜合承載，并具備差異化服務(wù)的能力。

省際或省內移動(dòng)業(yè)務(wù)均以MPLS VPN 方式接入移動(dòng)業(yè)務(wù)IP 承載B 網(wǎng)，隨著(zhù)業(yè)務(wù)的快速發(fā)展以及5G 和通信云化的建設，業(yè)務(wù)側開(kāi)始采用IPv4/IPv6 雙棧地址接入，IPv6 地址空間巨大，同時(shí)B 網(wǎng)的VPN 數量及路由條目與日俱增，因此控制VPN 路由信息在全網(wǎng)VRR與AR，VRR 與VRR 之間按需路由反射尤為重要^[1]。為保證公司IP 承載網(wǎng)融合工作的順利開(kāi)展，根據總部統一安排，河南鶴壁作為全國第一個(gè)試點(diǎn)開(kāi)展了IP 承載B 網(wǎng)VPN RR（Route Reflector）按需路由特性?xún)?yōu)化部署實(shí)施，效果明顯，基于此集團進(jìn)一步完善實(shí)施操作方案并啟動(dòng)了其他各省B 網(wǎng)按需路由反射優(yōu)化工作。

1   承載B網(wǎng)網(wǎng)絡(luò )發(fā)展現狀

1.1 網(wǎng)絡(luò )結構

中國聯(lián)通IP 承載B 網(wǎng)采用分層網(wǎng)絡(luò )結構設計，全網(wǎng)分為核心層、匯聚層和接入層，各網(wǎng)絡(luò )層次的路由器分別簡(jiǎn)稱(chēng)為CR、BR、AR/ER^[2]。核心層由北京、上海、沈陽(yáng)、武漢、廣州、成都、西安7 個(gè)節點(diǎn)組成，整個(gè)核心層為全網(wǎng)狀結構^[3]。匯聚層由全國25 個(gè)節點(diǎn)城市組成，匯聚節點(diǎn)的兩臺BR 就近上聯(lián)至兩個(gè)不同核心節點(diǎn)的CR 設備上，以河南BR 節點(diǎn)為例，其上聯(lián)大區CR節點(diǎn)為北京/ 武漢。接入層由各省的地市節點(diǎn)組成，內部系統接入路由器AR 和外部系統接入路由器ER 均成對設置，并基于口字形結構與BR 連接，實(shí)現業(yè)務(wù)流量的接入匯聚。

1.2 自治域劃分及路由組織

B 網(wǎng)全網(wǎng)設置為一個(gè)統一的自治域，并分配公有的自治域號。全網(wǎng)域內采用ISIS 協(xié)議處于Level-2 區域，CR、BR 路由器的所有接口以及AR/ER 路由器的上行、橫聯(lián)、Loopback 接口都參與ISIS L2 路由。

1.3 MPLS/BGP路由策略

B 網(wǎng)上所有業(yè)務(wù)路由的承載均通過(guò)MP-iBGP 實(shí)現，通過(guò)MPLS 三層VPN 方式實(shí)現業(yè)務(wù)連通和彼此隔離^[4]。MP-BGP 采用扁平化層次結構，AR/ER 均與RR 建立對等體關(guān)系，所有MP-iBGP 路由均由RR 反射。

核心/ 匯聚層CR/BR 路由器僅承載IGP 路由（所有設備Loopback 與端口互聯(lián)地址），不與RR 建立鄰接關(guān)系。接入層AR/ER 路由器承載全部IGP 路由，作為Client 從RR 得到MP-iBGP 路由。

同一節點(diǎn)的2 臺AR/ER 向RR 宣告相同路由時(shí)，采用不同的RD 值（雙RD 組網(wǎng)）以便使RR 能夠選出不同方向的VPN 路由加快路由收斂。

1.4 VPN RR部署及結構現狀

承載B 網(wǎng)不設置普通IPv4 RR 設備，只設置VPNRR 設備，采用“一級RR+ 備份RR ＋異地分簇”方案，系統一級VRR分別設置在北京、上海、廣州、西安、沈陽(yáng)、武漢、成都七個(gè)節點(diǎn)，各部署2 臺RR 設備。全網(wǎng)一級RR 之間建立FULLMESH MP-iBGP 鄰居關(guān)系，RR 兩兩異地成對，構成7 個(gè)簇，每個(gè)簇屬于一個(gè)片區^[5]。各省每臺AR/ER 路由器作為Client 跟大區一級RR 路由器和本省省會(huì )AR1（備份RR）建立MP-iBGP 鄰居關(guān)系，備份RR 作為所屬兩臺一級RR 的Client 同時(shí)和省內AR/ER 建立MP-iBGP 鄰居^[6]。河南所屬一級MPiBGP路由反射簇為武漢VRR1/ 上海VRR2。IP 承載B網(wǎng)VPN RR 結構如圖1 所示。

圖1 VPN RR結構示意圖

1.5 VPN路由現狀

隨著(zhù)業(yè)務(wù)的不斷發(fā)展，IP 承載B 網(wǎng)內VPN 用戶(hù)越來(lái)越多，目前現網(wǎng)中部署的業(yè)務(wù)系統VPN 多達70 多個(gè)，VPN 路由條目與日俱增，當前業(yè)務(wù)路由總數達到了60多萬(wàn)。由于A(yíng)R 向RR 宣告相同路由時(shí)采用雙RD 設計以及VRR 間FullMesh 全互聯(lián)結構，VRR 上接收到的VPN 路由總數達到了200 多萬(wàn)^[4]。

在IP 網(wǎng)中由于RR 默認不會(huì )過(guò)濾任何路由，其在接收到AR 通告的VPN 路由信息后，經(jīng)過(guò)路由優(yōu)選再反射給其他AR 和RR，IP 承載B 網(wǎng)中VPN 路由通告如圖2 所示。

圖2 B網(wǎng)VPN路由通告示意圖

2   承載B網(wǎng)VPN路由反射存在問(wèn)題及優(yōu)化方案

2.1 VPN路由反射處理機制問(wèn)題

IP 網(wǎng)中由于RR 默認不會(huì )過(guò)濾任何路由，導致大量省內VPN 路由信息在全網(wǎng)RR 間進(jìn)行反射通告，RR 處理大量的路由信息需要足夠的系統資源，這就容易造成RR 的資源過(guò)載。

同時(shí)，RR 也會(huì )反射所有VPN 路由信息給AR，這使得大量無(wú)用路由信息在網(wǎng)絡(luò )中傳播，造成帶寬資源浪費。AR 為了只接收本地期望的VPN 路由信息，需要配置本地路由策略進(jìn)行過(guò)濾也消耗了AR處理策略的資源?，F網(wǎng)VRR 路由反射處理如圖3 所示。

2.2 VPN路由反射優(yōu)化思路及建議

2.2.1 優(yōu)化思路

通過(guò)對B 網(wǎng)內VPN 路由進(jìn)行分析統計，發(fā)現省內VPN 路由數約占總路由數的87%，省內VPN 路由信息只需要在相應的RR 和AR 間進(jìn)行反射通告即可，不需要在RR 集群間進(jìn)行反射，外省省內VPN 路由也無(wú)需在本片區的路由反射簇和AR/ER 間進(jìn)行反射通告。因此決定對全網(wǎng)VRR 與AR、VRR 與VRR 之間的VPN路由信息進(jìn)行按需路由反射優(yōu)化。

圖3 現網(wǎng)VRR路由反射示意圖

2.2.2 優(yōu)化建議

通過(guò)引入VPN ORF 特性，RR 在向對端反射路由時(shí)，會(huì )根據該對端設備所捆綁的VPN 實(shí)例的VPN-Target 屬性對路由進(jìn)行過(guò)濾^[7]。通過(guò)VPN ORF 使對端設備只接收本地期望的路由，減少接收壓力。

在全網(wǎng)RR 與AR，RR 與RR 之間部署VPN ORF特性，通過(guò)應用擴展的團體屬性值對路由信息進(jìn)行區分，以決定路由是否傳遞，實(shí)現按需反射。據統計，目前省內VPN 路由數約占全網(wǎng)總路由數的87%，在按需路由反射優(yōu)化完成后，將極大地減少RR 上的VPN 路由表，避免系統資源過(guò)載，加快路由收斂速度。優(yōu)化后的VRR 路由反射如圖4 所示。RR 集群間僅反射通告省際VPN 路由信息，某省AR/ER 路由器與所屬一級RR之間僅反射通告省際及本省省內VPN 路由信息。

圖4 優(yōu)化后的VRR路由反射示意圖

2.2.3 VPN ORF特性

VPN ORF (VPN Outbound Route Filtering) 是在基于BGP 多業(yè)務(wù)統一承載框架的基礎上，實(shí)現VPN ORF 路由指導VPNv4/VPNv6 鄰居路由發(fā)布。ORF 是通過(guò)將本地的路由策略應用到鄰居的出口，使鄰居在發(fā)布路由時(shí)過(guò)濾掉無(wú)用路由。

VPN 中的PE 設備將本地需要的路由IRT(import target) 和原始AS 號以VPN ORF 路由的形式發(fā)送給BGP 鄰居，鄰居根據此路由構造出口策略，使PE 只能收到本地期望的路由，減少PE 接收壓力。如圖5 所示，在使能VPN ORF 能力之前，路由反射器將接收到PE1 的VPN 實(shí)例的VPN 路由全部發(fā)布給PE3，但是對于PE3，只有ERT（export target）1:1 是匹配的；同樣，路由反射器從PE3 接收到VPN 實(shí)例的路由全部發(fā)布給PE1，其中只有ERT1:1 才是匹配的。對于路由PE1 與PE3 上的VPN 實(shí)例，只有ERT1:1 是互相匹配的。在使能VPN ORF 能力之后，即在VPN-Target 地址族視圖下使能了BGP 鄰居關(guān)系。如圖5 中，使能了路由反射器與PE1、路由反射器與PE3 的BGP 鄰居關(guān)系之后，各鄰居之間進(jìn)行VPN ORF 能力協(xié)商，PE1 和PE3 將本地需要的路由IRT，以VPN ORF路由的形式發(fā)送給鄰居，鄰居根據此路由構造出口策略。也就是說(shuō)，在PE1 在向外發(fā)布BGP VPN 路由時(shí)，會(huì )根據PE1 收到對應鄰居對等體的IRT 路由進(jìn)行過(guò)濾發(fā)布^[8]。

圖5 VPN ORF基本應用場(chǎng)景

2.3 VPN路由反射優(yōu)化方式

基于BGP/MPLS VPN 建立的VPNv4 連接在RR 和AR 之間創(chuàng )建BGP-VT 地址族，建立VPN ORF 路由鄰居關(guān)系，使能與指定對等體（組）之間交換VPN ORF路由信息。AR/ER 相對于RR 來(lái)說(shuō)屬于pgAcessIn 對等體組，RR 相對于A(yíng)R/ER 來(lái)說(shuō)屬于pgVRR 對等體組。AR 將本地擴展團體屬性路由過(guò)濾列表以VPN ORF 路由的形式發(fā)送給RR，RR 根據此路由過(guò)濾列表構造出口策略作為本地出路由過(guò)濾。當RR 向AR 反射路由時(shí)，僅發(fā)送該AR 需要的VPN 路由。極大地減少了發(fā)送的路由數量，減少網(wǎng)絡(luò )帶寬占用并提高了路由收斂速度，具體的按需路由反射優(yōu)化配置分別在RR 和AR 上部署。

1）RR 上執行如下配置優(yōu)化，進(jìn)入BGP 視圖后執行命令ipv4-family vpn-target 進(jìn)入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關(guān)系，使能與pgAcessIn 對等組之間交換VPN ORF 路由信息，分別在BGP-VPNv4和BGP-VT 地址族視圖下執行命令peer pgAcessInreflect-client，配置將本機作為路由反射器，并將對等組pgAcessIn 作為路由反射器的客戶(hù)，將AR 地址加入pgAcessIn 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgAcessIn enable

peer pgAcessIn reflect-client

peer AR_address enable

peer AR_address group pgAcessIn

2）AR 上執行如下配置優(yōu)化，進(jìn)入BGP 視圖后執行命令ipv4-family vpn-target 進(jìn)入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關(guān)系，使能與pgVRR 對等組之間交換VPN ORF 路由信息，將VRR 地址加入pgVRR 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgVRR enable

peer VRR_address enable

peer VRR_address group pgVRR

在RR 和AR 間完成VPN ORF 使能后，可以使用

display bgp vpn-target routing-table 命令，查看BGP VPNTarget

地址族的路由信息；還可以使用display bgp vpnv4/vpnv6 all routing-table peer x.x.x.x advertised-routes/received-routes 命令，查看相應鄰居BGP VPNv4/ VPNv6路由和BGP 私網(wǎng)路由的信息收發(fā)情況。

3   B網(wǎng)VRR按需路由反射優(yōu)化方案實(shí)施

3.1 實(shí)施步驟

IP 承載B 網(wǎng)全國14 臺RR 采用跨區覆蓋方式構成7 個(gè)一級MP-iBGP 路由反射簇（Route Reflector Cluster）。各省每臺AR 路由器作為Client 跟所屬兩臺一級RR 和本省省會(huì )備份RR 建立鄰居關(guān)系。為保證本次B 網(wǎng)VRR 按需路由反射優(yōu)化工作順利開(kāi)展，及時(shí)為CUII 與IP 承載B 網(wǎng)融合工程提供有效的實(shí)施方案支撐，根據總部統一安排，先期在河南鶴壁開(kāi)展VRR 按需路由反射特性測試和實(shí)施試點(diǎn)，效果明顯。集團根據試點(diǎn)情況進(jìn)一步完善了實(shí)施操作方案，并分階段批量啟動(dòng)其他各省B 網(wǎng)按需路由反射優(yōu)化部署工作。

首先，在全國7 個(gè)一級RR 集群中，先各選擇一臺RR，與其下聯(lián)的AR 逐步建立VPN ORF 鄰居關(guān)系，使能VPN ORF 功能。完成配置后，該RR 只向下聯(lián)AR通告其需要的VPN 路由信息，實(shí)現對AR 的按需路由反射。其次，在完成下聯(lián)配置的RR 之間，建立VPN ORF 路由鄰居關(guān)系，交換VPN ORF 路由信息。完成配置后，RR 只能接收到對方RR 反射的省際路由信息，實(shí)現相應RR 間的按需路由反射。之后對7 個(gè)RR 集群中的另外一臺進(jìn)行部署，與其下聯(lián)的AR 逐步建立VPNORF 鄰居關(guān)系，使能VPN ORF 功能。最后，完成所有RR 之間的VPN ORF 路由鄰居關(guān)系建立，實(shí)現所有RR間的按需路由反射優(yōu)化部署[5]。

3.2 河南聯(lián)通B網(wǎng)VRR按需路由反射優(yōu)化完成情況

河南所屬一級MP-iBGP 路由反射簇為武漢VRR1/上海VRR2。河南鶴壁作為集團IP 承載B 網(wǎng)VPN ORF部署試點(diǎn)率先完成了至武漢VRR1 方向的按需路由反射優(yōu)化實(shí)施工作，路由優(yōu)化效果顯著(zhù)，基于此集團完善實(shí)施方案進(jìn)一步開(kāi)展了全網(wǎng)批量?jì)?yōu)化實(shí)施。批量實(shí)施以RR 為準，因為每臺AR 與同一集群的兩臺RR 互聯(lián)，需要分批部署。河南聯(lián)通IP 承載B 網(wǎng)AR/ER 設備至所屬VRR 按需路由反射優(yōu)化工作完成情況如表1 所示。

至此，河南聯(lián)通IP 承載B 網(wǎng)全網(wǎng)40 臺AR/ER 設備按照集團規劃已經(jīng)全部完成了至武漢/ 上海一級VRR按需路由反射優(yōu)化，并在優(yōu)化操作完成后嚴格進(jìn)行了全業(yè)務(wù)驗證工作保證本次優(yōu)化方案順利實(shí)施。

3.3 優(yōu)化效果

VRR 按需路由優(yōu)化后，AR/ER 設備只從RR 接收到本地期望的路由，減少了路由接收壓力，同時(shí)RR 集群間僅反射通告省際VPN 路由信息減少了域內路由容量的壓力，同時(shí)也節約了骨干帶寬資源，提高了設備處理能力。

以河南鶴壁A(yíng)R 節點(diǎn)至武漢VRR 間按需路由反射優(yōu)化部署為例，優(yōu)化前后路由條目對比：

1）按需路由優(yōu)化前，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約136 萬(wàn)條，VPNv6 路由條目約13 萬(wàn)條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 1360574

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtablepeer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 132676

2）按需路由優(yōu)化后，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約為11.5 萬(wàn)條，減少了約124.5 萬(wàn)條；VPNv6 路由條目為0 條（鶴壁目前未有IPv6 VPN業(yè)務(wù)地址接入），減少了約13萬(wàn)條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics 

Advertised routes total: 115116

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 0

河南聯(lián)通IP 承載B 網(wǎng)40 臺AR/ER 設備歸屬于武漢VPN_RR1和上海VPN_RR2構成的CLUSTER_6 地址簇。據統計，按需路由優(yōu)化前，對于作為clicent 的AR/ER 設備來(lái)說(shuō)，每臺AR 需要從兩個(gè)方向的VRR 接收約272 萬(wàn)條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 接收合計約10 880 萬(wàn)條vpnv4 路由；按需路由優(yōu)化后，每臺AR 從兩方向的VRR 接收約24 萬(wàn)條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 累計接收近960 萬(wàn)條vpnv4 路由，優(yōu)化減少了超過(guò)90% 的路由信息，極大地節約了帶寬、設備資源，加快了路由收斂速度。

4   結束語(yǔ)

為保證公司產(chǎn)業(yè)互聯(lián)網(wǎng)CUII 與B 網(wǎng)融合工作的順利開(kāi)展，滿(mǎn)足通信云、5GC、云聯(lián)網(wǎng)等業(yè)務(wù)的綜合承載需求，本文通過(guò)對IP 承載B 網(wǎng)VPN 路由反射處理機制問(wèn)題的研究，提出了在B 網(wǎng)進(jìn)行VRR 按需路由反射優(yōu)化的部署。通過(guò)在全網(wǎng)VRR 與AR、VRR 與VRR 之間部署ORF 特性實(shí)現了VPN 路由按需反射，避免了大量無(wú)用路由信息在網(wǎng)絡(luò )中傳播，大大節約了網(wǎng)絡(luò )資源，加快了路由收斂速度，為后期網(wǎng)絡(luò )融合降低了難度。

參考文獻：

[1] 朱智輝.福州電信城域網(wǎng)路由優(yōu)化改造方案研究[D].南京:南京郵電大學(xué),2011.

[2] 胡媛.基于集群路由技術(shù)的IP網(wǎng)的設計與實(shí)現[D].西安:西安電子科技大學(xué),2010.

[3] 張奎.電信級IP承載網(wǎng)的研究與設計[D].成都:電子科技大學(xué),2009.

[4] 聶亞南.基于MPLS的多業(yè)務(wù)承載研究[D].北京:北京郵電大學(xué),2008.

[5] 徐亦璐,石永革,許小紅.路由反射技術(shù)應用于MPLS VPN的研究[J].微計算機信息,2008(18):96-98.

[6] 鄧麗云.淺析MPLS BGP VPN技術(shù)及應用網(wǎng)絡(luò )[J].中國新通信,2019,21(8):112-114.

[7] 陳軍華,王忠民.BGP/MPLS VPN實(shí)現原理[J].計算機工程,2006(23):124-126.

[8] 王琳.基于BGP和OSPF的VPN業(yè)務(wù)網(wǎng)接入優(yōu)化[J].電信技術(shù),2019(10):64-70,75.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2021年10月期）