技術(shù)實(shí)踐｜高斯集群服務(wù)器雙缺省網(wǎng)關(guān)故障分析

導語(yǔ)：當前國產(chǎn)化數據庫使用范圍越來(lái)越廣泛，在GaussDB數據庫的使用過(guò)程中難免會(huì )遇到一些問(wèn)題，有的問(wèn)題是由于在安裝過(guò)程中沒(méi)有注意細節而產(chǎn)生的，多數隱患問(wèn)題都是在特定場(chǎng)景下才會(huì )暴露出來(lái)，且暴露的時(shí)間未知，這就給數據庫的運維工作帶來(lái)極大的挑戰。

本文就是基于一次數據庫安裝過(guò)程中出現的故障而形成的，文中主要闡述了網(wǎng)絡(luò )基礎知識、數據庫環(huán)境、故障分析、問(wèn)題解決、總結等內容，供各位同僚在日后的服務(wù)器安裝過(guò)程中參考借鑒。

網(wǎng)絡(luò )基礎知識介紹

■路由（Routing）：是指IP數據包從源到目的地時(shí)，端到端路徑的網(wǎng)絡(luò )范圍，通俗解釋?zhuān)簲祿稍吹刂返侥康牡刂匪?jīng)過(guò)的所有路徑的集合。

■　網(wǎng)關(guān)（Gateway）：可以用于廣域網(wǎng)互連，也可以用于局域網(wǎng)互連。網(wǎng)關(guān)是一種充當轉換重任的網(wǎng)絡(luò )設備。要實(shí)現這兩個(gè)網(wǎng)絡(luò )之間的通信（跨網(wǎng)段訪(fǎng)問(wèn)），則必須通過(guò)網(wǎng)關(guān)。

■　缺省網(wǎng)關(guān)（Default Gateway）：是一臺主機如果想和其他網(wǎng)段的主機通信，但找不到可用的路由，就把數據包發(fā)給缺省網(wǎng)關(guān)。

■　默認路由（Default route）：是對IP數據包中的目的地址找不到存在的其他路由時(shí)，所選擇的最后的路由。

■　三層交換機（L3 Switch）：具有部分路由器功能的交換機，工作于OSI網(wǎng)絡(luò )標準模型的第3層（網(wǎng)絡(luò )層）。三層交換機最重要的目的是加快局域網(wǎng)內部的數據交換，所具有的路由功能也是為這一目的服務(wù)的，能夠做到一次路由，多次轉發(fā)。在局域網(wǎng)中一般三層交換機充當網(wǎng)關(guān)。

■　二層交換機（L2 Switch）：工作于OSI網(wǎng)絡(luò )標準模型的第2層（數據鏈路層），故而稱(chēng)為二層交換機。二層交換機屬數據鏈路層設備，可以識別數據幀中的MAC地址信息，并根據MAC地址進(jìn)行轉發(fā)，同時(shí)將這些MAC地址與對應的端口記錄在自己內部的一個(gè)地址表中。局域網(wǎng)內部（相同網(wǎng)段）主機相互訪(fǎng)問(wèn)需要經(jīng)過(guò)二層交換機。

■　雙（多）網(wǎng)關(guān)主機：一臺服務(wù)器存在多個(gè)網(wǎng)關(guān)，訪(fǎng)問(wèn)不同的網(wǎng)段經(jīng)過(guò)不同的網(wǎng)關(guān)。

網(wǎng)絡(luò )基本示例圖

基于上面的拓撲圖，當網(wǎng)段A的服務(wù)器A要訪(fǎng)問(wèn)網(wǎng)段B的服務(wù)器B時(shí)，就需要經(jīng)過(guò)網(wǎng)關(guān)D，如圖中的紅色虛線(xiàn)所示，這個(gè)虛線(xiàn)就是路由，因為服務(wù)器A連接2個(gè)網(wǎng)關(guān)，如果服務(wù)器A把IP數據包發(fā)送給網(wǎng)關(guān)C，那么服務(wù)器A和服務(wù)器B之間肯定是無(wú)法通信的。

以上內容為對于網(wǎng)絡(luò )基礎知識的介紹，接下來(lái)將進(jìn)入本文的重點(diǎn)——高斯集群服務(wù)器的雙缺省網(wǎng)關(guān)故障分析。

數據庫集群環(huán)境描述

高斯數據庫版本A8.0.0.5，共2（管理節點(diǎn)）+21（數據節點(diǎn)）臺物理節點(diǎn)，7個(gè)安全環(huán)，每個(gè)安全環(huán)3臺數據節點(diǎn)。

CN節點(diǎn)4個(gè)，每個(gè)數據節點(diǎn)有2個(gè)主DN節點(diǎn)、2個(gè)備DN節點(diǎn)、2個(gè)從DN節點(diǎn)。

每臺物理機有96核心CPU，1TB內存。

管理面和業(yè)務(wù)面的網(wǎng)絡(luò )都為雙萬(wàn)兆網(wǎng)口，管理面網(wǎng)段：172.18.10.0/24，業(yè)務(wù)面網(wǎng)段：172.18.20.0/24，數據庫服務(wù)器雙網(wǎng)口，Bond1：業(yè)務(wù)面，Bond0：管理面。

集群簡(jiǎn)單拓撲圖

問(wèn)題描述

某日重啟高斯集群的CN1服務(wù)器（一臺CN節點(diǎn)）后，當執行跑批作業(yè)時(shí)收到告警，ETL服務(wù)器上跑批作業(yè)部分失敗，報錯中發(fā)現ETL服務(wù)器在CN1節點(diǎn)執行的作業(yè)都失敗了，但在其他三個(gè)CN節點(diǎn)執行的作業(yè)都正常，登錄ETL服務(wù)器后，手動(dòng)Telnet CN1節點(diǎn)的25308端口不通，Telnet其他3個(gè)CN節點(diǎn)正常。

問(wèn)題檢查

根據問(wèn)題描述，初步判斷只有CN1節點(diǎn)出現問(wèn)題。

■　在ETL服務(wù)器上抓取數據包，發(fā)現數據包可以正常發(fā)送，但ETL服務(wù)器沒(méi)有收到CN1節點(diǎn)的回包

■　在CN1節點(diǎn)抓取數據包，可以接收到ETL主機的數據包，也可以正常發(fā)送回包

■　查看其他CN服務(wù)器路由

■　查看CN1服務(wù)器路由

問(wèn)題分析

檢查主機路由發(fā)現CN1服務(wù)器的默認路由和其他3臺CN服務(wù)器不同，CN1服務(wù)器bond1的Metric值為301，而其他CN服務(wù)器bond1的Metric值為300，根據路由選擇的優(yōu)先級規則，Metric值越小優(yōu)先級越高，所以CN1服務(wù)器的缺省網(wǎng)關(guān)為bond0，其他CN服務(wù)器的缺省網(wǎng)關(guān)為bond1。

分析到此故障原因已經(jīng)發(fā)現，CN1的缺省網(wǎng)關(guān)是bond0,默認路由指向管理面的三層交換機，所以返回ETL服務(wù)器的IP數據包都發(fā)送到管理面網(wǎng)段，導致ETL服務(wù)器不能收到回包。

實(shí)際ETL服務(wù)器和CN1數據包的路由如下圖的紅色虛線(xiàn)所示：

問(wèn)題總結

服務(wù)器的缺省網(wǎng)關(guān)一般情況下只有一個(gè)，當服務(wù)器的缺省網(wǎng)關(guān)有多個(gè)時(shí)，就會(huì )根據Metric值來(lái)進(jìn)行優(yōu)先級選擇,優(yōu)先級高（Metric值最?。┑募礊榇藭r(shí)的缺省網(wǎng)關(guān)。

此案例中的解決方法有多種，其中的兩種方案如下：

■　管理面網(wǎng)段取消默認網(wǎng)關(guān)配置，業(yè)務(wù)面網(wǎng)段配置默認網(wǎng)關(guān)，FI控制臺網(wǎng)段（10.10.10.0/24）的主機在高斯集群服務(wù)器中，均配置靜態(tài)路由。

■　管理面網(wǎng)段取消默認網(wǎng)關(guān)配置，業(yè)務(wù)面網(wǎng)段配置默認網(wǎng)關(guān)，管理面三層交換機中做雙向NAT轉換，把FI控制臺主機的IP地址（10.10.10.100）映射為管理面網(wǎng)段（172.18.10.0/24）的IP地址。