基于VxWorks的系統故障快速恢復設計

在CDMA基站BTS側，EVDO基帶信號處理板負責完成基帶信號的調制和解調工作，在整個(gè)通訊系統中具有非常重要的作用?；鶐幚戆宓挠布到y包括PPC、高通CSM6800等芯片；軟件系統包括VxWorks操作系統、BSP驅動(dòng)層、信號處理應用層等部分?；鶐盘柼幚戆逶谶\行中對外界條件和組成單元要求苛刻，當運行條件不滿(mǎn)足系統要求時(shí)，傳統的方法是采用整板硬復位的方法進(jìn)行故障恢復。

需要整板復位的情況包括：(1)時(shí)鐘信號出現故障，導致調制和解調異常；(2)CSM6800調制解調芯片出現異常；(3)部分應用層任務(wù)出現異常；(4)在線(xiàn)修改基于CSM6800的基帶參數，只有硬復位后才能生效；(5)更換新的單板軟件版本等。

在基站系統的實(shí)際運行中，上述情況都比較常見(jiàn)?；鶐盘柼幚韱伟逡坏┱鍙臀?，通常需要4～5分鐘才能恢復正常工作，期間終端用戶(hù)無(wú)法進(jìn)行正常業(yè)務(wù)應用。對于用戶(hù)來(lái)說(shuō)，這個(gè)業(yè)務(wù)中斷的時(shí)間長(cháng)度難以容忍，因此增加了用戶(hù)投訴概率和對運營(yíng)商的壓力。如何解決這個(gè)問(wèn)題已成為當務(wù)之急。

1 單板快速恢復設計方案

1.1 單板架構分析

如圖1，基帶信號處理單板硬件由兩個(gè)主要組成部分：一個(gè)是主控CPU，采用高性能的PowerPC；另外一個(gè)是高通公司的基帶信號調制、解調芯片CSM6800。

主控CPU完成對整個(gè)單板的控制，包括對CSM6800的控制、與BSC側進(jìn)行媒體流數據的交互、單板自身各項功能的實(shí)現等。主控CPU采用VxWorks作為實(shí)時(shí)操作系統，對單板上任務(wù)、消息隊列、內存等進(jìn)行管理，采用百兆網(wǎng)口與BTS其他單板交換數據。

　　CSM6800是高通推出的支持CDMA3G EVDO第二代的調制解調芯片，它具有支持前向速率3.1Mb/s和反向1.8Mb/s的調制解調能力。CSM6800的工作條件比較苛刻：(1)需要時(shí)鐘系統提供精確的PP2S信號和16CHIP信號；(2)修改CSM6800配置參數后，需要復位CSM6800后才能生效。

如圖2，在基帶信號處理板上CPU中的軟件架構是在VxWorks操作系統上完成應用層任務(wù)的調度和運行。下面分析單板上軟件系統：

(1)操作系統層?；鶐盘柼幚戆鍖?shí)時(shí)性要求很高，因此采用VxWorks作為操作系統，完成任務(wù)管理等操作系統工作。

(2)BSP底層驅動(dòng)程序。該層封裝了一些上層軟件需要時(shí)使用的底層或者是硬件的接口，保證上層軟件更好的移植性。

(3)應用層。該層完成處理底層數據，并與BSC側完成數據交互、基帶功能控制以及包括單板的一些應用程序，如告警模塊、性能統計模塊、信令跟蹤模塊等。

從以上分析，基帶單板從軟件和硬件上基本可以分為相對獨立的主控CPU和CSM6800兩大部分。

1.2 快速啟動(dòng)方案設計

首先分析基帶信號處理板的各種復位場(chǎng)景，并且進(jìn)行梳理。其場(chǎng)景分為兩大類(lèi)：一類(lèi)是不需要整板復位就能解決問(wèn)題或者故障恢復的場(chǎng)景；另外一類(lèi)是只有復位整板才能夠解決故障。在實(shí)際的商用環(huán)境中，第二類(lèi)故障或場(chǎng)景非常少，主要包括：(1)基站軟件升級；(2)底層操作系統跑死。由于系統升級頻率極低，且選擇升級的時(shí)間都是事先進(jìn)行安排，因此對于用戶(hù)業(yè)務(wù)影響很小。至于底層操作系統跑死的可能性更加低微，無(wú)論是實(shí)驗室還是商用機都極少出現此類(lèi)情況。

相對而言，第一類(lèi)場(chǎng)景比第二類(lèi)場(chǎng)景出現的概率更高一些，目前都是采用統一整板復位的方式來(lái)進(jìn)行功能恢復或者重新啟動(dòng)。

在分析各類(lèi)場(chǎng)景之前，首先分析整板啟動(dòng)時(shí)間消耗在哪里。經(jīng)過(guò)測試和計算，其結果如表1。

分析表1，整體啟動(dòng)時(shí)間需要253s左右，但是前四步就占用了245s，尤其是第4步高通CSM6800芯片自檢，消耗了170s的時(shí)間。

分析了所有的復位源，將可以歸類(lèi)到第一類(lèi)場(chǎng)景的復位源進(jìn)行了細化，具體如下：

(1)更改CSM6800參數，需要重新啟動(dòng)CSM6800生效；
(2)時(shí)鐘系統出錯，應用層診斷后，為防止CSM6800出錯，需要重新啟動(dòng)CSM6800；
(3)CS6800運行期間報錯，需要重新啟動(dòng)CSM6800；
(4)啟動(dòng)時(shí)的參數校驗錯誤，需要重新復位系統。

針對(1)、(2)、(3)這三種情況，在PPC上即控制CPU上的程序本身并沒(méi)有任何問(wèn)題，因此不需要復位整個(gè)CPU。第4種情況是上層的配置參數有誤，導致單板無(wú)法正常運行，但是實(shí)際上此時(shí)的單板并沒(méi)有出現異常，其他各個(gè)功能模塊也沒(méi)有出現故障。

由此可見(jiàn)，基帶信號處理板在CSM6800需要復位才能實(shí)現正常功能時(shí)，具有重新設計單板復位機制的基礎。這個(gè)基礎就是CSM6800復位，或者是針對CSM6800操作出現故障后，并不影響CPU操作系統上底層任務(wù)的正常運行，只是對CPU應用層任務(wù)產(chǎn)生了影響。依據這個(gè)分析基礎，進(jìn)行了基于VxWorks的快速恢復機制設計。其具體實(shí)施方法為：

(1)流程如圖3，首先判斷是要發(fā)起快速恢復啟動(dòng)還是正常的整個(gè)單板復位。

(2)正常的單板復位流程，按照單板原設計方案執行；如果是快速啟動(dòng)方案，則按照快速啟動(dòng)方案執行：
①清除各種定時(shí)器，包括單板與基站其他單板的握手定時(shí)器、任務(wù)自身的循環(huán)定時(shí)器，以及其他各種特殊用途的定時(shí)器，防止定時(shí)器溢出產(chǎn)生任務(wù)切換或者導致硬件中斷。
②清除數據堆棧。
③調用msgQDelete()清除各個(gè)應用層任務(wù)消息隊列[1]；清空后，任務(wù)不處理新來(lái)的消息，這樣任務(wù)不會(huì )因為消息的激勵產(chǎn)生任務(wù)切換。
④釋放應用層任務(wù)的指針變量，防止出現無(wú)主內存，最終導致內存不斷變小，單板無(wú)法執行正常的功能。
⑤清除各個(gè)應用層任務(wù)的靜態(tài)變量；每個(gè)任務(wù)都有自己靜態(tài)成員變量，因此必須要將這些成員變量的數值歸于初始化值，否則將導致不可預見(jiàn)的錯誤。
⑥清除各個(gè)應用層任務(wù)的局部變量；盡管局部變量在釋放任務(wù)后會(huì )自動(dòng)釋放，但是為了防止不可預知的錯誤，仍然要將其釋放，進(jìn)行初始化操作。
⑦各個(gè)應用層調用taskDelete()任務(wù)釋放自己[2]；這個(gè)應用層多個(gè)任務(wù)需要完成的最后一個(gè)工作，完成自身釋放后，任務(wù)構建時(shí)所在單板上申請的堆棧、任務(wù)ID、內存等全部從操作系統中抹掉，操作系統將把原先各個(gè)應用層任務(wù)占用的資源進(jìn)行無(wú)主化管理。
⑧通過(guò)邏輯控制復位CSM6800；這是關(guān)鍵的一步，如果不能實(shí)現，則整個(gè)方案意義也就不大。在邏輯中增加可以單獨控制CSM6800復位控制的邏輯，當單板完成應用層的快速啟動(dòng)準備后，要通過(guò)操作系統對CSM6800芯片進(jìn)行復位。復位后，該芯片會(huì )重新啟動(dòng)恢復正常狀態(tài)，并且，重新按照應用層給的新的配置參數進(jìn)行配置。這樣即滿(mǎn)足了由于某些原因導致其進(jìn)入到異常狀態(tài)而無(wú)法正常調制和解調的問(wèn)題，同時(shí)也解決了新的配置參數無(wú)法生效的問(wèn)題。
⑨重新啟動(dòng)調用taskSpawn()[3]啟動(dòng)各個(gè)應用層任務(wù)。按照單板正常情況下進(jìn)行各個(gè)應用層任務(wù)的啟動(dòng)。對于應用層而言，此時(shí)并不知道在執行快速啟動(dòng)后是任務(wù)啟動(dòng)還是在單板完全復位后的啟動(dòng)。
⑩啟動(dòng)的各個(gè)應用層任務(wù)只有在各自正常啟動(dòng)后，單板才進(jìn)入到正常的工作狀態(tài)，否則將重新執行快速啟動(dòng)。

1.3 快速恢復啟動(dòng)效果測試

采用中興CDMA EVDO真實(shí)環(huán)境進(jìn)行測試，選擇高通支持第二代協(xié)議的手機進(jìn)行測試。首先，將高通手機撥號進(jìn)行網(wǎng)絡(luò )連接，撥號成功后，再進(jìn)行ping包，并保持ping包狀態(tài)；然后，采用不同的復位策略復位基帶信號處理單板，并進(jìn)行對比測試。

按照兩種方案進(jìn)行測試，測試結果如果表2。

如表2，快速恢復啟動(dòng)方案的啟動(dòng)時(shí)間比原有正常啟動(dòng)縮短了95.3％，大大縮短了系統恢復正常功能所需要的時(shí)間，達到了系統設計目的。為了保證設計方案的穩定性，連續多天進(jìn)行上千次快速恢復啟動(dòng)集成測試，測試表明設計方案穩定，并且對于系統的各方面性能指標無(wú)影響。

兩種啟動(dòng)方式的區別：正常啟動(dòng)就是目前的做法，將整個(gè)單板上所有的硬件和軟件同時(shí)做復位處理，其所需要時(shí)間達到了253s，十分漫長(cháng)；快速恢復啟動(dòng)方案則并沒(méi)有將整個(gè)單板復位，而只是在操作的過(guò)程中將CSM6800進(jìn)行了硬復位操作，其主控CPU沒(méi)有復位，不僅如此，主控CPU上面駐留的操作系統和操作系統隔離層都沒(méi)有受到影響，只有應用層的各個(gè)任務(wù)被重新啟動(dòng)了一遍。

2 結論

快速恢復啟動(dòng)方案的可靠實(shí)施是建立在VxWorks操作系統對于任務(wù)、消息隊列、信號量的高性能管理基礎上的。連續多次啟動(dòng)和殺掉多個(gè)應用層任務(wù)過(guò)程中，VxWorks能夠穩定地管理各項資源[2]，沒(méi)有產(chǎn)生內存泄漏、資源鎖死等狀況，充分保證了上層應用任務(wù)的可靠。同時(shí)，在該快速恢復啟動(dòng)方案的實(shí)施中，注意了應用任務(wù)中采用的多種定時(shí)器、靜態(tài)變量、全局變量(包括臨時(shí)變量)，以及任務(wù)之間的互鎖、任務(wù)之間沖突隱患等各種情況的處理，才保證了快速恢復啟動(dòng)方案的可靠性。

在商用局的應用中，基帶信號處理單板采用快速恢復啟動(dòng)方案能夠大大縮短啟動(dòng)時(shí)間，極大地降低對終端用戶(hù)的業(yè)務(wù)干擾。這項系統設計對于提高運營(yíng)商服務(wù)質(zhì)量和顧客滿(mǎn)意度起到了重要作用。