基于云計算技術(shù)的日志管理系統

摘要

計算機技術(shù)經(jīng)歷了并行計算、集群/分布式計算、網(wǎng)格計算等發(fā)展，現在已步入云計算時(shí)代。20世紀80年代，升陽(yáng)（Sun Microsystems）提出了“網(wǎng)絡(luò )式電腦”NC概念，21世紀初，Amazon通過(guò)打包、自助服務(wù)等業(yè)務(wù)出租其IT設備，并取得了空前的成功。隨著(zhù)云計算案例的成功，其影響力也正在逐步展開(kāi)。本文闡述了從興技術(shù)云計算在電信級系統海量日志管理的設計方案，望拋磚引玉。

正文

隨著(zhù)通信技術(shù)的不斷發(fā)展，用戶(hù)對新業(yè)務(wù)的需求以及對服務(wù)質(zhì)量的要求也不斷提升。通訊運營(yíng)商需要適應新形式的要求，必須做出相應的調整。如以前的離線(xiàn)計費升級為在線(xiàn)實(shí)時(shí)計費；又或者升級新的通訊設備，等等。由此帶來(lái)了一項新的挑戰，即新環(huán)境產(chǎn)生大量的以前不曾有過(guò)的日志，并帶來(lái)相關(guān)的問(wèn)題，如：日志文件分散存放，數量多，可直接查閱日志文件保存周期短，極不便于運維；日志格式不一致，可閱讀性過(guò)低；查詢(xún)費時(shí)或超時(shí)，效率低下；相關(guān)日志的關(guān)聯(lián)性低，無(wú)法清晰定位；大量的日志無(wú)法統計，無(wú)法準確的分析業(yè)務(wù)；

由于相關(guān)法規、政策或商業(yè)上的要求，運營(yíng)商無(wú)法回避以上問(wèn)題，必須保留、查詢(xún)、分析處理這些大數據?；陉P(guān)系型的傳統數據庫無(wú)法滿(mǎn)足新形式下的要求，從興技術(shù)憑借自身在通訊行業(yè)的經(jīng)驗與優(yōu)勢，依托云計算技術(shù)，建設了一個(gè)高效的通用云計算平臺，將日志管理系統作為云平臺的一個(gè)業(yè)務(wù)系統建設。這樣設計的最大優(yōu)勢是業(yè)務(wù)系統作為上層應用，具備良好的擴展性和可堆疊性，滿(mǎn)足信息的交換和處理，避免信息系統煙囪式的發(fā)展。

從興SKCP（Smart Keen Cloud Platform）基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能；以Flume為基礎的SK-Pipe系統具備了高效的實(shí)時(shí)采集功能；配合SK-DETL分布式的ETL的任務(wù)設計、調度等功能，可實(shí)現日志數據的高效ETL.強大的企業(yè)管理器（SK-Admin）能對平臺、節點(diǎn)、任務(wù)進(jìn)行監控和管理等。

基于SKCP的日志管理系統的主要功能架構如下：

采集子系統提供了批量采集和實(shí)時(shí)采集功能。批量采集將系統各模塊日志文件按目錄采集到相應的目錄中，以便入庫。實(shí)時(shí)采集將系統模塊正在產(chǎn)生日志文件實(shí)時(shí)傳輸到日志云平臺。日志采集支持對采集文件進(jìn)行壓縮，減輕網(wǎng)絡(luò )傳輸壓力。支持對海量的小批量采集文件進(jìn)行合并處理，以提高入庫效率

日志云平臺提供了程序發(fā)布和運行管理、系統資源監控；并提供日志云平臺定時(shí)任務(wù)，如數據清理或數據遷移等。日志云平臺支持聯(lián)機在線(xiàn)下的新節點(diǎn)加入或退出。

日志分析模塊采用XML文件配置方式，支持文件名稱(chēng)的匹配和字段解析匹配，具備靈活的自定義功能。

日志入庫模塊提供基礎調度功能，按照業(yè)務(wù)的要求將數據加載到云平臺中，支持霍夫曼壓縮算法，支持多節點(diǎn)的分布式入庫。

頁(yè)面查詢(xún)展示根據請求查詢(xún)云平臺得到相應的數據，并返回去前臺展現。支持均衡負載，減少單個(gè)節點(diǎn)上的負擔。

系統部署邏輯圖：

系統完成部署并成功試商用。系統負載量為：業(yè)務(wù)系統每天日志總量約為2.8 T，按1：6的壓縮比來(lái)計算，壓縮后每天的日志量約500G左右；單節點(diǎn)入庫速度平均10M+每秒；平均壓縮比為2.5：1，數據冗余系數2；數據平均存儲周期1+1個(gè)月，目前設計存儲容量為40T，不使用磁盤(pán)陣列集中存儲。

從實(shí)際運行情況考慮，基于從興技術(shù)云平臺的日志管理系統，采用成熟的技術(shù)，更低的成本、更高的業(yè)務(wù)效率，提供了完整的海量日志解決方案。