人大金倉KINGBASE 實(shí)現東莞衛健委多個(gè)獨立單位異構數據源數據實(shí)時(shí)同步

為落實(shí)推進(jìn)“數字政府”改革建設工作，廣東省東莞市政務(wù)服務(wù)數據管理局于2020年5月下發(fā)《關(guān)于配合開(kāi)展政務(wù)數據匯聚及治理的函》，并指出，東莞市下屬各部門(mén)應配合市政務(wù)數據大腦數據服務(wù)團隊開(kāi)展數據摸查，數據匯聚和治理等相關(guān)工作。組織建立實(shí)時(shí)業(yè)務(wù)備庫，同時(shí)供市政務(wù)數據大腦采集數據，夯實(shí)數據匯聚和共享應用基礎是東莞市政務(wù)云國產(chǎn)化擴容項目建設目標之一。

在本案例涉及項目建設中，人大金倉通過(guò)在數據大腦健康云中提供在線(xiàn)業(yè)務(wù)備庫及實(shí)時(shí)備份方案的落地支撐，在總體日增量700+GB的負載壓力下，完成了客戶(hù)5個(gè)獨立單位多種異構數據源的數據實(shí)時(shí)同步工作。

項目背景

客戶(hù)需要將包括衛生健康局的人力資源系統、醫療機構藥事管理系統，醫療救護120指揮中心的120調度指揮系統，疾病預防控制中心的疫苗冷鏈監測報警系統，市屬公立醫院管理中心的市屬公立醫院資產(chǎn)處置系統、市屬公立醫院經(jīng)濟監管平臺系統、市屬公立醫院綜合運營(yíng)管理系統及市中心血站的現代血站管理系統等在內的各單位業(yè)務(wù)系統數據匯聚到數據大腦健康云。

項目涉及的東莞市衛健委5個(gè)單位10個(gè)業(yè)務(wù)系統，其中部分系統業(yè)務(wù)負荷壓力較大，并發(fā)高，數據量大，對數據同步的連續性、穩定性及時(shí)效性要求較高。

客戶(hù)痛點(diǎn)

網(wǎng)絡(luò )不通，系統分散：衛健委5個(gè)單位信息化建設各自獨立，網(wǎng)絡(luò )隔離，系統分散，無(wú)法為衛健中心的整體數據分析提供數據基礎。

異構數據源眾多：本項目計劃對接同步10大業(yè)務(wù)系統，將各系統數據在運行在健康云中的KES數據庫進(jìn)行實(shí)時(shí)同步，各系統底層采用包括Oracle、SQLServer、MySQL等各類(lèi)異構數據庫。同步軟件及方案也需具備完善的異構數據解析轉換能力，目標端KES數據庫也需要提供各異構數據庫的數據兼容性支撐。

數據規模、性能及穩定性考驗：需同步的各業(yè)務(wù)系統已積累了大量數據，總體存量數據超5TB，增量數據每天700+GB規模；在保證7*24小時(shí)穩定運行的同時(shí)，同步數據延遲要求不超1秒。

金倉方案

人大金倉采用異構數據同步軟件KFS，針對上述需求痛點(diǎn)，提供兼容多源異構數據庫平臺、面向海量數據可7*24小時(shí)穩定高效支撐的解決方案。

已上線(xiàn)系統拓撲示意圖

異構數據平臺兼容及準確性保障

KFS可以實(shí)現不同結構的數據平臺的連接，實(shí)現數據的互通。項目涉及Oracle、SQLServer及MySQL等異構數據庫的數據同步。KFS采用基于日志解析的邏輯同步技術(shù)，在同步作業(yè)中提供異構數據庫與KES之間從數據類(lèi)型到SQL語(yǔ)句的兼容性配置，保障異構庫間數據同步的正確性。

性能及穩定性保障

為最大程度保證源端業(yè)務(wù)的性能及穩定性，KFS所有源端同步節點(diǎn)均采用分離部署架構。針對小機+Windows+Oracle RAC的源端數據庫系統架構組合，KFS提供基于離線(xiàn)Redo日志解析技術(shù)的性能優(yōu)化方案，最大程度滿(mǎn)足客戶(hù)性能需求。

對于多系統多庫表同步場(chǎng)景需求，采用KFS的多路并行執行方式以提高初始遷移及實(shí)時(shí)同步的吞吐量，保證高并發(fā)業(yè)務(wù)情況下數據同步延遲保持在亞秒級水平。

實(shí)施成果

本期項目完成了東莞市5個(gè)單位10個(gè)系統（已正式上線(xiàn)9個(gè)）的健康云上實(shí)時(shí)業(yè)務(wù)備庫數據同步建設，KFS累計部署達20節點(diǎn)；

完成了Oracle（單機及RAC）、SQLServer及MySQL等多種異構數據源的對接；

累計完成10000+表對象及近5TB數據遷移；

在單系統最大日均同步增量數據200+ GB，總體日均增量700+ GB情況下，通過(guò)架構、系統及產(chǎn)品的多層優(yōu)化，保證源端高負載情況下，數據同步延遲在1秒以?xún)取?/p>

結語(yǔ)

面對高負載、海量數據、多源異構的多業(yè)務(wù)系統實(shí)時(shí)同步場(chǎng)景，人大金倉憑借KFS靈活的架構方式、多類(lèi)型異構數據庫日志解析技術(shù)支持及深度的性能優(yōu)化手段，以及目標端KES數據庫優(yōu)秀的各異構數據庫兼容能力，成功為東莞衛健委多系統提供了數據高可靠性保障，同時(shí)為衛健中心的整體數據分析提供了互聯(lián)互通的數據基礎，也為本項目后續系統同步建設及其他類(lèi)似項目建設需求提供了標準的落地方案和良好的示范。