<![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"></dfn>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<small id="yhprb"><delect id="yhprb"></delect></small>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]>
基于可復用構件思想的ETL架構設計
作者：
時(shí)間：2010-05-08
來(lái)源：網(wǎng)絡(luò )
收藏
2.3 銀聯(lián)統計分析系統ETL架構設計
基于可復用構件思想銀聯(lián)統計分析系統ETL架構具體包含六個(gè)功能模塊(如圖3所示)包括：元數據抽取模塊、可重用構件選擇和導入模塊、數據倉庫架構自動(dòng)維護模塊、ETL過(guò)程定義模塊、ETL調度模塊、ETL構件生成模塊。各個(gè)模塊的具體功能分工如下：
(1)元數據抽取模塊。這個(gè)模塊主要完成兩項工作：抽取銀聯(lián)業(yè)務(wù)數據和維度數據元數據，并在此基礎上對系統進(jìn)行更精確的定義，例如銀聯(lián)各類(lèi)數據源提供的時(shí)間周期、銀聯(lián)數據倉庫數據保留的時(shí)間和備份頻率等信息。
(2)可重用構件的選擇和導入模塊。在銀聯(lián)統計分析系統的分析和設計階段，已經(jīng)識別了抽取層、集成轉換層等各層有重用價(jià)值的構件。為了管理和重用這些構件，構件選擇和導入模塊的功能有兩個(gè)：第一，從銀聯(lián)構件庫中抽取已經(jīng)封裝的全流水交易數據抽取構件、集成轉換構件、KPI轉換構件、維度類(lèi)數據集成轉換構件(包括商戶(hù)、機構、終端、商戶(hù)類(lèi)別、地區信息五類(lèi)構件)、KPI自動(dòng)測試類(lèi)構件，將其導入到ETL過(guò)程庫，按照ETL架構(見(jiàn)圖1)對導人的構件分層組織，生成系統的ETL過(guò)程框架(如圖4(a)所示)，圖4(a)中的ETL過(guò)程鏈中三個(gè)JOB節點(diǎn)分別對應ETL架構(見(jiàn)圖1)中的抽取層、數據集成轉換層、特殊處理層，圖4(b)～(d)分別對應各導人構件(一個(gè)JOB節點(diǎn)代表一個(gè)導人構件的處理過(guò)程)在這三個(gè)層次中的組織形式。第二，模塊可根據新項目銀聯(lián)分公司特殊業(yè)務(wù)規則和指標口徑配置每個(gè)構件的處理規則，將配置信息加入元數據庫中。
(3)數據倉庫架構自動(dòng)維護模塊。數據倉庫架構自動(dòng)維護模塊主要功能是依據元數據庫中的信息，為銀聯(lián)統計分析系統完成數據倉庫的創(chuàng )建和初始化工作，完成事實(shí)表、維度表創(chuàng )建，完成每個(gè)構件需要的配置表、中間表和臨時(shí)表的建立等工作，而這些原本需要用手工來(lái)實(shí)現和維護的。
(4)ETL過(guò)程定義模塊。在初始框架的基礎上，可通過(guò)ETL定義模塊可視化地定義構件庫中沒(méi)有可重用構件的ETL過(guò)程，例如手續費和品牌費抽取、商戶(hù)信息抽取(如圖5所示)、終端信息過(guò)程等，使整個(gè)銀聯(lián)統計分析系統的ETL趨于完善。
(5)ETL調度模塊。ETL調度模塊可以根據系統的調度設置，執行ETL過(guò)程庫中的ETL過(guò)程，實(shí)現數據抽取、轉換、加載、換算等工作。
(6)可重用構件生成模塊。對于新定義的ETL過(guò)程，若可重用價(jià)值高，可通過(guò)ETL構件生成模塊從ETL過(guò)程庫中抽取相應ETL處理過(guò)程包裝成可重用構件?？芍赜脴嫾话惆ㄒ韵聝热荩篍TL處理過(guò)程、配置過(guò)程說(shuō)明文檔、相關(guān)表(配置表、中間表和臨時(shí)表)的信息、初始化數據、特殊規則配置功能界面，構件這些構成部分由ETL構件生成模塊分別存入到構件庫中相關(guān)表中。
3 結 語(yǔ)
這里介紹了一個(gè)基于可復用構件思想的ETL架構，以北京銀聯(lián)、江蘇銀聯(lián)、浙江銀聯(lián)等10家省級銀聯(lián)統計分析系統為例，介紹了該架構各層構件的識別過(guò)程，設計了ETL模塊構成以及各模塊主要功能。該架構已經(jīng)在10家省級銀聯(lián)分公司的統計分析系統的ETL構建中應用，實(shí)踐表明該架構是有效的，它能夠在比較短的時(shí)間內完成統計分析系統的構建，可有效縮短系統的開(kāi)發(fā)周期，大幅度降低各分公司的時(shí)間成本和資金成本，對于推動(dòng)數據倉庫和商業(yè)智能在銀聯(lián)各個(gè)省級分公司的應用有顯著(zhù)意義和使用價(jià)值。
技術(shù)專(zhuān)區
国产精品自在自线亚洲|国产精品无圣光一区二区|国产日产欧洲无码视频|久久久一本精品99久久K精品66|欧美人与动牲交片免费播放
<![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"></dfn>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<small id="yhprb"><delect id="yhprb"></delect></small>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<small id="yhprb"></small>]]><![CDATA[<dfn id="yhprb"><delect id="yhprb"></delect></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]><![CDATA[<dfn id="yhprb"><s id="yhprb"></s></dfn>]]>
加入技術(shù)交流群
評論