面向中小企業(yè)智能數據處理工具

五、系統的結構

系統分為兩大部分棗分析設計部分和應用系統部分，分別面向企業(yè)IS（信息系統管理員）人員與企業(yè)管理人員，IS人員除了負責高級數據分析工作以外，還負責為管理人員設計具體應用系統，由于大部分具體的應用工作可以由管理人員來(lái)完成，所以從另一個(gè)方面緩解了信息人才缺乏的問(wèn)題。應用系統部分的功能結構圖見(jiàn)圖一，設計部分功能結構圖見(jiàn)圖二。系統中最重要的是“描述層”的設計。

在一般的商業(yè)用戶(hù)訪(fǎng)問(wèn)數據時(shí)，他們最擔心的往往是復雜的數據庫術(shù)語(yǔ)和繁復的數據庫操作。如何才能賦予這些商業(yè)用戶(hù)自主訪(fǎng)問(wèn)數據庫和數據倉庫中信息的能力，使他們可以把那些數據庫術(shù)語(yǔ)和操作拋之腦后呢？我們在此使用了一種稱(chēng)為“描述層”的技術(shù)來(lái)解決這個(gè)問(wèn)題。在使用了“描述層”技術(shù)后，不但解決了一般商業(yè)用戶(hù)擔心的問(wèn)題，而且同時(shí)也提供了IS人員控制和管理數據訪(fǎng)問(wèn)所必須的工具。這一技術(shù)把復雜的數據庫結構描述成易于理解的業(yè)務(wù)術(shù)語(yǔ)，把商業(yè)用戶(hù)同技術(shù)性的數據庫術(shù)語(yǔ)以及復雜的SQL訪(fǎng)問(wèn)語(yǔ)言分離開(kāi)來(lái)。它就像一個(gè)透鏡，用戶(hù)可以通過(guò)它來(lái)看數據倉庫。這樣最終用戶(hù)無(wú)須具備計算機專(zhuān)業(yè)知識，更不必是數據庫方面的專(zhuān)家，就能夠自主地訪(fǎng)問(wèn)公共數據，分析信息，從而更好地理解企業(yè)發(fā)展的趨勢，作出明智的決策。

“描述層”可以被稱(chēng)為一個(gè)覆蓋在數據庫內部數據對象之上的一個(gè)解釋層，是用戶(hù)和數據庫之間的一個(gè)代碼翻譯層，也就是將數據庫中比較凌亂、復雜的數據對象（例如：存儲在數據表中的各個(gè)字段的記錄）通過(guò)預先定義好的規則（“描述層”）過(guò)濾轉換成實(shí)際使用的業(yè)務(wù)對象，例如：人員姓名、物資類(lèi)型等等。同時(shí)，“描述層”的功能不僅僅在于過(guò)濾和映射，還可以對數據通過(guò)預先定義好的規則進(jìn)行重組，例如在數據庫中沒(méi)有的高層數據（比如：通過(guò)價(jià)格和銷(xiāo)售量在本地提取銷(xiāo)售額），所以我們可以通過(guò)“描述層”給數據庫增加一些不存在而又有實(shí)際意義的內容。另外，我們還可以利用“描述層”來(lái)增加數據庫中數據所包含的信息量（比如：建立某一字段的分類(lèi)規則，使數據庫中的記錄可以分屬于不同的類(lèi)別，具體的例子是，按銷(xiāo)售業(yè)績(jì)多少分為優(yōu)、良、中、差，用戶(hù)就可以直接用諸如 “銷(xiāo)售業(yè)績(jì)=優(yōu)”之類(lèi)的條件進(jìn)行查詢(xún)；類(lèi)似的還有分層規則等其它許多規則）。最后，我們還可以在“描述層”中加入一些預定義的條件，在以后的查詢(xún)或分析時(shí)，就可以直接從“描述層”中提取條件。使用“描述層”重組數據的實(shí)際意義在于：數據庫內大量珍貴的數據資源不再是只有數據庫開(kāi)發(fā)人員才能理解的“天書(shū)”，通過(guò)“描述層”的解釋和組織，大多數不具備計算機專(zhuān)業(yè)知識的業(yè)務(wù)人員，可以直接使用這些數據。

在這個(gè)部分，主要的工作就是兩點(diǎn)，即“描述層”的定義與解釋。在“描述層”的定義部分，要進(jìn)行各種不同類(lèi)型的定義，具體來(lái)說(shuō)就是上一段提到的幾種類(lèi)型，然后將各個(gè)類(lèi)型的定義作為元數據進(jìn)行存儲。在定義的過(guò)程中，必然要通過(guò)數據庫連接工具來(lái)對數據庫或數據倉庫進(jìn)行訪(fǎng)問(wèn)，再按照數據庫的結構和內容來(lái)設計各個(gè)不同的“描述”。另外，在以后使用本系統的其它主體部分如查詢(xún)、報表、分析和數據挖掘部分時(shí)，將用到“描述層”中定義的“描述”，這是就需要“描述層”的解釋部分來(lái)進(jìn)行解釋?zhuān)瑢ⅰ懊枋觥闭Z(yǔ)言翻譯為數據庫能夠接受的語(yǔ)言。

本軟件設計中的另一個(gè)重點(diǎn)是體現商業(yè)智能化的數據挖掘功能，隨著(zhù)數據庫技術(shù)的不斷發(fā)展及數據庫管理系統的廣泛應用，數據庫中存儲的數據量急劇增大，可是目前用于對這些數據進(jìn)行分析處理的工具卻很少?，F在所能做到的只是對數據庫中已有的數據進(jìn)行由人驅動(dòng)的分析，人們通過(guò)這些數據所獲得的信息量?jì)H僅是整個(gè)數據庫所包含的信息量的一部分，隱藏在這些數據之后的更重要的信息是關(guān)于這些數據的整體特征的描述及對其發(fā)展趨勢的預測，這些信息在決策生成的過(guò)程中具有重要的參考價(jià)值。

數據庫中的知識發(fā)現（KDD）就是利用機器學(xué)習的方法從數據庫中提取有價(jià)值知識的過(guò)程，是數據庫技術(shù)和機器學(xué)習兩個(gè)學(xué)科的交叉學(xué)科。數據庫技術(shù)側重于對數據存儲處理的高效率方法的研究，而機器學(xué)習則側重于設計新的方法從數據中提取知識。KDD利用數據庫技術(shù)對數據進(jìn)行前端處理，而利用機器學(xué)習方法則從處理后的數據中提取有用的知識。KDD與其他學(xué)科也有很強的聯(lián)系，如統計學(xué)、數學(xué)和可視化技術(shù)等等。

在我們的系統中，將實(shí)現一個(gè)完整的KDD工具，也可以稱(chēng)為數據挖掘（Data Mining）工具。因為我們要面向廣大商業(yè)用戶(hù)，所以我們的系統特別注重對用戶(hù)與數據庫交互的支持，由用戶(hù)根據數據庫中的數據，選擇一種模型，然后選擇有關(guān)數據進(jìn)行知識的挖掘，并不斷對模型的數據進(jìn)行調整優(yōu)化。整個(gè)處理過(guò)程分為下面一些步驟：

數據發(fā)現：了解任務(wù)所涉及的原始數據的數據結構及數據所代表的意義，并從數據庫中提取相關(guān)數據。

數據清理：對用戶(hù)的數據進(jìn)行清理以使其適于后續的數據處理。這需要用戶(hù)的背景知識，同時(shí)也應該根據實(shí)際的任務(wù)確定清理規則。

模型的確定：通過(guò)對數據的分析選擇一個(gè)初始的模型。模型定義一般分為三個(gè)步驟：數據分隔，模型選擇和參數選擇。在我們的系統中，主要引入了關(guān)聯(lián)規則模型和分類(lèi)模型。

數據分析：對選中的模型進(jìn)行詳細定義，確定模型的類(lèi)型及有關(guān)屬性；通過(guò)對相關(guān)數據的計算，計算模型的有關(guān)參數，得到模型的各屬性值；通過(guò)測試數據對得到的模型進(jìn)行測試和評價(jià)；根據評價(jià)結果對模型進(jìn)行優(yōu)化。

輸出結果生成：數據分析的結果一般都比較復雜，很難被人理解，將結果以文檔或圖表形式表現出來(lái)則易于被人接受。

在KDD過(guò)程中，最重要的是其中的數據挖掘部分，即模型和相關(guān)屬性的確定。我們計劃采用其中應用最廣泛的兩個(gè)模型，分別是關(guān)聯(lián)規則和分類(lèi)規則，以下作詳細的介紹。

關(guān)聯(lián)規則是形式如下的一種規則，“在購買(mǎi)面包和黃油的顧客中，有90％的人同時(shí)也買(mǎi)了牛奶”（面包＋黃油=>牛奶 ）。用于關(guān)聯(lián)規則發(fā)現的主要對象是事務(wù)型數據庫，其中最典型的應用則是售貨數據，一個(gè)事務(wù)一般由如下幾個(gè)部分組成：事務(wù)處理時(shí)間，一組顧客購買(mǎi)的物品，有時(shí)也有顧客標識號（如信用卡號）。如果對這些歷史事務(wù)數據進(jìn)行分析，則可對顧客的購買(mǎi)行為提供極有價(jià)值的信息。例如，可以幫助如何擺放貨架上的商品（如把顧客經(jīng)常同時(shí)買(mǎi)的商品放在一起），幫助如何規劃市場(chǎng)（怎樣相互搭配進(jìn)貨）。由此可見(jiàn)，從事務(wù)數據中發(fā)現關(guān)聯(lián)規則，對于改進(jìn)零售業(yè)等商業(yè)活動(dòng)的決策非常重要。隨著(zhù)應用的推廣，關(guān)聯(lián)規則已經(jīng)在許多領(lǐng)域發(fā)揮作用，成為最典型的數據挖掘應用。

分類(lèi)也是數據挖掘中的一項非常重要的任務(wù)。分類(lèi)的目的是學(xué)會(huì )一個(gè)分類(lèi)函數或分類(lèi)模型（也常常稱(chēng)作分類(lèi)器），該模型能把數據庫中的數據項映射到給定類(lèi)別中的某一個(gè)。分類(lèi)的應用實(shí)例也很多，比較典型的由保險公司的保費設置。保險公司成功的一個(gè)關(guān)鍵因素是在設置具有競爭力保費和覆蓋風(fēng)險之間選擇一種平衡。保險市場(chǎng)競爭激烈，設置過(guò)高的保費意味著(zhù)失去市場(chǎng)，而保費過(guò)低又會(huì )影響公司的贏(yíng)利。保費通常是通過(guò)對一些主要的因素（如駕駛員的年齡、車(chē)輛的類(lèi)型等）進(jìn)行多種分析和直覺(jué)判斷來(lái)確定。由于投資組合的數量很大，分析方法通常是粗略的。采用分類(lèi)進(jìn)行數據挖掘以后，就可以利用計算機處理海量數據的能力來(lái)進(jìn)行合理的分類(lèi)，定出合理的保費，使保險公司得到最大收益。