國產(chǎn)數據庫TPC-C基準性能測試應用與分析

　　　隨著(zhù)十二五規劃國家重大專(zhuān)項的制定發(fā)布，將國產(chǎn)數據庫的發(fā)展列入國家基礎軟件重點(diǎn)支持對象之一。同時(shí)，國產(chǎn)數據庫的應用也變得越來(lái)越廣泛，目前需要對國產(chǎn)數據庫的質(zhì)量與國外數據庫質(zhì)量進(jìn)行對比的需要日益迫切，而重點(diǎn)又圍繞著(zhù)數據庫處理的效率問(wèn)題。因此，我們選擇了TPC-C的測試標準對此加以測試。本文描述了TPC-C的標準，同時(shí)提出了TPC-C的的設計與實(shí)現方式，最后通過(guò)國外Oracle數據庫與國產(chǎn)數據庫的對比性能測試實(shí)例給出了TPC-C測試的流程與方法，為實(shí)施數據庫性能測試提供了指導依據。

　　1、 TPC-C概述

　　TPC-C測試標準是TPC(Transaction Processing Performance Council)委員會(huì )公布的一個(gè)用于衡量在線(xiàn)事務(wù)處理系統性能和性能價(jià)格比的測試標準。TPC組織定義了一套嚴格的TPC-C的測試模型和架構為實(shí)現其相應的軟件提供依據和標準，業(yè)務(wù)模型主要是依據實(shí)際批發(fā)商業(yè)活動(dòng)作為其設計模型。TPC-C規范是專(zhuān)門(mén)針對聯(lián)機交易處理系統(OLTP系統)的，一般情況下我們也把這類(lèi)系統稱(chēng)為業(yè)務(wù)處理系統。這類(lèi)系統具有比較鮮明的特點(diǎn)，這些特點(diǎn)主要表現如下。

　　· 多種事務(wù)處理并發(fā)執行，充分體現了事物處理的復雜性;

　　· 在線(xiàn)與離線(xiàn)的事務(wù)執行模式;

　　· 多個(gè)在線(xiàn)會(huì )話(huà)終端;

　　· 適中的系統運行時(shí)間和應用程序運行時(shí)間;

　　· 大量的磁盤(pán)I/O數據流;

　　· 強調事務(wù)的完整性要求(ACID);

　　· 對于非一致的數據分布，使用主鍵和從鍵進(jìn)行訪(fǎng)問(wèn);

　　· 數據庫由許多大小不一、屬性多樣，而又相互關(guān)聯(lián)的數據表組成;

　　· 存在較多數據訪(fǎng)問(wèn)和更新之間的資源爭奪。

　　此標準可以在TPC的網(wǎng)站提供免費下載。同時(shí)發(fā)布的TPC-C的報告中，給出了物理服務(wù)器的名稱(chēng)、操作系統類(lèi)型、數據庫類(lèi)型、是否集群、tpmC和性?xún)r(jià)比等。從中可以看出只要符合TPC-C測試標準開(kāi)發(fā)的應用，同時(shí)固定其中的配置，變化被測的對象，如物理服務(wù)器、操作系統和數據庫，就可以它們進(jìn)行橫向的基準測試，通過(guò)tpmC的優(yōu)劣來(lái)評估被測對象的好壞。

　　2、 TPC-C的設計

　　TPC-C測試標準的主要設計目標是：1)模擬包括更新操作和只讀操作的多類(lèi)型事務(wù);2)模擬不同特征的事務(wù)處理，包括在線(xiàn)式(對響應時(shí)間有嚴格要求)和延時(shí)式(對響應時(shí)間的要求比較寬松);3)所有事務(wù)必須嚴格符合ACID特性;4)擁有復雜的數據結構和聯(lián)系;5)采用多樣的數據訪(fǎng)問(wèn)方式;6)模擬重負載下達數據庫上的多用戶(hù)并發(fā)操作。下圖為T(mén)PC-C的設計模型。

　　圖 1 TPC-C設計模型-資料來(lái)源于中國評測

　　TPC-C測試用到的模型是一個(gè)大型的商品批發(fā)銷(xiāo)售公司，它擁有若干個(gè)分布在不同區域的商品倉庫。當業(yè)務(wù)擴展的時(shí)候，公司將添加新的倉庫。每個(gè)倉庫負責為10個(gè)銷(xiāo)售點(diǎn)供貨，每個(gè)銷(xiāo)售點(diǎn)為3000個(gè)客戶(hù)提供服務(wù)，每個(gè)客戶(hù)提交的訂單中，平均每個(gè)訂單有10項產(chǎn)品，所有訂單中約1%的產(chǎn)品在其直接所屬的倉庫中沒(méi)有存貨，必須由其他區域的倉庫來(lái)供貨。同時(shí)，每個(gè)倉庫都要維護公司銷(xiāo)售的100000種商品的庫存記錄。

　　TPC-C測試系統數據庫由9張表組成，它們之間的關(guān)系如圖所示。

　　圖 2 TPC-C測試系統數據庫-資料來(lái)源于中國評測

　　其中，表框里的數字表示該表將要存放多少條記錄，倉庫數W的調整在測試中能夠體現數據庫所能夠支持的數據規模的能力;表間的數字表示表數據的父子關(guān)系之間兒子的個(gè)數，比如一個(gè)Warehouse要對應10個(gè)District等，另外，“+”號表示這種對應關(guān)系可能會(huì )更多。

　　該系統需要處理的交易事務(wù)主要為以下幾種。

　　· 新訂單：客戶(hù)輸入一筆新的訂貨交易;

　　· 支付操作：更新客戶(hù)賬戶(hù)余額以反映其支付狀況;

　　· 發(fā)貨：發(fā)貨(模擬批處理交易);

　　· 訂單狀態(tài)查詢(xún)：查詢(xún)客戶(hù)最近交易的狀態(tài);

　　· 庫存狀態(tài)查詢(xún)：查詢(xún)倉庫庫存狀況，以便能夠及時(shí)補貨。

　　有關(guān)事物的具體描述如下。

　　· 新訂單：其主要事務(wù)內容為對于任意一個(gè)客戶(hù)端，從固定的倉庫中隨機選取5～15件商品，創(chuàng )建新訂單。其中1%的訂單，要由于假想的用戶(hù)操作失敗而回滾;該事務(wù)的主要特點(diǎn)為讀寫(xiě)、頻繁、要求響應快，是系統中最典型的操作，也是系統處理中的主要工作量，最終也是以數據庫系統每分鐘能夠處理的新訂單數來(lái)對數據庫系統的性能進(jìn)行評價(jià)。

　　· 支付操作：其主要事務(wù)內容為對于任意一個(gè)客戶(hù)端，從固定倉庫隨機選取一個(gè)轄區及其內的用戶(hù)，采用隨機的金額支付一筆訂單，并同時(shí)將該訂單記錄為相應歷史訂單。該事物的主要特點(diǎn)為10個(gè)批量、讀寫(xiě)、較少、較寬松的響應時(shí)間。

　　· 訂單狀態(tài)查詢(xún)：其主要事務(wù)內容為對于任意一個(gè)客戶(hù)端，從固定倉庫隨機選取一個(gè)轄區及其內用戶(hù)，讀取該用戶(hù)的最后一條訂單，顯示訂單內每件商品的狀態(tài)。該事物的主要特點(diǎn)為只讀、較少、要求響應快。

　　· 發(fā)貨：其主要事務(wù)內容為對于任意一個(gè)客戶(hù)端，隨機選取一個(gè)發(fā)貨包，更新被處理訂單的用戶(hù)賬戶(hù)余額，并把修改后的訂單從新訂單中刪除。該事物的主要特點(diǎn)為讀寫(xiě)、頻繁、響應快。

　　· 庫存狀態(tài)查詢(xún)：其主要事務(wù)內容為對于任意一個(gè)客戶(hù)端，從固定的倉庫和轄區選取最后的20條訂單，檢查訂單中所有貨物的庫存。計算并顯示所有庫存低于隨機生成閾值的商品數量。該事物的主要特點(diǎn)為只讀、較少、較為寬松的響應時(shí)間。

　　對于以上這5種類(lèi)型的事務(wù)交易，前4種類(lèi)型的交易要求響應時(shí)間在5秒鐘以?xún)?對于庫存狀況查詢(xún)交易，要求響應時(shí)間在20秒以?xún)?。同時(shí)，這5種交易最終的比例還必須滿(mǎn)足一定的要求，即支付操作的比例不得少于43%，訂單狀態(tài)查詢(xún)、發(fā)貨和庫存狀態(tài)查詢(xún)的比例分別均不得少于4%。具體而言，5種事務(wù)要滿(mǎn)足的時(shí)間、比例及隔離級別要求如表所示。

　　表 1    5種類(lèi)型的事務(wù)交易-資料來(lái)源于中國評測

　　TPC-C測試的結果主要有兩個(gè)指標，即流量指標(Throughput，簡(jiǎn)稱(chēng)tpmC)和性?xún)r(jià)比(Price/Performance，簡(jiǎn)稱(chēng)Price/tpmC)。

　　· 流量指標(Throughput，簡(jiǎn)稱(chēng)tpmC)：按照TPC組織的定義，流量指標描述了系統在執行支付操作、訂單狀態(tài)查詢(xún)、發(fā)貨和庫存狀態(tài)查詢(xún)這4種交易的同時(shí)，每分鐘可以處理多少個(gè)新訂單交易。所有交易的響應時(shí)間必須滿(mǎn)足TPC-C測試規范的要求，且各種交易數量所占的比例也應該滿(mǎn)足TPC-C測試規范的要求。在這種情況下，流量指標值越大說(shuō)明系統的聯(lián)機事務(wù)處理能力越高。

　　· 性?xún)r(jià)比(Price/Performance，簡(jiǎn)稱(chēng)Price/tpmC)：即測試系統的整體價(jià)格與流量指標的比值，在獲得相同的tpmC值的情況下，價(jià)格越低越好。

　　3、 數據性能對比測試

　　測試方法：通過(guò)上述的設計模型建立相關(guān)的表，對表中的數據按設計模型的規模進(jìn)行填充。將主要的并發(fā)業(yè)務(wù)模型分別部署到不同的并發(fā)客戶(hù)端上，通過(guò)主控臺的統一控制控制測試的啟動(dòng)、執行和結束，最后統計各個(gè)客戶(hù)端傳來(lái)的性能數據，通過(guò)統計分析展現給測試人員，幫助分析數據庫的性能。

　　測試場(chǎng)景：分別在Oracle和國產(chǎn)數據庫測試1000個(gè)倉庫持續2個(gè)小時(shí)，同時(shí)收集服務(wù)器端的系統資源占用、5個(gè)事務(wù)的響應時(shí)間，業(yè)務(wù)比例關(guān)系以及最終的流量指標(Throughput，簡(jiǎn)稱(chēng)tpmC)指標。

　　在測試過(guò)程中，我們采用兩臺配置完全相同的服務(wù)器分別安裝Oracle數據庫11g的版本和國產(chǎn)數據庫管理系統。網(wǎng)絡(luò )采用1000Gbps快速以太網(wǎng)交換機進(jìn)行互聯(lián)，測試端采用一體化分布式管理的方法，即一個(gè)主控管理臺和多個(gè)分布式并發(fā)客戶(hù)端，測試代碼放在主控臺上，通過(guò)分發(fā)到客戶(hù)端實(shí)現大的并發(fā)訪(fǎng)問(wèn)。測試拓撲圖如下：

　　圖 3 測試拓撲圖-資料來(lái)源于中國評測

　　結果分析對比：

　　1)Tpmc的數據對比：

　　上圖的分析，Oracle在1000個(gè)倉庫下產(chǎn)生的Tpmc值為11,840.90 tpmC

　　國產(chǎn)數據庫管理系統在1000個(gè)倉庫下產(chǎn)生的Tpmc值為12,840.01 tpmC

　　2)時(shí)間特性分析

　　3)服務(wù)器的資源特性分析

　　a)CPU的利用率對比

　　 通過(guò)上圖的對比，Oracle數據庫服務(wù)器多核CPU的利用均等的方式別調用，而國產(chǎn)數據庫管理系統服務(wù)器的CPU利用則重點(diǎn)在3個(gè)核CPU上，對多核處理的均等調用方式有待進(jìn)一步提升。

　　b)內存的利用率對比

　　通過(guò)上圖的對比分析，Oracle數據庫在測試過(guò)程內存的使用迅速只剩下5000MB一下的可用空間，而國產(chǎn)數據庫管理系統服務(wù)器的內存占用是漸進(jìn)的方式的消耗。

　　c)網(wǎng)絡(luò )的利用率對比

　　通過(guò)上圖的對比分析，Oracle數據庫服務(wù)器在測試過(guò)程中，服務(wù)器的發(fā)出流量達到6000KBytes/Sec，接收的流量達4000Kbytes/Sec;國產(chǎn)數據庫服務(wù)器在測試過(guò)程中，服務(wù)器的發(fā)出流量達到2000KBytes/Sec，接收的流量達1500Kbytes/Sec。

　　d)磁盤(pán)的利用率對比

　　通過(guò)上圖的對比分析，Oracle數據庫服務(wù)器在測試過(guò)程中，數據庫服務(wù)器的磁盤(pán)繁忙度達100%;而國產(chǎn)數據庫管理系統的磁盤(pán)繁忙程度在逐漸下降。

　　4、 結論

　　本文介紹了一種測試數據庫性能測試的方法TPC-C，通過(guò)倉庫的商業(yè)模擬模擬數據庫的在線(xiàn)處理方式。通過(guò)這種測試方法可以對國產(chǎn)數據庫管理系統和國外的數據庫在在線(xiàn)處理的性能上進(jìn)行對比分析，幫助國產(chǎn)數據庫管理系統的制造商改進(jìn)其產(chǎn)品性能提供了客觀(guān)的評價(jià)依據。