騰訊云：服務(wù)器資源池化技術(shù)發(fā)展趨勢

海量數據正以前所未有的增長(cháng)趨勢沖擊著(zhù)整個(gè)數據中心行業(yè)，數據中心建設者們不得不以一種新的思考方式去重新審視IT系統架構。服務(wù)器作為數據中心的核心部件之一，為了適應未來(lái)大規模業(yè)務(wù)增長(cháng)的需求，也需要對其架構進(jìn)行優(yōu)化和重構。

服務(wù)器的硬件重構關(guān)乎大規模數據中心的效率和成本問(wèn)題，目標是降低服務(wù)器硬件購置成本、提高服務(wù)器硬件資源的利用率、降低服務(wù)器運維成本，降低綜合TCO。

騰訊作為服務(wù)器"天蝎標準"的引領(lǐng)者，一直在服務(wù)器領(lǐng)域深耕細作，精細化運營(yíng)。尤其在新技術(shù)領(lǐng)域敢為人先，那么對于服務(wù)器資源池化技術(shù)，騰訊又是怎么看怎么做的呢？請跟隨小編去一步步探討。

WHY服務(wù)器資源池化？

騰訊的現役服務(wù)器超過(guò)數十萬(wàn)臺，其中傳統的機架式服務(wù)器占比超過(guò)90%。傳統的機架式服務(wù)器計算、存儲、網(wǎng)絡(luò )資源配比較為均衡，具有很好的通用性，是比較典型的"One size fits all"方案。所以，在騰訊十多年服務(wù)器發(fā)展歷程中，機架式服務(wù)器承擔著(zhù)非常重要的奠基石作用。但是，隨著(zhù)騰訊的單體業(yè)務(wù)的規模膨脹，傳統機架式服務(wù)器在應對大規模業(yè)務(wù)模型時(shí)，顯露出些絲疲態(tài)，在運行某一種資源密集型的應用，效率不夠高，還影響密度。譬如：

計算密集型應用，空著(zhù)的內存插槽、驅動(dòng)器倉、擴展槽位都影響計算密度；

內存密集型應用，驅動(dòng)器倉和擴展槽位可能是浪費空間；

存儲密集型應用，CPU 和內存的設計配置過(guò)高了……

為此，我們付出的代價(jià)是：定制不同型號的服務(wù)器。目前騰訊現役機型超過(guò)百種，新采購機型超過(guò)數十種。服務(wù)類(lèi)型的增加，不僅給服務(wù)器的資源管理帶來(lái)了困難，也給服務(wù)器的運營(yíng)增加了很多困難和成本。

傳統機架式服務(wù)器應對大規模數據中心暴露出來(lái)的問(wèn)題，不僅僅是騰訊一家，業(yè)界很多互聯(lián)網(wǎng)企業(yè)、云服務(wù)提供商都面臨著(zhù)這個(gè)問(wèn)題。數據中心的負責是多樣性的，下圖很形象的展示了數據中心不同負載對CPU、MEM、IO的需求：

數據中心工作負載的多樣性，橫軸是I/O 密集程度，縱軸是CPU 和內存密集程度，可見(jiàn)一個(gè)計算和存儲等資源配比相對均衡的系統，是很難做到對多種不同應用優(yōu)化的。

另外，不同類(lèi)型資源之間也存在生命周期不同步的問(wèn)題。譬如，CPU 是發(fā)展速度最快的，每?jì)扇昃托阅芊?，然而存儲的技術(shù)發(fā)展相對緩慢，從而會(huì )造成CPU性能和功耗的浪費。

服務(wù)器資源池化技術(shù)，除了能夠帶來(lái)靈活、彈性的資源部署，提高資源利用率這個(gè)優(yōu)勢，還能夠更有效的提高服務(wù)器的故障修復能力，提升服務(wù)器運營(yíng)效率。綜合騰訊十多年的運營(yíng)數據，硬盤(pán)是故障率最高的部件之一，在實(shí)現存儲池化技術(shù)后，多盤(pán)存儲資源池為單體硬盤(pán)提供了很好的冗余設計能力。當單個(gè)硬盤(pán)出現故障后，可以及時(shí)使用其他硬盤(pán)資源進(jìn)行無(wú)損恢復，無(wú)需立即現場(chǎng)更換硬盤(pán)。

誰(shuí)在研究服務(wù)器資源池化？

為了解決這個(gè)問(wèn)題，業(yè)界以Intel、Google為首的多家公司著(zhù)手研究新型的服務(wù)器架構。

Intel提出了RSA（Rack Scale Architecture）架構、Google攜手伯克利大學(xué)提出了WSC（Warehouse Scale Computer）的概念。Intel的RSA架構已經(jīng)有了清晰的架構設計和路標，目前原型機已經(jīng)面世。而Google的WSC仍在概念階段，只有簡(jiǎn)單的時(shí)間表，2020年。

服務(wù)器資源池化的挑戰？

在這里，我們以Intel的RSA為范例，簡(jiǎn)單介紹一下服務(wù)器資源池化技術(shù)。用一句形象的話(huà)來(lái)比喻RSA：Rack As a Server，即一個(gè)機柜就像是一臺大型服務(wù)器。Intel RSA(Rack Scale Architecture) 架構提供了一種機架重構的方案，其思想是將幾種重要的資源池化：CPU 池、內存池、存儲池，池化的RSA 模型可以很方便地進(jìn)行管理和擴展，并降低運行維護成本。業(yè)務(wù)軟件或者OS的視角看到的還是一臺傳統的服務(wù)器，有CPU、內存、硬盤(pán)、網(wǎng)卡等，如下圖所示：

服務(wù)器重構并資源池化后，面臨的最大的挑戰就是，挑戰一：互連與時(shí)延（拓撲結構與接口）；挑戰二：配置與管理（協(xié)議與監控）。

挑戰一：互連與時(shí)延。資源池之間的網(wǎng)絡(luò )互連，在鏈路層協(xié)議上，可以有很多種，Intel RSA采用的是以太網(wǎng)，行業(yè)上還有其他公司采用PCIe、SAS、Fabric等。不同的網(wǎng)絡(luò )互連協(xié)議，各具優(yōu)缺點(diǎn)，我們也期待著(zhù)各種技術(shù)的探索成果。但是在物理層上，各家的觀(guān)點(diǎn)殊途同歸：硅光技術(shù)。硅光技術(shù)不僅繼承了光纖傳輸的高速、低時(shí)延的特點(diǎn)，同時(shí)也大幅提升了接口密度。

挑戰二：配置與管理。服務(wù)器的部件資源池化后，需要對部件資源進(jìn)行發(fā)現、記錄、分配、回收，以及對邏輯服務(wù)器進(jìn)行組裝、卸載等，需要定義一套新的管理軟件和協(xié)議。目前Intel定義了一套RSA管理軟件，提供對服務(wù)器資源池的發(fā)現、配置和管理。

RSA管理軟件不僅僅實(shí)現對內部池化資源的配置管理，同樣對上提供管理接口，對接OpenStack或VMware等管理軟件。服務(wù)器資源池化后，產(chǎn)生了大量的配置管理的數據，傳統使用I2C總線(xiàn)的IPMI接口和協(xié)議，由于傳輸速率低、協(xié)議承載信息量小，無(wú)法滿(mǎn)足資源池化的配置管理需求。此前，Intel聯(lián)合HP、Dell建立了一套新的數據中心管理軟件協(xié)議Redfish，也被Intel導入RSA軟件架構，用于優(yōu)化資源池化管理。

業(yè)務(wù)軟件的同事可能比較關(guān)心，服務(wù)器資源池化后，對業(yè)務(wù)軟件會(huì )有什么影響嗎？答案是，不會(huì )。服務(wù)器資源池化，是從硬件角度對服務(wù)器硬件資源進(jìn)行優(yōu)化重構；從軟件層面來(lái)看，是透明的。創(chuàng )建了邏輯服務(wù)器后，軟件和OS看到的與傳統服務(wù)器的硬件部件沒(méi)有區別。

服務(wù)器資源池化能力如何助力云服務(wù)？

目前虛擬化技術(shù)和云服務(wù)都是基于虛擬化技術(shù)，將單個(gè)服務(wù)器硬件虛擬成多個(gè)虛擬機VM，其目的也是在于提高服務(wù)器資源的利用率。但是，由于單個(gè)服務(wù)器的CPU、內存、硬盤(pán)資源顆粒度較小，因此在虛擬化應用中，經(jīng)常出現資源配置空洞，要么是CPU核數沒(méi)有分配完，要么是內存沒(méi)有分配完，更多的情況是硬盤(pán)容量存在大量空閑。

而服務(wù)器資源池化可以更好的解決上述問(wèn)題。據了解，現在騰訊云的虛擬化服務(wù)是一虛多的能力，而未來(lái)將借助服務(wù)器資源池化技術(shù)逐步實(shí)現多虛多的能力。

這樣一來(lái)，騰訊云通過(guò)軟件層面提供的虛擬化服務(wù)，同時(shí)利用服務(wù)器資源池化在硬件層面提供的虛擬化能力，能夠為用戶(hù)提供更加靈活的云服務(wù)。服務(wù)器資源池化后，創(chuàng )建出來(lái)的邏輯服務(wù)器上，可以繼續運行虛擬化和云服務(wù)器軟件，再創(chuàng )建出虛擬機給用戶(hù)使用。服務(wù)器資源池化后，可以進(jìn)一步減少云服務(wù)產(chǎn)生的資源配置空洞，進(jìn)一步提高硬件資源的利用率，減少TCO成本。

騰訊目前在服務(wù)器資源池化上的研究進(jìn)展

2014年騰訊服務(wù)器平臺中心基于資源池化的概念，進(jìn)行了存儲池化的技術(shù)預研和POC驗證。使用現有的傳統機架服務(wù)器，搭建了一套存儲池化的簡(jiǎn)易POC模型，如下圖所示：

將20臺騰訊的B/C類(lèi)服務(wù)器去除硬盤(pán)后，組成計算資源池，使用1臺TSx存儲服務(wù)器作為存儲資源池，然后基于萬(wàn)兆網(wǎng)絡(luò )完成存儲池與計算池的互連。資源配置方面，將存儲池的硬盤(pán)劃分成20個(gè)LUN，用于分配給20個(gè)Bx/Cx計算節點(diǎn)的啟動(dòng)盤(pán)。

實(shí)驗中，騰訊實(shí)現了20臺邏輯服務(wù)器的組裝，實(shí)現了服務(wù)器的批量自動(dòng)部署、遠程網(wǎng)絡(luò )啟動(dòng)、邏輯服務(wù)器復位后自組裝啟動(dòng)等功能，證實(shí)了啟動(dòng)盤(pán)存儲池化的可行性設計。性能數據方面，通過(guò)多次測試和數據捕捉，發(fā)現單臺TSx的磁盤(pán)性能基本能夠滿(mǎn)足20臺Bx/Cx的同時(shí)啟動(dòng)的數據讀取需求；網(wǎng)絡(luò )端口的流量上，10GE網(wǎng)卡剛剛能夠滿(mǎn)足20臺Bx/Cx的數據吞吐量要求，而且網(wǎng)絡(luò )吞吐量與啟動(dòng)節點(diǎn)數成正比，如下圖：

整體數據表明，存儲池化技術(shù)是可以滿(mǎn)足多計算節點(diǎn)共享啟動(dòng)盤(pán)的需求的。這為服務(wù)器彈性部署和擴展提供了強有力的數據支撐。為騰訊下一步在服務(wù)器資源池化的研究奠定了堅實(shí)的基礎。

前文也提到過(guò)資源池化在故障運維上帶來(lái)的優(yōu)勢，為此，騰訊在2014年的POC驗證中，也設計并驗證了單體硬盤(pán)故障的無(wú)損恢復功能。

在POC設計上，存儲池采用全局RAID設計，當單個(gè)物理硬件出現故障時(shí)，不影響業(yè)務(wù)使用。單個(gè)資源的故障可在線(xiàn)使用備用資源實(shí)時(shí)無(wú)損修復，無(wú)需人工立即到現場(chǎng)進(jìn)行磁盤(pán)更換修復。

綜述

服務(wù)器資源池化技術(shù)在靈活彈性部署、故障冗余能力、降低TCO等方面都具備優(yōu)勢，但是在技術(shù)細節上還存在很多疑問(wèn)有待探索。騰訊正持續跟進(jìn)行業(yè)最新的資源池化技術(shù)動(dòng)態(tài)，保持與合作伙伴的密切合作，設計T-Rack3.0，并把T-Rack3.0（Tencent Rack3.0）中標準化的、共性的設計開(kāi)放到天蝎3.0標準中，優(yōu)化行業(yè)整體實(shí)力。

相信未來(lái)騰訊在云計算、大數據領(lǐng)域會(huì )給整個(gè)行業(yè)帶來(lái)更具競爭力的服務(wù)器解決方案。