從Facebook學(xué)習八大數據中心管理經(jīng)驗

任何希望打造高效率數據中心或者進(jìn)一步為現有設施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻的系統優(yōu)化大餐。這些已經(jīng)公開(kāi)的秘密沒(méi)準會(huì )在大家自己的項目中發(fā)揮意料之外的指導作用。

Facebook作為開(kāi)源開(kāi)放計算項目的發(fā)起者，Facebook在數據中心的創(chuàng )建及運維方面可謂睥睨天下;而最近他們剛剛在項目中公開(kāi)了其基礎設施運作效率如此之高的幾大訣竅。OCP為我們提供了詳細的資料，例如高效服務(wù)器組件的規格細節及運行準則——從主板到機箱——以及硬件設施，包括供電及冷卻等信息。在俄勒岡州的Prineville聳立著(zhù)Facebook堪稱(chēng)藝術(shù)品的最新數據中心，而這一整套系統正是在這里為全世界范圍內的用戶(hù)提供服務(wù)。

任何希望打造高效率數據中心或者進(jìn)一步為現有設施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻的系統優(yōu)化大餐。這些已經(jīng)公開(kāi)的秘密沒(méi)準會(huì )在大家自己的項目中發(fā)揮意料之外的指導作用。

英特爾主板

OCP此次曝光了兩套英特爾主板設計及管理規范，它們在性能全面優(yōu)化之余還采用了極為簡(jiǎn)單的工程設計方案，這使得能源利用率大大提高。V 1.0是擁有18個(gè)DIMM槽位的雙插槽主板(采用英特爾至強5500或英特爾至強5600處理器)。而V 2.0則在一塊主板上采用兩塊下一代至強處理器，等于擁有了雙倍計算密度。為了節約能源，像PCIe通道、PCI通道、USB接口、SATA/SAS端口等很少用到的功能都被直接禁用。BIOS同樣經(jīng)過(guò)嚴格調整，以確保系統功耗始終處于最低水平。根據規范要求，BIOS還在設定方面做出了有針對性的修改，進(jìn)而使各組件以特定的速度及功率運轉。主板上配有五個(gè)熱敏元件，負責監測CPU、PCH、輸入接口及輸出接口的溫度。若偵測到溫度過(guò)高，這些元件還會(huì )自動(dòng)控制風(fēng)扇轉速，以確保冷卻效果與運行狀態(tài)相吻合。

AMD主板

與英特爾主板一樣，OCP公布了兩套AMD主板規范。V 1.0規范詳細描述了擁有24個(gè)DIMM槽位的雙插槽AMD皓龍6100系列主板。而V2.0則在單塊主板上配備了兩個(gè)AMD Magny-Cours或Interlagos CPU，借以提高計算密度。AMD與英特爾主板規范中有許多相同的內容，包括針對供電優(yōu)化進(jìn)行的BIOS設置以及內部熱敏元件等。兩套規范都為供電系統提供了直接接口，而且都配備了供電延遲機制——這就避免了同一臺服務(wù)器兩塊主板的用電量同時(shí)提高所導致的短時(shí)電流過(guò)強現象。經(jīng)過(guò)優(yōu)化的CPU VRM(即電壓調整模塊)則提高了電力轉換系統的運作效率。

94.5 %高效供電系統

OCP的450瓦供電系統通過(guò)優(yōu)化設計消除了電力轉換過(guò)程中造成的能源浪費量。它采用單電壓12.5伏直流供電、封閉式框架、自冷卻系統以及兩個(gè)輸入接口。其中主連接器用于接收277伏交流供電，這比傳統的208伏交流供電系統在執行效率上更具優(yōu)勢。次要連接器則接收48伏直流供電，主要用于在停電時(shí)保持設施運轉?？偠灾?，這套新型供電系統的能源使用率高達94.5%。

簡(jiǎn)潔明快、易于管理的服務(wù)器機箱

OCP機箱的主要設計特色在于簡(jiǎn)潔明快，通過(guò)簡(jiǎn)單的結構為兩塊定制主板及一套供電系統提供運行環(huán)境。由于不需要螺絲的快速裝拆組件的廣泛應用，數據中心管理員在主板安裝工作方面可謂得心應手。硬盤(pán)驅動(dòng)器與冷卻風(fēng)扇利用嵌入式滑軌實(shí)現位置變動(dòng)。整個(gè)機箱高度為1.5U，充足的空間能夠容納體積更大的散熱片，進(jìn)而提高設備組件的散熱效率。這套設計還允許管理員在降低功耗的同時(shí)使用尺寸更大的風(fēng)扇。OCP設計的這套服務(wù)器重約6磅，甚至低于標準的1U服務(wù)器。而且根據OCP工程經(jīng)理Amir Michael的說(shuō)法，管理人員可以在9分鐘之內不借助任何工具完成服務(wù)器的裝配工作。

彈簧承載下的三層機架易于移動(dòng)

聊完了OCP服務(wù)器，我們再來(lái)看看Facebook為其配備的三層機架。每套三層機架由相鄰的三個(gè)42U機架縱列構成，每套三層機架都在頂端布置了兩臺交換機。三個(gè)機架縱列共能容納最多30臺服務(wù)器，也就是說(shuō)三層機架的最大設備容納能力為90臺。

Facebook不希望額外的網(wǎng)絡(luò )端口帶來(lái)設計外的開(kāi)支，“因此每套機架中所容納的服務(wù)器數量是經(jīng)過(guò)嚴格計算的，為的就是保證服務(wù)器與交換機端口之間保持一對一的匹配關(guān)系，”Michael解釋道。

與OCP服務(wù)器類(lèi)似，機架在設計過(guò)程中也考慮到了實(shí)際應用中的維護工作：一般來(lái)說(shuō)大家都會(huì )利用滑軌裝置實(shí)現服務(wù)器的滑入滑出，但Facebook的管理人員選擇的是彈簧式柱塞方案。他們將服務(wù)器插入鈑金機架后，再利用這些柱塞加以固定。

電池柜幫助服務(wù)器高效備份

獨立電池柜由多塊電池構成，能夠在交流電池發(fā)生中斷時(shí)為備份系統提供直流供電。通過(guò)由線(xiàn)纜與插座組成的簡(jiǎn)單連接系統，每個(gè)電池柜與兩套三層機架相連。電池柜中包含一個(gè)交/直流整流器用以為電池充電，同時(shí)還配備了電池狀態(tài)監測器。當某塊電池需要被換掉時(shí)，監測器會(huì )自動(dòng)通過(guò)網(wǎng)絡(luò )發(fā)送提醒，這樣技術(shù)人員就能夠有針對性地解決問(wèn)題。這套電池系統的執行效率為99.5%，Michael告訴我們;而傳統的UPS系統則只能達到90%到95%。

電路系統：減少電力轉換過(guò)程中的浪費

Facebook為俄勒岡州Prineville數據中心采用的是OCP的高效電路系統。整個(gè)體系由一套48伏直流UPS系統與一套227伏交流服務(wù)器供電系統組合而成。它最大的特色在于將配電工作從變電站轉移到數據中心內部，這樣一來(lái)整個(gè)轉換過(guò)程所造成的能源損耗大大降低。根據Facebook的測算，傳統電力轉換過(guò)程所損失掉的電量為21%到27%，而Prineville數據中心這套自給自足的方案則只帶來(lái)7.5%的能源損耗。

系統中還包括大量其它設計元素，例如備份用柴油發(fā)電機、電池監控、服務(wù)器-電池備份以及能源利用率更高的LED照明系統?？傮w來(lái)說(shuō)，這套系統的設計水平達到甚至超過(guò)了絕大多數現有執行標準，包括國家電器設計規范、國家防火規范、電氣及電子工程師協(xié)會(huì )和保險商實(shí)驗室提出的規定等等。

卻系統大大超過(guò)ASHRAE(即美國采暖、制冷與空調工程師學(xué)會(huì ))的規定

Facebook的Prineville數據中心還展示了由OCP設計的高效冷卻系統，這套系統利用蒸發(fā)冷卻系統實(shí)現現場(chǎng)散熱，達成了100%全風(fēng)冷的綠色發(fā)展目標。方案沒(méi)有借助任何制冷機或者冷卻塔設施。Facebook官方宣稱(chēng)，這套方案通過(guò)無(wú)管道式頂棚引導模式根據現場(chǎng)溫、濕度情況進(jìn)行冷風(fēng)分配，其優(yōu)異的冷卻效果及令人贊嘆的低運轉功耗大大超過(guò)了ASHRAE的相關(guān)規定。