不同于網(wǎng)格 云計算中超算設計方案出臺

20世紀后半期，全世界范圍掀起第三次產(chǎn)業(yè)革命的浪潮，人類(lèi)開(kāi)始邁入后工業(yè)社會(huì )--信息社會(huì )。在信息經(jīng)濟時(shí)代，其先進(jìn)生產(chǎn)力及科技發(fā)展的標志就是計算技術(shù)。時(shí)至今日，計算科學(xué)，尤其是以超級計算機（或高性能計算機）為基礎的計算科學(xué)已經(jīng)與理論研究、實(shí)驗科學(xué)相并列，成為現代科學(xué)的三大支柱之一。

　　現代超級計算基于先進(jìn)的集群技術(shù)構建，即常說(shuō)的網(wǎng)格計算技術(shù)（GridComputing）。網(wǎng)格計算是伴隨著(zhù)互聯(lián)網(wǎng)發(fā)展起來(lái)的，專(zhuān)門(mén)針對復雜科學(xué)計算的新型計算模式。這種計算模式利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個(gè)虛擬的超級計算機，其中每一臺參與計算的計算機就是一個(gè)節點(diǎn)，而整個(gè)計算是由成千上萬(wàn)個(gè)節點(diǎn)組成的一張網(wǎng)格，所以稱(chēng)之為網(wǎng)格計算。這種超級計算機有兩個(gè)優(yōu)勢，一個(gè)是數據處理能力超強，另一個(gè)是能充分利用網(wǎng)上的閑置處理能力。實(shí)際上，網(wǎng)格計算是分布式計算（DistributedComputing）的一種。需要說(shuō)明的是，網(wǎng)格計算是一種傳統的、更加專(zhuān)業(yè)化的定義方式，而超級計算則是更加通俗化的概念。兩者從本質(zhì)上是一致的。

　　超級計算中心（即超算中心）是指基于超級計算機系統對外提供計算資源、存儲資源以及技術(shù)咨詢(xún)等服務(wù)的機構或單位。超級計算在一個(gè)國家的發(fā)展中，特別是一些尖端科技的發(fā)展中，發(fā)揮著(zhù)不可替代的作用，生物科技、石油勘探、氣象預報、國防技術(shù)、工業(yè)設計、城市規劃等經(jīng)濟、社會(huì )發(fā)展的關(guān)鍵領(lǐng)域都離不開(kāi)超級計算。各個(gè)國家，尤其是經(jīng)濟、科技水平比較發(fā)達的國家，都把促進(jìn)超級計算的發(fā)展作為重要的規劃內容。

　　超級計算與云計算

　　如本刊前文所述，云計算是一種將全球范疇、高度可擴展、靈活的服務(wù)通過(guò)互聯(lián)網(wǎng)進(jìn)行發(fā)布與消費，采取按需求和實(shí)際使用付費的商業(yè)模式。云計算代表著(zhù)全新的價(jià)值：它可以讓企業(yè)獲得高度可擴展和靈活的互聯(lián)網(wǎng)服務(wù)；SaaS的瘦客戶(hù)端應用減輕了軟件的采購和維護成本；所有的功能都以服務(wù)的方式提供給用戶(hù)。

　　云計算是從網(wǎng)格計算演化而來(lái)，能夠隨需應變地提供資源。網(wǎng)格計算可以在云中，也可能不在，這取決于什么樣的用戶(hù)在使用它。如果用戶(hù)是系統管理員和集成商，他們就會(huì )關(guān)心如何維護云，如升級、安裝和虛擬化服務(wù)器與應用程序等；如果用戶(hù)是消費者，就不必關(guān)心系統是如何運行的。

網(wǎng)格計算與云計算有很多相似之處，兩者都能夠被看成是分布式計算所衍生出來(lái)的概念，都是為了讓IT資源能夠對用戶(hù)透明，為了讓IT資源能夠達到更好的使用率。從這個(gè)提高資源利用率的角度出發(fā)，逐漸誕生了WEB服務(wù)的概念。網(wǎng)絡(luò )公司通過(guò)部署數以萬(wàn)計的服務(wù)器構成龐大的計算資源，得以提供此前無(wú)法完成的新服務(wù)。企業(yè)或者個(gè)人能夠通過(guò)互聯(lián)網(wǎng)利用那些大網(wǎng)絡(luò )公司所釋放出來(lái)的計算資源，進(jìn)行應用部署或者向外提供服務(wù)。這就是從網(wǎng)格計算到云計算的歷史過(guò)程。網(wǎng)格計算和云計算的意義就在于：無(wú)論是用戶(hù)還是企業(yè)開(kāi)發(fā)者，都能夠通過(guò)互聯(lián)網(wǎng)來(lái)獲得數據或者進(jìn)行計算，盡管本地資源有限，但是能夠通過(guò)網(wǎng)絡(luò )進(jìn)行復雜的運算，其數據的計算過(guò)程對于用戶(hù)來(lái)說(shuō)就像互聯(lián)網(wǎng)網(wǎng)絡(luò )對于本地網(wǎng)絡(luò )用戶(hù)一樣。
1.超級計算與云計算的相同點(diǎn)

　　從定義上來(lái)說(shuō)，網(wǎng)格計算和云計算都試圖將各種IT資源看成一個(gè)可以對外提供相應服務(wù)的虛擬資源池。云計算試圖讓用戶(hù)透明地使用資源，而網(wǎng)格計算誕生的初衷就是使用IT資源像使用水電一樣簡(jiǎn)單。

　　云計算是一種寬泛的概念，它允許用戶(hù)通過(guò)互聯(lián)網(wǎng)訪(fǎng)問(wèn)各種基于IT資源的服務(wù)，并且用戶(hù)無(wú)需了解底層IT基礎設施架構就能夠享受到作為服務(wù)的IT相關(guān)資源。而網(wǎng)格的內涵包括兩個(gè)方面，一方面是所謂的效用計算或者隨需計算，在這一點(diǎn)上，網(wǎng)格計算跟云計算是非常相似的，都是通過(guò)資源池或者分布式的計算資源來(lái)提供在線(xiàn)的計算、存儲等服務(wù)；另外一方面就是所謂的虛擬超級計算機，以松耦合的方式將大量的計算資源連接在一起，提供單個(gè)計算資源所無(wú)法完成的超級計算能力。從對外提供服務(wù)這一角度來(lái)看，網(wǎng)格計算跟云計算是非常類(lèi)似的。

　　2.超級計算與云計算的不同點(diǎn)

　　可以看出，網(wǎng)格計算和云計算有相似之處，特別是計算的并行與合作的特點(diǎn)。但他們之間的區別也是明顯的。主要有以下幾點(diǎn)：

　　網(wǎng)格計算的思路是聚合分布資源、支持虛擬組織、提供高層次的服務(wù)，例如分布協(xié)同科學(xué)研究等。而云計算的資源相對集中，主要以數據中心的形式提供底層資源的使用，并不強調虛擬組織（VO）的概念；

　　網(wǎng)格計算的初衷是用聚合資源來(lái)支持挑戰性的應用，因為高性能計算的資源不夠用，需要把分散的資源聚合起來(lái)。2004年以后，適應普遍的信息化應用被逐漸強調。而云計算從一開(kāi)始就支持廣泛企業(yè)計算、WEB應用，普適性更強；

　　在對待異構性方面，二者的理念有所不同。網(wǎng)格計算用中間件屏蔽異構系統，力圖使用戶(hù)面向同樣的環(huán)境，把處理異構部件的困難留給中間件來(lái)完成。而云計算實(shí)際上承認異構，用鏡像執行，或者提供服務(wù)的機制來(lái)解決異構性問(wèn)題。當然不同的云計算系統會(huì )存在差別，如Google一般用自己內部的專(zhuān)用平臺來(lái)支持。

　　總之，云計算是以相對集中的資源，運行分散的應用（大量分散的應用在若干大的中心執行）；而網(wǎng)格計算則是聚合分散的資源，支持大型集中式應用（一個(gè)大的應用分到多處執行）。但從根本上來(lái)說(shuō)，從應對Internet應用的特征來(lái)說(shuō)，他們是一致的：為了完成在Internet情況下支持應用、解決異構性、資源共享等問(wèn)題。

超級計算的分類(lèi)
隨著(zhù)超級計算的不斷發(fā)展，逐漸出現了新的應用。新應用在豐富了傳統的網(wǎng)格計算種類(lèi)的同時(shí)，也給網(wǎng)格計算帶來(lái)了新的挑戰。從網(wǎng)絡(luò )的角度，將超級計算分為三大類(lèi)：并行信息處理、分布式I/O處理和并行文件處理。

　　1.并行信息處理

　　并行信息處理指的是在所有計算節點(diǎn)并行執行應用，主節點(diǎn)管理各計算節點(diǎn)的輸入處理，節點(diǎn)之間信息高速交互，通過(guò)等-停機制保證信息交互時(shí)序的正確性。通常是在追求最高計算性能的定制計算環(huán)境。這類(lèi)應用就是通常所說(shuō)的科學(xué)計算，包括：氣候模型，材料科學(xué)，生物系統模型，核模擬和人工智能等等。

　　這類(lèi)應用的共同特點(diǎn)是對信息交互時(shí)延極敏感。對網(wǎng)絡(luò )的要求是高帶寬、低時(shí)延（Top500高端計算應用IPC時(shí)延10us）。

　　2.分布式I/O處理

　　分布式I/O處理指的是客戶(hù)端請求通過(guò)主節點(diǎn)發(fā)送到所有計算節點(diǎn)進(jìn)行并行處理，各節點(diǎn)的結果直接返回主節點(diǎn)，由主節點(diǎn)響應給客戶(hù)端。時(shí)延要求不苛刻，但是所有計算節點(diǎn)以最快速度響應主節點(diǎn)，使得主節點(diǎn)網(wǎng)絡(luò )位置短時(shí)會(huì )產(chǎn)生較大突發(fā)流量。這類(lèi)計算的典型應用就是網(wǎng)站搜索引擎。有信息顯示：Google 每天需要提供1.5億次查詢(xún)服務(wù)，平均每毫秒發(fā)生1.736次查詢(xún)。舉例來(lái)說(shuō)，搜索高性能計算，得到3，250，000結果，用時(shí)0.20秒(第二次再搜0.05秒)。

　　這類(lèi)應用的共同特點(diǎn)是對網(wǎng)絡(luò )丟包敏感。對網(wǎng)絡(luò )的要求是高帶寬、不丟包。對設備帶寬、包緩存大小及分配方式有要求，與應用的具體規模（服務(wù)器數量等) 相關(guān)。

　　3.并行文件處理

　　并行文件處理指的是將龐大的源數據文件通過(guò)主節點(diǎn)分割成多個(gè)小文件后，分發(fā)到各計算節點(diǎn)并行處理，處理完畢后返回主節點(diǎn)進(jìn)行文件組裝。這類(lèi)計算的典型應用就是動(dòng)漫渲染和影視動(dòng)畫(huà)制作。將影視文件有機分割，分發(fā)到集群內相應服務(wù)器進(jìn)行渲染等工作，各部分完成后返回組合成新的文件。

　　這類(lèi)應用的特點(diǎn)是節點(diǎn)之間信息交互少，但都是以大文件的形式完成。網(wǎng)絡(luò )流量很大，且存在很強的并發(fā)性。對網(wǎng)絡(luò )的要求是高帶寬互聯(lián)。

超級計算中心網(wǎng)絡(luò )安全解決方案

　　1.超級計算在云計算中的部署方案

　　超級計算可以作為云計算的一種業(yè)務(wù)對Internet用戶(hù)提供便捷的服務(wù)。從這個(gè)角度來(lái)看，超算中心可以作為云計算數據中心的一個(gè)部分。但是超級計算與云計算仍有較大區別，因此需要看作是特殊的云計算服務(wù)。超級計算作為聚合業(yè)務(wù)，是一種特殊的服務(wù)器集群應用。這種應用要求服務(wù)器自成系統，具體表現在：

　　集群系統不能出現異構現象；

　　集群內部的通信服務(wù)質(zhì)量要求非常高，因此不能與其他業(yè)務(wù)共享業(yè)務(wù)通道；

　　集群系統的安全級別很高，從接入區開(kāi)始一直到超算區，要求與其他系統保持物理或邏輯隔離；

　　集群節點(diǎn)的計算性能要求較高，一般不會(huì )出現虛擬機。因此，集群內部的通信流量并不會(huì )很大。

　　綜合各種需求，可以將超級計算中心和云計算數據中心的網(wǎng)絡(luò )進(jìn)行融合，進(jìn)而對外提供統一的解決方案。如圖1所示，將超級計算服務(wù)作為云計算一個(gè)獨立的區，保證超級計算端到端的安全隔離，并在超級計算區內實(shí)現統一交換架構。該方案重點(diǎn)強調性能、安全、可靠和易用性設計。

　　2.超級計算組網(wǎng)方案的高性能設計

　　由于Infiniband具有高帶寬、低時(shí)延轉發(fā)的特點(diǎn)（通?？梢缘陀?0us，甚至達到納秒級），傳統的超級計算網(wǎng)絡(luò )通常采用其進(jìn)行組網(wǎng)。隨著(zhù)以太網(wǎng)的發(fā)展，以太網(wǎng)已在超級計算中心的網(wǎng)絡(luò )中廣泛應用。在高性能計算區域（HPC)TOP500集群中，采用千兆以太網(wǎng)的用戶(hù)數量是采用 InfiniBand集群用戶(hù)數量的兩倍。

　　千兆以太網(wǎng)計算集群的優(yōu)勢是成本較低，但萬(wàn)兆以太網(wǎng)計算集群的性能遠高于千兆。新一代萬(wàn)兆以太網(wǎng)網(wǎng)卡可以將服務(wù)器之間延遲降低到千兆網(wǎng)絡(luò )延遲的八分之一，同時(shí)帶寬獲得更高的提升，幾乎與InfiniBand速度不相上下。以H3C數據中心級交換機S12500為例，根據最新的Spirent測試報告顯示，其萬(wàn)兆端口轉發(fā)時(shí)延6~14us（盒式萬(wàn)兆交換機的轉發(fā)時(shí)延更低）。除了轉發(fā)時(shí)延有大幅度降低之外，數據中心級交換機還能夠提供超高密度的萬(wàn)兆接入端口，可以實(shí)現大量計算節點(diǎn)的高密度接入，有效的降低成本。

　　近年來(lái)隨著(zhù)萬(wàn)兆以太網(wǎng)成本逐漸降低，高性能集群升級到萬(wàn)兆以太網(wǎng)將會(huì )有效的提高計算集群的性?xún)r(jià)比。另外，萬(wàn)兆以太網(wǎng)每Gb的端口功耗比千兆以太網(wǎng)的要低，使得用戶(hù)獲得10倍帶寬的同時(shí)又降低了能耗。

3.超級計算組網(wǎng)方案的高安全設計

　　安全設計方案可以分為安全分區規劃以及端到端的安全部署兩部分。如圖2所示。

　　在超算中心網(wǎng)絡(luò )中，存在不同業(yè)務(wù)種類(lèi)的設備且易受攻擊程度不同。根據這些業(yè)務(wù)種類(lèi)和設備情況可制定不同的安全策略和信任模型，將超算網(wǎng)絡(luò )劃分成不同區域，區域之間實(shí)現邏輯隔離，重點(diǎn)保證高性能計算區域（HPC)的數據安全和流量服務(wù)。

　　針對不同級別、不同業(yè)務(wù)的用戶(hù)實(shí)施端到端的安全部署，從接入終端一直到超算中心最終的服務(wù)器，都能一直保持邏輯隔離的狀態(tài)。通過(guò)端到端的安全隔離進(jìn)一步加強超算中心核心業(yè)務(wù)的數據中心安全性和服務(wù)質(zhì)量。

　　4.超級計算組網(wǎng)方案的高可靠設計

　　采用網(wǎng)絡(luò )虛擬化技術(shù)將實(shí)現高可靠性要求，可實(shí)現分布式設備管理、分布式路由和跨設備鏈路聚合，部署虛擬化除了提高超算中心網(wǎng)絡(luò )的可用性，減少單點(diǎn)故障影響，同時(shí)無(wú)需再考慮MSTP、VRRP等協(xié)議，解決了傳統設備和鏈路只能工作在主/備模式和利用率低于50％的性能瓶頸。

　　因此，通過(guò)部署網(wǎng)絡(luò )虛擬化技術(shù)，可以有效地將超算業(yè)務(wù)的網(wǎng)絡(luò )可靠性提高一個(gè)級數，極大的保證用戶(hù)業(yè)務(wù)的連續性。同時(shí)，超算中心網(wǎng)絡(luò )的性能將以倍數級別靈活擴展，增強可靠性，簡(jiǎn)化配置，降低投入和維護成本。

　　5.超級計算組網(wǎng)方案的易用性設計

　　傳統的超算中心網(wǎng)絡(luò )結構異構復雜，接口不統一：前端網(wǎng)和管理網(wǎng)采用以太網(wǎng)；存儲網(wǎng)采用FC；計算網(wǎng)用Infiniband。這導致超算中心運行時(shí)協(xié)議轉換開(kāi)銷(xiāo)大、速率不匹配、存在性能瓶頸、開(kāi)發(fā)與部署周期長(cháng)、無(wú)法滿(mǎn)足業(yè)務(wù)快速靈活部署和性能需求的問(wèn)題。

　　超算中心網(wǎng)絡(luò )易用性解決方案就是一體化網(wǎng)絡(luò )設計方案，通過(guò)CEE（增強以太網(wǎng)）技術(shù)和標準IP協(xié)議融合前端、計算、存儲和管理四張網(wǎng)絡(luò )，消除網(wǎng)絡(luò )技術(shù)割裂所來(lái)的種種弊端?？梢杂行У暮?jiǎn)化網(wǎng)絡(luò )層次、輕松部署、降低TCO。

　　結束語(yǔ)

　　云計算是從網(wǎng)格計算演化來(lái)的，但并不等同于網(wǎng)格計算。網(wǎng)格計算（尤其是大規模的網(wǎng)格計算）對于網(wǎng)絡(luò )的要求很高。超算中心網(wǎng)絡(luò )設計方案需要滿(mǎn)足不同類(lèi)型的超級計算的需求，必須能極大的提高超級計算的性能、可靠性、易用性和安全等方面的指標。