光子網(wǎng)格技術(shù)及應用

1引言

網(wǎng)格(grid)是20世紀90年代中期發(fā)展起來(lái)的一項技術(shù)，其標志性應用為全球范圍內的大規?？茖W(xué)計算(E-science)[1]。它將位于不同地理位置的科學(xué)儀器、高性能計算機、分布式數據庫、傳感器、遠程設備等組合起來(lái)，以解決復雜的科學(xué)問(wèn)題，如全球氣候模擬、高能物理、基因圖譜的測繪、核試驗模擬、新藥的研制、虛擬專(zhuān)家會(huì )診、大規模信息和決策支持系統等。網(wǎng)格技術(shù)使人們能夠共享計算資源、存儲資源和相關(guān)服務(wù)，因此它在天文、航空航天、交通、汽車(chē)制造、氣象、鋼鐵生成、核反應堆等諸多領(lǐng)域的科研計劃和產(chǎn)業(yè)發(fā)展中起著(zhù)至關(guān)重要的作用。

在網(wǎng)格應用中，傳感器、遠程設備、高性能計算機及可視化設備之間需要實(shí)時(shí)傳送terabyte甚至petabyte量級的海量數據，網(wǎng)絡(luò )在網(wǎng)格應用中占有十分重要的地位。傳統互聯(lián)網(wǎng)無(wú)法提供低延時(shí)保證下海量數據的高速傳輸，同時(shí)其盡力而為的服務(wù)方式無(wú)法滿(mǎn)足用戶(hù)的QoS要求。因此，構建在傳統互聯(lián)網(wǎng)上的網(wǎng)格應用存在著(zhù)諸多的局限性，如數據傳輸速度慢、可靠性差、用戶(hù)交互性差、使用界面不夠友善等，極大地影響了應用系統的效率。

光子網(wǎng)格（opticalgrid）是近年來(lái)在上述背景下發(fā)展起來(lái)的一種新興技術(shù)[2~3]。其基本思想是將分布在不同地理位置的高性能并行計算機、計算機集群、大型存儲設備、高清晰顯示設備、大型科學(xué)儀器以及各種類(lèi)型的個(gè)人計算機、服務(wù)器等通過(guò)光網(wǎng)絡(luò )相互關(guān)聯(lián)起來(lái)。由于光網(wǎng)絡(luò )具有大帶寬、高度透明、低延時(shí)、低成本、高可靠性和動(dòng)態(tài)帶寬調整能力，因此光子網(wǎng)格在滿(mǎn)足用戶(hù)共享網(wǎng)格信息資源的同時(shí)，還可為網(wǎng)格應用提供海量數據的快速傳輸、高可靠性管理及資源的靈活調度和控制。

光子網(wǎng)格網(wǎng)絡(luò )的實(shí)施，可突破網(wǎng)格應用中的網(wǎng)絡(luò )瓶頸問(wèn)題，使網(wǎng)格用戶(hù)能夠與高端計算資源保持同步并維持令人滿(mǎn)意的互動(dòng)功能，從而加速應用領(lǐng)域的科研進(jìn)程，促進(jìn)相關(guān)產(chǎn)業(yè)的發(fā)展。另一方面，光子網(wǎng)格的實(shí)施，使得高性能計算資源、存儲資源及科學(xué)儀器的擁有者能夠更有效地拓展應用市場(chǎng)，提高資源的利用率。由此可見(jiàn)，光子網(wǎng)格是使網(wǎng)格應用真正走向實(shí)用的可行技術(shù)。

2 光子網(wǎng)格產(chǎn)生的背景

近年來(lái)，隨著(zhù)大規?？茖W(xué)計算應用的不斷發(fā)展，其對計算機處理能力、存儲能力及高性能可視化的要求在不斷增加。計算機處理或存儲能力受技術(shù)及成本等因素的制約，為每個(gè)用戶(hù)配備高性能計算、存儲及可視化設備既不經(jīng)濟也不現實(shí)。一種可行的解決方法是將計算及存儲任務(wù)分配給不同的計算機，通過(guò)共享不同研究機構的計算、存儲及可視化資源來(lái)實(shí)現大規?？茖W(xué)計算及可視化應用。這種方法可以有效地節省成本，提高資源的利用率。
與此同時(shí)，當今科學(xué)計算問(wèn)題的復雜性在不斷增加，它需要不同領(lǐng)域、不同國家的科學(xué)家共同協(xié)作才能取得突破性的成果。因此，必須構建一個(gè)高速網(wǎng)絡(luò )將這些科學(xué)研究工作者、高性能計算及存儲設備、高精密儀器及可視化設備關(guān)聯(lián)起來(lái)，實(shí)現不同地理位置之間海量數據的高效傳送。上述應用導致了對網(wǎng)絡(luò )的連通性及帶寬要求的不斷增加。

光纖及光網(wǎng)絡(luò )傳輸設備的大范圍敷設及廣泛應用為互聯(lián)高性能計算機、大型存儲設備、高清晰顯示設備及大型科學(xué)儀器提供了可能。目前，在10Gbit/s及更高速率上，與IP交換機相比，光交換機具有更低的功耗和成本。光網(wǎng)絡(luò )可以提供低成本、高帶寬、高可靠性光連接，已被絕大多數研究機構甚至一些個(gè)人用戶(hù)所接受。

光子網(wǎng)格即是在上述背景下產(chǎn)生的，它通過(guò)光網(wǎng)絡(luò )將終端用戶(hù)、計算、存儲等資源關(guān)聯(lián)起來(lái)，從而實(shí)現遠程海量數據的高速傳輸。

3光子網(wǎng)格研究的關(guān)鍵問(wèn)題

光子網(wǎng)格不等于簡(jiǎn)單地用光網(wǎng)絡(luò )來(lái)提供大數據傳輸。要有效地支持網(wǎng)格應用，傳統的光通信網(wǎng)絡(luò )及網(wǎng)格技術(shù)面臨著(zhù)一系列的挑戰。

首先，要支持網(wǎng)格應用，需要為大量的用戶(hù)和終端設備提供從Mbit/s至Tbit/s量級的傳輸帶寬。用戶(hù)對帶寬的請求具有突發(fā)性、并行性、大規模、多種粒度并存的特點(diǎn)，而光網(wǎng)絡(luò )的帶寬資源及網(wǎng)格的計算與存儲資源均是有限的。很顯然，為每個(gè)用戶(hù)任務(wù)提供專(zhuān)用的光通路既不經(jīng)濟也不現實(shí)。因此，光通信系統需要支持不同類(lèi)型、多粒度、突發(fā)性帶寬需求，具有按需分配帶寬的能力；提供組播和廣播能力；同時(shí)，系統為滿(mǎn)足應用需求，還需要為用戶(hù)或應用提供自組織、自管理和自控制分布式網(wǎng)絡(luò )資源的能力，支持靈活、快速的通道建立。

其次，網(wǎng)格應用不同于通信網(wǎng)絡(luò )上的點(diǎn)到點(diǎn)通信業(yè)務(wù)，它具有分布式、多任務(wù)流的工作特點(diǎn)，多個(gè)任務(wù)可以分配至不同的計算資源上并行運行，不同的任務(wù)分配方式會(huì )導致不同的光網(wǎng)絡(luò )資源分配方式。即使計算資源分配方案是確定的，由于光通道源、宿節點(diǎn)對之間可以有不同的路由選擇，因此光網(wǎng)絡(luò )資源將有不同的調度方案。而不同的任務(wù)分配方法又會(huì )導致不同的任務(wù)完成時(shí)間。因此，要在給定的限制條件下高效地完成一個(gè)給定的業(yè)務(wù)，系統必須支持大規模的分布式并行網(wǎng)絡(luò )服務(wù)，必須合理地描述各業(yè)務(wù)流程之間的相互關(guān)系，并通過(guò)一種全新的方式來(lái)協(xié)同調度計算資源及光網(wǎng)絡(luò )資源，否則將直接導致系統運行效率及資源利用率的降低。

再者，目前網(wǎng)格計算在完成資源發(fā)現、任務(wù)調度的過(guò)程中，通常不考慮網(wǎng)絡(luò )資源的限制及可用性，并且缺少從網(wǎng)絡(luò )中獲取可用的網(wǎng)絡(luò )資源信息的發(fā)現機制。而在實(shí)際應用中，網(wǎng)絡(luò )資源是一個(gè)影響系統效率和應用功效的重要因素。因此，必須尋找一種新的資源描述、資源發(fā)現及資源更新機制，以實(shí)現對計算資源和網(wǎng)絡(luò )資源的統一管理和合理利用。

最后，網(wǎng)格應用的多業(yè)務(wù)流、大數據量特性要求通信網(wǎng)絡(luò )具有更高的安全性及數據正確性保證。雖然網(wǎng)格具有一定的容錯機制，網(wǎng)絡(luò )也具有一定的保護/恢復能力，但是如何根據用戶(hù)的QoS需求，通過(guò)光網(wǎng)絡(luò )和網(wǎng)格的協(xié)同操作來(lái)實(shí)現更高級別的系統容錯，以保證網(wǎng)絡(luò )的安全性及網(wǎng)格用戶(hù)與通信網(wǎng)絡(luò )接口的安全性，也是需要解決的問(wèn)題。
針對上述關(guān)鍵問(wèn)題，國內外研究機構及相關(guān)學(xué)者就光子網(wǎng)格及其應用重點(diǎn)從以下幾個(gè)方面開(kāi)展了研究。

·光子網(wǎng)格體系結構及實(shí)現技術(shù)：重點(diǎn)研究建造光子網(wǎng)格的技術(shù)、光子網(wǎng)格的基本組成與功能、光子網(wǎng)格各組成部分的相互關(guān)系、各部分集成的方式或方法以及它們與網(wǎng)格應用之間的相互關(guān)系。

本文引用地址：http://dyxdggzs.com/article/201706/353758.htm

·控制與管理協(xié)議：重點(diǎn)研究光子網(wǎng)格的控制及管理機制，包括用戶(hù)網(wǎng)絡(luò )接口、計算資源調用及控制機制、光網(wǎng)絡(luò )突發(fā)帶寬的動(dòng)態(tài)調用及調整、信令和路由協(xié)議、域間和層間控制協(xié)議、光子網(wǎng)格中間件的接口技術(shù)及實(shí)現方法等。

·光子網(wǎng)格資源發(fā)現及調度機制：重點(diǎn)研究光子網(wǎng)格環(huán)境下網(wǎng)格信息資源和光網(wǎng)絡(luò )資源的描述、注冊、發(fā)布、更新、服務(wù)部署、資源發(fā)現和資源調度機制，并在此基礎上研究不同工作模式下網(wǎng)格信息資源與光網(wǎng)絡(luò )資源的協(xié)同優(yōu)化調度機制、實(shí)現算法及性能指標分析。

·光子網(wǎng)格容錯及安全訪(fǎng)問(wèn)機制：重點(diǎn)研究光子網(wǎng)格權限管理機制、用戶(hù)身份認證技術(shù)以及跨域調度的安全和權限管理技術(shù)，研究在光子網(wǎng)格發(fā)生光纖鏈路中斷、設備節點(diǎn)故障、服務(wù)器宕機或服務(wù)程序中斷情況下，如何設立不同等級的容錯策略，在保障數據傳輸的準確性和及時(shí)性的同時(shí)，使用戶(hù)察覺(jué)不到系統故障，以滿(mǎn)足不同用戶(hù)的QoS要求。

·業(yè)務(wù)模型及應用實(shí)驗：重點(diǎn)研究多種網(wǎng)格應用模型下業(yè)務(wù)類(lèi)型的分類(lèi)和整理方法，對不同類(lèi)型業(yè)務(wù)，根據用戶(hù)的QoS要求，制訂不同的業(yè)務(wù)等級機制，給出不同類(lèi)型、不同等級下業(yè)務(wù)工作流的描述方法，并提供一種輔助用戶(hù)進(jìn)行流程定義、生成描述文件的可視化工具，在此基礎上針對高性能計算及可視化、大規模協(xié)同設計、實(shí)時(shí)數據傳輸等典型應用，探討多業(yè)務(wù)應用模式下光子網(wǎng)格的實(shí)現技術(shù)、應用流程和發(fā)展前景。

由此可見(jiàn)，構建一個(gè)新型的網(wǎng)絡(luò )架構，集成網(wǎng)絡(luò )、網(wǎng)格信息資源和服務(wù)，實(shí)現對終端用戶(hù)、網(wǎng)絡(luò )資源和網(wǎng)格信息資源的協(xié)同管理，無(wú)論在理論研究或實(shí)際應用中都存在很多問(wèn)題有待進(jìn)一步探討。

4光子網(wǎng)格研究進(jìn)展

目前，國內外相關(guān)機構已在光子網(wǎng)格領(lǐng)域開(kāi)展了一系列研究工作，具有代表性的研究計劃或項目包括：

·美國的OptiPuter項目[4]，它通過(guò)多個(gè)波長(cháng)來(lái)互連計算機集群系統、可視化及協(xié)同操作工具，并通過(guò)擴展的GMPLS協(xié)議及接口實(shí)現對光網(wǎng)絡(luò )的控制；

·由日本和美國合作研究的G-lambda項目[5]，其目的是在網(wǎng)格資源調度器（gridresourcescheduler，GRS)和網(wǎng)絡(luò )資源管理（network resource management，NRM）系統之間建立一個(gè)標準的Web服務(wù)接口(GNS-WSI)，以保證GRS和NRM之間信息的協(xié)同交互，并在此基礎上實(shí)現動(dòng)態(tài)跨域連接的建立及相關(guān)應用；

·加拿大CA*net4研究網(wǎng)絡(luò )的UCLP（usercontrolled lightpath）計劃[6]，其目標是倡導“用戶(hù)使能的網(wǎng)絡(luò )”，旨在為用戶(hù)提供動(dòng)態(tài)分配網(wǎng)絡(luò )資源的功能，授予用戶(hù)更大的能力革新基于網(wǎng)絡(luò )的應用；

·歐盟的Phosphorus項目[7]，其目的是設計和實(shí)現一種新的網(wǎng)絡(luò )服務(wù)平面結構，以提供網(wǎng)格網(wǎng)絡(luò )服務(wù)，實(shí)現對網(wǎng)絡(luò )和非網(wǎng)絡(luò )（計算、存儲）資源的集成管理。

與此同時(shí)，國際標準化組織，如互聯(lián)網(wǎng)工程任務(wù)組（IETF）、分布式管理任務(wù)組（DMTF）、開(kāi)放網(wǎng)格論壇（OGF），就網(wǎng)格計算的網(wǎng)絡(luò )應用和編程環(huán)境、體系結構、數據管理、信息系統和性能、P2P、調度和資源管理以及安全等問(wèn)題開(kāi)展了一系列研究。OGF的網(wǎng)格高性能網(wǎng)絡(luò )（gridhighperformancenetwork，GHPN）研究組已提出多個(gè)協(xié)議草案，如面向網(wǎng)格的光網(wǎng)絡(luò )基礎結構（draft-ggf-ghpn-opticalnets-2）、網(wǎng)格基礎結構的聯(lián)網(wǎng)問(wèn)題（draft-ggf-ghpn-netissues-4）、傳送協(xié)議綜述（draft-ggf-ghpn-transportsurvey-1）、網(wǎng)格網(wǎng)絡(luò )服務(wù)的用例（draft-ggf-ghpn-netservices-usecases）和網(wǎng)格網(wǎng)絡(luò )服務(wù)（draft-ggf-ghpn-netservices-2）以及網(wǎng)格光突發(fā)交換網(wǎng)絡(luò )（draft-ggf-ghpn-GOBS）等。全球光網(wǎng)格論壇（GLIF）也在近期就光網(wǎng)絡(luò )控制平面及網(wǎng)格網(wǎng)絡(luò )接口技術(shù)啟動(dòng)了一系列的標準化研究工作。

此外，一些企業(yè)（如HP、IBM、Intel等）也在大力開(kāi)展光子網(wǎng)格相關(guān)技術(shù)及應用研究（如云計算、云存儲等），他們在世界各地正在投巨資建立數據中心，這些都對光子網(wǎng)格技術(shù)及應用起到了或多或少的推動(dòng)作用。

中國也對光子網(wǎng)格技術(shù)給予了高度重視，國家“863”計劃、國家自然科學(xué)基金已設立多個(gè)項目開(kāi)展了相關(guān)技術(shù)的研究，目前一些重要的研究技術(shù)包括：光網(wǎng)絡(luò )集成計算環(huán)境[8,9]、網(wǎng)格與網(wǎng)絡(luò )資源協(xié)同調度[10,11]、光子網(wǎng)格容錯技術(shù)等[12]。

目前常見(jiàn)的光子網(wǎng)格體系結構主要有：基于密集波分復用、暗光纖和低成本光交換機的波長(cháng)網(wǎng)格；基于光突發(fā)交換網(wǎng)絡(luò )（OBS）的網(wǎng)格；基于自動(dòng)交換光網(wǎng)絡(luò )（ASON）的網(wǎng)格。圖1所示為典型的基于A(yíng)SON的光子網(wǎng)格體系結構。

該體系結構框架分成3個(gè)層次。第1層為應用層，包括所有運行在光子網(wǎng)格上的分布式應用。第2層為服務(wù)層，是該體系結構的實(shí)體，包括工作流和網(wǎng)格中間件兩個(gè)部分。工作流封裝多種不同的應用業(yè)務(wù)并對外發(fā)布服務(wù)。網(wǎng)格中間件負責向下調度、封裝資源，具有資源監控、資源發(fā)現、資源調度、容錯及安全控制等多種功能。第3層為物理資源層，它分為兩個(gè)部分:一部分為傳統的網(wǎng)格信息資源，包括計算資源、存儲資源、顯示設備等；另一部分為光子網(wǎng)格特有的資源，包括端口資源、節點(diǎn)資源、鏈路帶寬資源、光路資源等。

其基本工作流程為：首先，服務(wù)層通過(guò)相關(guān)接口獲取物理資源層的相關(guān)信息；當服務(wù)層接收到應用層的用戶(hù)請求時(shí)，它調用資源管理和調度模塊，將計算、存儲、顯示等任務(wù)分配至不同的可用資源上，當需要進(jìn)行數據傳送時(shí)，調用光網(wǎng)絡(luò )的控制平面，動(dòng)態(tài)地建立光通道連接。通過(guò)上述步驟，可有效地實(shí)現資源的最優(yōu)化利用并最大限度地滿(mǎn)足用戶(hù)的QoS需求。

5光子網(wǎng)格技術(shù)的應用

眾所周知，E-science對很多領(lǐng)域的科研計劃和產(chǎn)業(yè)發(fā)展起著(zhù)至關(guān)重要的作用，例如：天文領(lǐng)域中的行星流體與磁流體動(dòng)力學(xué)計算；新一代無(wú)毒、無(wú)污染運載火箭的計算和仿真；飛機設計中數值風(fēng)洞、載荷疲勞計算；汽車(chē)制造中的虛擬制造、整車(chē)空氣動(dòng)力學(xué)設計；鋼鐵生產(chǎn)中鋼板碰撞性能計算、鋼管成型仿真分析；核反應堆堆芯熱工水力分析、核反應堆保護和控制分析、核級設備應力分析與抗震力學(xué)分析等。在這些應用中，位于不同區域的用戶(hù)需要共享數據資源、進(jìn)行大規模協(xié)同計算和分析并實(shí)現大數據流的數據交互和傳送。

一個(gè)典型的光子網(wǎng)格應用實(shí)例是歐洲原子能研究機構CERN開(kāi)展的高能物理實(shí)驗，它的目標是處理大型粒子對撞機源源不斷產(chǎn)生的petabyte量級實(shí)驗數據。這些數據的分析和處理超出了目前世界上任何一臺超級計算機或集群系統的能力，因此，CERN計算機中心負責將這些數據通過(guò)高速網(wǎng)絡(luò )分配給歐洲、北美、日本等國的區域中心，后者再將任務(wù)進(jìn)一步分解到物理學(xué)家的桌面上，通過(guò)不同區域物理學(xué)家的計算和協(xié)同分析來(lái)共同完成相關(guān)實(shí)驗。目前，已有位于世界60多個(gè)國家和地區的近萬(wàn)名科學(xué)家參加到該實(shí)驗中，不同區域間采用的是10Gbit/s的光網(wǎng)絡(luò )通道進(jìn)行數據交互和傳輸。

另一個(gè)應用例子是實(shí)時(shí)甚長(cháng)基線(xiàn)干涉測量法（electronic-verylongbaselineinterferometry，e-VLBI）應用。e-VLBI是采用網(wǎng)絡(luò )將天文望遠鏡的觀(guān)測數據實(shí)時(shí)傳送到數據處理中心進(jìn)行處理的射電干涉技術(shù)。它在航天器精密跟蹤、航天測控、精密時(shí)間比對、深空觀(guān)測、人造地球衛星、月球探測器、太陽(yáng)系行星際探測器等領(lǐng)域均有重要的科學(xué)意義和實(shí)用價(jià)值。在下一代e-VLBI系統中，其觀(guān)測站的射電望遠鏡的采樣速率將達到10 Gbit/s，數據處理中心的數據匯聚速率將達到40 Gbit/s，數據需要從位于偏遠地區的觀(guān)測站通過(guò)超長(cháng)距離的高速光網(wǎng)絡(luò )實(shí)時(shí)傳送至數據處理中心進(jìn)行相關(guān)處理。面對上述應用需求，歐洲、美國、日本、韓國、澳大利亞等國的科學(xué)家正在開(kāi)展一系列基于高速光網(wǎng)絡(luò )的e-VLBI技術(shù)研究，如歐洲EXPRES研究計劃和東亞e-VLBI研究計劃。美國自然科學(xué)基金資助的GRAGON研究項目也針對e-VLBI應用就光通路動(dòng)態(tài)建立、大文件數據傳輸等進(jìn)行了相關(guān)研究及現場(chǎng)實(shí)驗[13]。

光子網(wǎng)格可以突破E-science應用的網(wǎng)絡(luò )瓶頸，使得高性能計算廣泛應用成為現實(shí)，用戶(hù)和用戶(hù)之間、用戶(hù)和高性能計算機之間可方便、實(shí)時(shí)地實(shí)現數據交換和信息互動(dòng)，這些將加速用戶(hù)的科研進(jìn)程，促進(jìn)相關(guān)產(chǎn)業(yè)的發(fā)展，給科研工作者及高性能計算資源的擁有者帶來(lái)光明的前景。

光子網(wǎng)格可用來(lái)管理分布在各地的貴重儀器，通過(guò)提供遠程訪(fǎng)問(wèn)儀器設備的手段，可提高儀器的利用率，大大方便用戶(hù)的使用。同時(shí)，它還可以用于構造網(wǎng)絡(luò )化虛擬現實(shí)環(huán)境，實(shí)現對高性能計算結果或數據庫的可視化，使分布在各地的使用者能夠在相同的虛擬空間協(xié)同工作。該環(huán)境可以廣泛應用于交互式科學(xué)可視化、醫療、教育、訓練、藝術(shù)、娛樂(lè )、工業(yè)設計、信息可視化等許多領(lǐng)域，如遠程醫療、遠程教學(xué)、虛擬歷史博物館、協(xié)同學(xué)習環(huán)境等。

從上述分析可以看出，光子網(wǎng)格具有廣闊的應用前景。光子網(wǎng)格代表著(zhù)光傳送網(wǎng)發(fā)展的一個(gè)方向，體現了網(wǎng)絡(luò )和業(yè)務(wù)應用融合的一個(gè)大趨勢。光子網(wǎng)格技術(shù)及應用體系研究將有助于推動(dòng)網(wǎng)格應用的發(fā)展和光網(wǎng)絡(luò )技術(shù)的進(jìn)步?？梢灶A見(jiàn)，光子網(wǎng)格具有十分重要的理論研究?jì)r(jià)值和社會(huì )意義，同時(shí)有著(zhù)廣闊的市場(chǎng)應用前景，在經(jīng)濟建設和社會(huì )發(fā)展中將起著(zhù)極為重要的作用。