片上網(wǎng)絡(luò )技術(shù)發(fā)展現狀及趨勢淺析

摘要：半導體制造工藝的快速發(fā)展使得片上可以集成更大規模的硬件資源，片上網(wǎng)絡(luò )的研究試圖解決芯片中全局通信問(wèn)題，使得從基于計算的設計轉變?yōu)榛谕ㄐ诺脑O計，并實(shí)現可擴展的通信架構。本文回顧和總結了現有NoC研究工作，指出NoC是當前片上通信發(fā)展的主流趨勢，并分析了當前NoC關(guān)鍵技術(shù)瓶頸，最后預測了多核的技術(shù)和產(chǎn)業(yè)發(fā)展趨勢。
關(guān)鍵詞：片上網(wǎng)絡(luò )（NoC）；存儲結構；并行軟件；功耗管理

引言

　　隨著(zhù)半導體工藝技術(shù)步入納米階段，在單一芯片中集成上億晶體管已經(jīng)成為現實(shí)，據ITRS（International Technology Roadmap for Semiconductors，國際半導體技術(shù)路線(xiàn)圖）預測（見(jiàn)表1），到2010年，單個(gè)芯片上的晶體管數目將達到22億個(gè)。如何有效地利用數目眾多的晶體管是芯片體系結構必須回答的新問(wèn)題。倘若因循單核的發(fā)展思路，芯片設計將面臨互連延遲、存儲帶寬、功耗極限等性能提升的瓶頸問(wèn)題。因此，業(yè)內普遍認識到，有必要研究新型的芯片體系架構以適應性能增長(cháng)和功耗下降同時(shí)發(fā)生這樣看似矛盾的需求。多核技術(shù)是一條可行之路。多核能夠用多個(gè)低頻率核單元產(chǎn)生超過(guò)高頻率單核的處理效能，獲得較佳的性?xún)r(jià)比。圍繞著(zhù)多核的一系列技術(shù)問(wèn)題業(yè)已成為近期芯片業(yè)研究的重點(diǎn)和未來(lái)的主要發(fā)展方向。

表1  ITRS預測表


　　按照不同的片上互連方式，多核SoC可分為兩大類(lèi)：傳統的基于總線(xiàn)的互連和基于網(wǎng)絡(luò )的互連。前者是現有SoC的擴展，通過(guò)多總線(xiàn)及層次化總線(xiàn)等技術(shù)使得片上集成更多的處理器核，從而實(shí)現高復雜度和高性能；而后者是近些年提出的嶄新的概念，即多處理器核之間采用分組路由的方式進(jìn)行片內通信，從而克服了由總線(xiàn)互連所帶來(lái)的各種瓶頸問(wèn)題，這種片內通信方式稱(chēng)為片上網(wǎng)絡(luò )（Network on a Chip，NoC）。

NoC概述

　　基本概念

　　NoC是指在單芯片上集成大量的計算資源以及連接這些資源的片上通信網(wǎng)絡(luò )，如圖1所示。NoC包括計算和通信兩個(gè)子系統，計算子系統（圖中由PE，Processing Element構成的子系統）完成廣義的“計算”任務(wù)，PE既可以是現有意義上的CPU、SoC，也可以是各種專(zhuān)用功能的IP核或存儲器陣列、可重構硬件等；通信子系統（圖中由Switch組成的子系統）負責連接PE，實(shí)現計算資源之間的高速通信。通信節點(diǎn)及其間的互連線(xiàn)所構成的網(wǎng)絡(luò )被稱(chēng)為片上通信網(wǎng)絡(luò )（On-Chip Network, OCN）[1-3]，它借鑒了分布式計算系統的通信方式，用路由和分組交換技術(shù)替代傳統的片上總線(xiàn)來(lái)完成通信任務(wù)。

圖1 典型的NoC結構示意圖


　　NoC技術(shù)優(yōu)勢分析

　　基于分組路由方式進(jìn)行片上通信的NoC在片上通信方式、功耗、基于重用的設計方法學(xué)、解決單一時(shí)鐘全局同步等方面都具有優(yōu)越性。

　　·有利于提高通訊帶寬

　　總線(xiàn)結構是現有芯片架構的通信脈絡(luò )，隨著(zhù)電路規模越來(lái)越大，總線(xiàn)結構將成為芯片設計的瓶頸：雖然總線(xiàn)可以有效地連接多個(gè)通信方，但總線(xiàn)地址資源并不能隨著(zhù)計算單元的增加而無(wú)限擴展；雖然總線(xiàn)可由多用戶(hù)共享，但一條總線(xiàn)無(wú)法支持一對以上的用戶(hù)同時(shí)通信，即串行訪(fǎng)問(wèn)機制導致了通信的瓶頸。此外，片上通信是功耗的主要來(lái)源，龐大的時(shí)鐘網(wǎng)絡(luò )與總線(xiàn)的功耗將占據芯片總功耗的絕大部分。

　　NoC的網(wǎng)絡(luò )拓撲結構提供了良好的可擴展性；NoC連線(xiàn)網(wǎng)絡(luò )提供了良好的并行通信能力，從而使得通信帶寬增加幾個(gè)數量級；此外，NoC將長(cháng)的互連線(xiàn)變成交換開(kāi)關(guān)之間互相連接的短連線(xiàn)，這對功耗控制變得極為有利；另一方面，NoC借鑒了通訊協(xié)議中的分層思想，這就為從物理級到應用級的全面功耗控制提供了可能。

　　·有利于提升重用設計

　　總線(xiàn)架構可擴展性和可重用性差，為此在芯片計算能力演變時(shí)，必須跟隨著(zhù)處理能力的需求而變更設計（如更高的內存寬度、更高的頻率、更靈活的同步或異步設計等等），每一代芯片的推出都伴隨著(zhù)程度不等的設計變更，這對于開(kāi)發(fā)人員而言是相當大的負擔。若是將通信架構獨立設計，并且運用更具彈性的技術(shù)，對于縮短設計周期、減少開(kāi)發(fā)成本都有不小的幫助。

　　由于NoC所使用的通信協(xié)議層本身屬于獨立的資源，因此提供了支持高效率可重用設計方法學(xué)的體系結構：現有規模的SoC可以基于片上通信協(xié)議作為計算節點(diǎn)“即插即用”于NoC的網(wǎng)絡(luò )節點(diǎn)；給定的互連拓撲結構使得芯片集成可以采用基于片上通信的設計方法（Communication-based Design，CBD）來(lái)完成。通信和計算完全分離的技術(shù)（也就是通信與計算的正交設計）將重用范圍從計算單元可重用擴展到計算與通信單元皆可重用的層次，從而大大提升了重用設計的水平。

　　·有利于解決全局同步的難題

　　納米工藝所帶來(lái)的各種物理效應使得片上全局同步越來(lái)越困難。當采用50nm工藝，時(shí)鐘頻率為10GHz時(shí)，全局線(xiàn)延遲將達6～10個(gè)時(shí)鐘周期，時(shí)鐘偏斜（Skew）變得難以控制，而時(shí)鐘樹(shù)又是影響芯片功耗和成本的一個(gè)主要因素。這些問(wèn)題，隨著(zhù)集成器件尺寸越來(lái)越小，時(shí)鐘頻率越來(lái)越高，將變得越來(lái)越突出。

　　NoC的片內網(wǎng)絡(luò )通信方式，資源之間的短線(xiàn)互連和天然的全局異步局部同步（GALS）時(shí)鐘策略等特性是解決這些問(wèn)題有效途徑。

　　總而言之，研究NoC設計方法和設計技術(shù)是滿(mǎn)足納米工藝條件下高集成度芯片發(fā)展的必然需求。

NoC設計空間

　　完整的NoC設計方法學(xué)包括很多方面的問(wèn)題，它們對NoC的發(fā)展都是至關(guān)重要的，且已經(jīng)引起了學(xué)術(shù)界的廣泛研究。Carnegie Mellon大學(xué)的U.Y. Ogras等人在文獻[4]中提出了NoC設計空間的概念并將NoC研究歸納為三大類(lèi)關(guān)鍵問(wèn)題：基礎架構、通訊機制和映射優(yōu)化，如圖2所示。

圖2  NoC設計空間示意圖


　　圖中，“Hard NoC”（網(wǎng)格部分）指基本架構確定，各PE節點(diǎn)的內容也固定的一類(lèi)NoC結構，其設計空間只是圖中一矩形部分，設計余度最??；“Firm NoC”（灰色陰影空間）指其基本架構已確定，網(wǎng)絡(luò )通道寬度與通訊節點(diǎn)緩存大小不確定，其他維度對設計者完全自由的一類(lèi)NoC結構，設計者可以根據確定的應用實(shí)現最優(yōu)的布圖規劃、通訊調度與任務(wù)分配算法、IP映射算法和路由交換解決方案，設計空間比較靈活；“Soft NoC”（白色立方體部分）指設計者需要根據應用來(lái)優(yōu)化NoC設計空間的所有問(wèn)題，設計靈活性最高，但設計難度和工作量也相應最大。

　　設計者根據給定的具體應用，依據應用特征圖（Application Characterization Graph，APCG），在時(shí)間、成本、技術(shù)儲備等約束條件下，首先按應用選擇基于哪類(lèi)NoC開(kāi)展設計；其次在該類(lèi)NoC的設計空間范圍內解決相應關(guān)鍵問(wèn)題，以探索最優(yōu)的NoC實(shí)現方案。

NoC關(guān)鍵技術(shù)難點(diǎn)

　　NoC關(guān)鍵技術(shù)主要包括系統建模、拓撲結構、路由方法、交換方法、緩存策略、服務(wù)質(zhì)量和映射優(yōu)化等，近年來(lái)都不同程度地取得研究進(jìn)展，而阻礙NoC走向大規模應用的瓶頸在于以下幾方面：

　　存儲結構問(wèn)題

　　Memory是NoC中十分重要的組件，在現有的片上多處理器系統中，存儲器占到70％的芯片面積，并且在不久的將來(lái)會(huì )上升到90％[5]；而從能耗的角度來(lái)看，存儲器所引入的功耗也可達系統功耗的90％[6]，這對芯片的散熱、封裝和可靠性等都帶來(lái)了嚴重的問(wèn)題；NoC系統需要大量的存儲元件，并被組織成復雜的存儲子系統（memory subsystem），這個(gè)存儲子系統將支持NoC的并行數據存儲、傳輸及交換。NoC中大量的存儲資源必將占用多個(gè)路由節點(diǎn)，且由于處理單元與存儲資源之間的數據交換非常頻繁，若在數據包傳輸路徑上路由節點(diǎn)數目過(guò)多，會(huì )帶來(lái)很大的通信延時(shí)。如何有效縮短源節點(diǎn)到目的節點(diǎn)間的距離對提高整個(gè)NoC系統性能十分關(guān)鍵。

　　再者，從通信帶寬的角度，隨著(zhù)工藝的進(jìn)步，計算訪(fǎng)存比進(jìn)一步增大，意味著(zhù)基于該結構獲得接近峰值性能的應用算法越少。這就引入了一系列問(wèn)題，如何讓眾多處理器核有足夠的數據可算？如何更充分地利用片上有限存儲空間實(shí)現核間共享，以避免片外訪(fǎng)存？如何充分利用有限訪(fǎng)存帶寬，盡量讓訪(fǎng)存通道優(yōu)先滿(mǎn)足處于關(guān)鍵路徑處理器核的訪(fǎng)問(wèn)請求？最近美國Sandia國家實(shí)驗室提出在多核處理器芯片上堆疊存儲芯片，來(lái)解決帶寬增長(cháng)不足的問(wèn)題，這或許是一種可行的方案。

　　總而言之，片上存儲結構已經(jīng)成為影響NoC性能的關(guān)鍵因素之一。

　　軟件并行化問(wèn)題

　　未來(lái)的基于多核的高性能處理芯片可能會(huì )遇到很多傳統的串行程序自動(dòng)并行化方法較難實(shí)施的應用。如果不能有效地利用NoC片上并行處理資源，則并行計算的實(shí)際性能將會(huì )很低，因此如何通過(guò)有效的方法和模型，充分地利用NoC的眾多處理單元，并極大地降低應用的開(kāi)發(fā)難度，便成為迫切需要解決的問(wèn)題。

　　與并行計算機發(fā)展過(guò)程中遇到的問(wèn)題相類(lèi)似，NoC并行處理體系結構所面臨的主要問(wèn)題是如何將應用中蘊含的不同層次、不同粒度的并行性有效地提取出來(lái)并映射到多核的并行硬件結構上去。這一問(wèn)題的解決涉及包括程序設計模型、程序設計語(yǔ)言、編譯系統及硬件支撐等在內的多個(gè)方面。

　　總體來(lái)說(shuō)，開(kāi)發(fā)并行程序可以有三種途徑，一是串行程序自動(dòng)并行化。這條路目前尚未走通，更為實(shí)際的目標應為人機交互的自動(dòng)并行化；二是設計全新的并行程序設計語(yǔ)言。這種方法的缺點(diǎn)是需要全部改寫(xiě)原有程序，對用戶(hù)來(lái)說(shuō)成本和風(fēng)險也很高，且效率不能保證。但是，隨著(zhù)多核的出現，若面向大眾推廣并行計算環(huán)境，就必須有一種新的容易被接受的程序設計語(yǔ)言。目前國際上正在研究的新興并行程序設計語(yǔ)言如IBM的X10、UPC（統一并行 C語(yǔ)言，C語(yǔ)言的擴展）和Titanmin（Java的擴展）等；第三條途徑就是串行語(yǔ)言加并行庫或偽注釋制導語(yǔ)句的擴展，也即增加一個(gè)庫或一些新的制導語(yǔ)句來(lái)幫助進(jìn)行消息傳遞和并行。這正是MPI和OpenMP所采取的途徑，也是目前比較容易被接受且性能較高的途徑。但其程序開(kāi)發(fā)效率很低，難度也比較大[7]。

　　功耗管理問(wèn)題

　　雖然NoC有助于提高芯片的能效（Energy-Efficiency），但不能忽視，由于多核系統片上集成規模的大幅度增加，功耗問(wèn)題依然突出。如何在NoC設計中提高能效，對眾多計算資源進(jìn)行調度管理以最大限度降低功耗依然是NoC設計所面臨的重要問(wèn)題之一。

　　從體系結構角度看，NoC主要包括處理器核、核間互連以及片上存儲三個(gè)主要部分。NoC的低功耗研究可以圍繞功耗評估，處理器核功耗優(yōu)化，片上網(wǎng)絡(luò )功耗優(yōu)化以及片上存儲功耗優(yōu)化這四個(gè)方面對各部分展開(kāi)，其中功耗評估是NoC低功耗設計的基礎。

　　功耗是導致包括NoC在內的多核技術(shù)出現的重要誘因，也是片上多處理器設計的重要制約因素。對于NoC的不同設計模塊和設計層次，都存在行之有效的降低功耗的方法，而這些方法又可能是互相牽制，互相影響的。因此需要貫穿NoC體系結構到電路工藝的各方面的豐富知識，才能在設計早期做出正確的多核架構的選擇[8]。一般而言，從越高的設計抽象層次入手考慮低功耗設計問(wèn)題，則可獲得的降低功耗的效率就越大。

NoC發(fā)展趨勢

　　技術(shù)發(fā)展趨勢

　　·向層次化眾核方向發(fā)展

　　微軟公司2007年6月在美國西雅圖召開(kāi)了第一個(gè)以ManyCore（眾核）為主題的研討會(huì )（Workshop），標志著(zhù)眾核設計已經(jīng)成為技術(shù)發(fā)展的趨勢和學(xué)術(shù)研究的熱點(diǎn)。

　　集成電路設計總是想方設法把現有的各種電子電路乃至計算系統集成到單一芯片上，因此計算機體系結構歷來(lái)是集成電路片上系統架構的參考體系。超級計算機是最強大的計算機，充分參考超級計算機的體系結構是設計多核處理器的基本思路。超級計算機體系架構的基本特征就是小核大陣列和層次化管理。無(wú)論是世界排名第一的Roadrunner（122400個(gè)核），還是排名第二的BlueGene/L（212992個(gè)核），如圖3所示，都是采用高性能、層次化、可擴展的巨大陣列，連接數目眾多的普通微處理器（小核）來(lái)保障最優(yōu)的性能。超級計算機告訴我們，小核大陣列和層次化管理必將成為眾核處理器的主流技術(shù)發(fā)展方向。

圖3  BlueGene/L的層次化陣列結構


　　·向三維NoC方向發(fā)展

　　ITRS 2007年版闡述了More Moore（延伸摩爾定律）和More than Moore（超越摩爾定律）兩個(gè)概念，如圖4所示，其中延伸摩爾定律是按照等比例縮小繼續走微細化的道路，而超越摩爾定律追求的是功能多樣化，并指出下一代SoC（NoC）與SiP技術(shù)融合的發(fā)展趨勢。

圖4  ITRS 2007年版摩爾定律詮釋圖


　　正如ITRS所預測，在工藝技術(shù)發(fā)展和設計技術(shù)需求的雙重驅動(dòng)下，三維集成（又稱(chēng)為系統級封裝，SiP）技術(shù)愈來(lái)愈受到學(xué)術(shù)界和工業(yè)界的關(guān)注和重視。NoC雖然克服了全局延遲過(guò)長(cháng)帶來(lái)的信號完整性及全局同步等一系列問(wèn)題，但并沒(méi)有在根本上解決縮短物理連線(xiàn)，減小信號時(shí)延的問(wèn)題。由于二維 NoC布局條件的限制，難以保證關(guān)鍵部件相鄰以縮短關(guān)鍵路徑長(cháng)度，而三維集成技術(shù)可把不同的器件層堆疊起來(lái)，不僅在真正意義上縮短了連線(xiàn)的長(cháng)度，并克服這種布局的限制。因此把NoC和三維集成這兩種設計技術(shù)融合起來(lái)的三維 NoC就顯得自然且引人。

　　三維NoC是在單個(gè)芯片上將資源節點(diǎn)（Resource）分布在不同的物理層上，并用三維立體架構實(shí)現資源間的互連，以構建高帶寬、低延時(shí)、低功耗的NoC系統。典型的三維Mesh結構NoC如圖5所示。三維 NoC是一個(gè)嶄新的研究話(huà)題，近兩年才在國際上被提出（最早一篇相關(guān)研究論文于2005年公開(kāi)發(fā)表[9]）。目前從事該領(lǐng)域研究的學(xué)術(shù)機構包括美國斯坦福大學(xué)、加州理工大學(xué)、賓州州立大學(xué)、華盛頓州立大學(xué)，瑞典皇家工學(xué)院、日本的Keio University，加拿大的不列顛哥倫比亞大學(xué)，以及Intel、Toshiba等大公司的研究中心?？梢?jiàn)，三維NoC已經(jīng)引起了國際上學(xué)術(shù)界和產(chǎn)業(yè)界的注意，很可能在未來(lái)幾年內發(fā)展成為一個(gè)重要的研究領(lǐng)域，并得到廣泛的關(guān)注。

圖5  三維NoC示意圖


　　產(chǎn)業(yè)發(fā)展趨勢

　　多核技術(shù)在產(chǎn)業(yè)界已有廣泛應用。從Intel、AMD、SUN、CISCO等國際老牌企業(yè)，到PicoChip（2000年成立）、Ambric（2003年成立）、Tilera（2004年成立）等新興公司，多核產(chǎn)品層出不窮；從超級計算機到PC機，從路由器等寬帶應用到多媒體等嵌入式市場(chǎng)，多核產(chǎn)品逐漸廣為人知。

圖6  多核技術(shù)市場(chǎng)容量圖（來(lái)自VDC Research）


　　VDC Research于2007年發(fā)表了《多核計算的嵌入式應用：全球市場(chǎng)機會(huì )與需求分析》。報告分析了多核技術(shù)從2006年到2011年的市場(chǎng)需求走勢，如圖6所示。圖中的縱軸是以2006年總值為單位1，其他年份與2006年相比多核產(chǎn)品市場(chǎng)總額的倍數關(guān)系。研究表明，多核技術(shù)到2011年，嵌入式應用領(lǐng)域的市場(chǎng)總額將超過(guò)2007年的6倍，超過(guò)2006的44倍。如此快速的增長(cháng)速度決定了我國不應該介入太晚，否則就只能再次走“產(chǎn)品跟蹤”的老路。

結語(yǔ)

　　包括NoC在內的多核技術(shù)是通用處理器技術(shù)升級的大方向已成為業(yè)內共識。多核技術(shù)是當代集成電路設計的戰略性技術(shù)，它以很低的功率消耗、較強的并行處理以及優(yōu)異的計算性能，征服了人們對集成電路性能的追求，“成為業(yè)界的重要里程碑”（Intel總裁語(yǔ)）。

　　先進(jìn)的NoC結構可以通過(guò)集成現有的百兆頻率核形成高性能多核處理器，大大降低了技術(shù)門(mén)檻，為中等設計公司帶來(lái)了機會(huì )，目前已有一批中等公司和新興公司在多核領(lǐng)域嶄露頭角，“國際寡頭”壟斷高性能處理器的格局正在發(fā)生變化。對我國現有設計能力而言，即使不能“一步登天”，但完全可以做到“所想即所得”，這亦為我國發(fā)展自主產(chǎn)權的高性能處理器產(chǎn)業(yè)提供了寶貴的契機。

參考文獻：

[1] Benini L，De Micheli G. Networks on chips: a new SoC paradigm[J]. IEEE Computer, Volume 35, pp. 70--78, January 2002
[2] Jantsch A, Tenhunen H. Networks on Chip[M]. Kluwer Academic Publishers, 2003
[3] Millberg M,Nilsson E, Thid R,Kumar S,Jantsch A.The Nostrum backbone-a communication protocol stack for networks on chip[R]. Proceedings of the VLSI Design Conference, January 2004
[4] Ogras U, Hu J, Marculescu R.Key Research Problems in NoC Design: A Holistic Perspective[J] Proc. Hardware-Software Co-Design and System Synthesis, (CODES+ISSS), September, 2005
[5] Pasricha S, Dutt N D. A Framework for Cosynthesis of Memory and Communication Architectures for MPSoC[C]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Volume 26,?Issue 3,?March 2007 Page（s）:408 – 420
[6] Kandemir M, Dutt N. Memory Systems and Compiler Support for MPSoC Architectures[J], Multiprocessor Systems-on-Chips, 2005P 251-281
[7] 張云泉.多核時(shí)代對軟件設計的挑戰[J].計算機世界報第23期,2007.6.18
[8] 張戈,張量,楊榮秋.納米級工藝下多處理器功耗評估與優(yōu)化技術(shù)[J].中國集成電路，2008年17卷7
[9] Liu C, Chen J H, Manohar R, Tiwari S. Mapping system-on-chip designs from 2-D to 3-D ICs [C]. IEEE International Symposium on Circuits and Systems, 2005. ISCAS 2005, 23-26 May 2005 Page（s）:2939 - 2942 Vol. 3