嵌入式分布模塊控制系統與網(wǎng)絡(luò )的互連

3.與SAN相互連接的分布式系統

由于在分布式數據處理系統中，大量并行處理器受到總線(xiàn)的限制，所以可擴展一次性接口(SCI)就成為一個(gè)用于高級多處理器體系結構的最好的系統區域網(wǎng)絡(luò ) (SAN)而發(fā)展起來(lái)。隨后，第一個(gè)具有硬件一致性的基于SCI的高性能模塊化多處理器系統被開(kāi)發(fā)出來(lái)。根據多級物理模型，人們提出將用于高性?xún)r(jià)比系統的基于標準緊湊型PC (PC-board)和鏈路模塊(如Dolphin)的高級集成化實(shí)時(shí)系統高效SAN體系結構用于實(shí)驗物理研究中的高性能數據采集、控制和分布式數據處理。組建高性?xún)r(jià)比實(shí)時(shí)系統的一個(gè)最佳方法是使用工業(yè)計算機系統MB(ICS MB)、PC MB 或 cPCI/PXI，并根據實(shí)際的應用場(chǎng)合通過(guò)不同的拓撲連接到SAN中。

分布式并行數據處理模型包括對稱(chēng)多處理(SMP)、大規模并行處理(MPP)和機群系統(RMC和NUMA)。RMC(映射內存集群)是一個(gè)在節點(diǎn)和通信連接之間具有內存復制功能和內存傳輸機制的集群系統。

借助系統區域網(wǎng)絡(luò )(SAN)的鏈路模塊，分布式集成系統的高模塊化結構能夠支持分布式處理器和內存之間的高效交互作用。SAN包括以下幾個(gè)級：

1)核心級由一套內核處理器、存儲器、I/O控制器所組成，它們之間相互連接。與同一板上的片外存儲器相比，新型單芯片微型機具有更短的通信鏈路，更易訪(fǎng)問(wèn)和更短的數據傳輸時(shí)間。

2) 系統模型的緊湊型板結構的原子級(A模塊)包括用于特定目的和一般目的的處理器。用于數據采集和控制的最簡(jiǎn)高效實(shí)時(shí)　系統可以以具有單核、雙核或三核處理器的標準PC MB為基礎。在同一總線(xiàn)上，處理器模塊有數量限制。對稱(chēng)多處理(SMP)是用于多處理器的基本軟件模型。

3)分子級(宏觀(guān)結構)取決于系統拓撲結構。大量多處理器節點(diǎn)可以通過(guò)SAN(“大總線(xiàn)”模型)連接到大型(千處理器)系統中以支持分布式集成實(shí)時(shí)系統用于數據采集、控制和數據處理應用。

4)分布式系統的相互連接基于鏈路、橋接和開(kāi)關(guān)模塊(L模塊、B模塊和S模塊)。通信速度的成本比針腳和板空間的成本下降地更快。傳統的通信基于總線(xiàn)，這限制了處理器的數目。

一個(gè)可行的解決方案是在許多獨立的點(diǎn)對點(diǎn)連接上使用基于包的信號，這可以解決總線(xiàn)瓶頸的問(wèn)題，但也帶來(lái)了新的問(wèn)題——如何保持系統中共享內存模型的cache一致性。

處理器模塊之間的弱相互作用基于消息傳送(以太網(wǎng))。中級相互作用基于集群中使用的外部存儲設備(磁盤(pán)、磁帶)。處理器核之間的強相互作用基于直接讀取分布式存儲器，并在SCI上實(shí)現，SCI也支持處理器模塊之間的弱相互作用。SCI的強相互作用包括小包交易(有回顯地發(fā)送和響應分離的包)。包格式包括寫(xiě) xx、讀xx、移動(dòng)xx和鎖定命令，此處xx表示允許的數據塊長(cháng)度(數據字節數目，在數據包頭的右方)。

可擴展性是增強多處理器實(shí)時(shí)系統性能(與千處理器系統相連接)的一個(gè)問(wèn)題。

SAN架構的分布式存儲器模型能支持并行流水線(xiàn)數據處理(計算)作為SMP模型運行于單個(gè)地址空間。64位地址支持每個(gè)節點(diǎn)上的256T字節。

Cache 一致性支持分布式并行數據處理實(shí)時(shí)系統中所有處理器的數據可用性。實(shí)時(shí)系統包含有許多處理器，它們嘗試著(zhù)修改單個(gè)數據或與此同時(shí)將數據的備份保存到自己的 cache中。通過(guò)軟件或硬件實(shí)現的一致性阻止多處理器在同一時(shí)刻嘗試修改同樣的數據。硬件一致性支持高性能(高價(jià)格)而軟件一致性則提供了高性能(低價(jià)格)。

模塊化實(shí)時(shí)系統的拓撲結構應該基于一套精選過(guò)的模塊來(lái)發(fā)展系統以達到最優(yōu)化地解決確定問(wèn)題的目的。它應該是個(gè)具有矩陣探測器的用于數據采集的矩陣或是用于3D圖像的3D拓撲結構。在控制領(lǐng)域，系統應該需要有個(gè)類(lèi)似于大型機器(線(xiàn)性或環(huán)形)結構的拓撲。

基于SAN的分布式系統應該共享64位SCI地址，高16位用于在適當的節點(diǎn)轉發(fā)數據包。系統拓撲可以在簡(jiǎn)易環(huán)、多環(huán)、橋接或交換器的基礎上實(shí)現處理器之間的并行流水線(xiàn)的強相互作用。SCI基于點(diǎn)到點(diǎn)的連接并支持同一時(shí)間內所有處理器模塊的事務(wù)。商用Dolphin的L模塊提供了每秒800M字節的雙向 SCI連接用于移動(dòng)大量的具有小型應用-應用潛力(2.3毫秒)的分布式數據并且減少了用于多點(diǎn)應用的最好的可擴展性的節點(diǎn)控制信息。

基于網(wǎng)絡(luò )的分布式實(shí)時(shí)系統包括下面節點(diǎn)：連接到虛擬端(VS)的控制器端(CS)收集實(shí)時(shí)數據并輸出控制數據。具有一個(gè)以太網(wǎng)端口的簡(jiǎn)易CS基于具有兩個(gè) PCI插槽的緊湊型ICS MB用于數據采集和控制模塊。另一個(gè)端口用于擴展或另外的以太網(wǎng)連接。VS應該支持專(zhuān)業(yè)級的仿真、監測和測試。虛擬儀器和標準應用軟件基于基本的操作系統 (Windows、Linux)，借助于10/100M以太網(wǎng)，它們工作于連接到大量安裝有RTLinux的分布式CS的VS上。每個(gè)VS應該能夠達到多服務(wù)器級。

可擴展模塊化實(shí)時(shí)系統的聯(lián)合通用模型集成了基于相互連接的網(wǎng)絡(luò )(以太網(wǎng))和SAN(SCI)的數據采集、觸發(fā)和控制系統。對于控制技術(shù)領(lǐng)域中的工程系統來(lái)說(shuō)，具有兩個(gè)PCI插槽的緊湊型ICS MB (A模塊)和以太網(wǎng)是個(gè)不錯的平臺。而對于實(shí)驗物理領(lǐng)域中的高性能數據采集和觸發(fā)系統來(lái)說(shuō)，基于嵌入式cPCI/PXI且與SAN(SCI)相互連接的節點(diǎn)是個(gè)不錯的平臺。