針對Flash存儲特性的航天器大容量固態(tài)存儲技術(shù)

隨著(zhù)航天任務(wù)的不斷豐富、航天探測技術(shù)的不斷提高(如探測器種類(lèi)增多，相機分辨率提高等)，中國空間站等重大戰略規劃的逐步實(shí)施，空間科技數據的采集速度與存儲總量需求大幅度攀升，對存儲器的容量、吞吐速率、數據管理提出了更高的要求。

目前航天器所攜帶的固態(tài)存儲器的基本存儲介質(zhì)以SDRAM和Flash為主，Flash讀寫(xiě)速度較SDRAM慢、操作復雜，但因為基礎工藝的區別，Flash的存儲密度遠遠超過(guò)RAM系列產(chǎn)品，不需要刷新，功耗低，并且擁有非易失存儲特性，在重量、功耗、可靠性極其敏感的航天應用上，Flash將保持巨大的生命力和發(fā)展潛力。

基于Flash的存儲系統主要有固態(tài)硬盤(pán)和介質(zhì)直接管理兩種方式。前者目前廣泛應用在筆記本、服務(wù)器等商用領(lǐng)域，在存儲設備內部，通過(guò)FTL(flash transition Layer，閃存轉換層)的轉換，可處理SATA命令，但在硬件接口及軟件系統方面照搬傳統磁盤(pán)管理技術(shù)，對存儲特性利用并不充分：硬件SATA接口標準無(wú)法滿(mǎn)足Flash存儲系統性能要求，成為瓶頸;以文件系統為代表的數據管理策略，大都考慮磁盤(pán)環(huán)境進(jìn)行優(yōu)化，Flash的優(yōu)勢無(wú)法充分體現。航天級應用需要采用介質(zhì)直接管理的方式，針對Flash存儲特性，從底層進(jìn)行硬件結構設計，在滿(mǎn)足任務(wù)的容量、速度、容錯等關(guān)鍵需求的同時(shí)，盡量降低系統復雜度，逐步實(shí)現數據有效管理策略。

1 Flash器件的存儲特性介紹

本文以3D—PLUS公司的NAND型32Gbits(4G×8)Flash疊裝模塊作為存儲介質(zhì)為例，介紹Flash存儲特性。

1.1 并行性

該模塊由8片4G位(512Mbits×8)SAMSUNG公司的NAND Flash芯片疊裝而成，公用對外的8位寬I/O總線(xiàn)。該Flash芯片每2K字節的主存儲區(Main Array)外加64字節的空余區(Spare Array)組成一頁(yè)(Page)，64頁(yè)組成一個(gè)塊(Block)，4096塊組成一個(gè)器件(Device)。

由于Flash存儲模塊的指令與數據公用I/O端口，對時(shí)序要求較為嚴格，但從應用的角度來(lái)看，由于各組I/O之間無(wú)依賴(lài)性，非常容易實(shí)現并行擴展。3D plus公司提供的存儲模塊通過(guò)簡(jiǎn)單的片選邏輯，即可封裝多個(gè)Flash存儲芯片。在航天實(shí)際任務(wù)應用中，我們也可以方便的通過(guò)并行總線(xiàn)技術(shù)，進(jìn)行擴展，提高速度、提高容量。

1.2 最小操作單位及編程時(shí)間

寫(xiě)操作最小單位為“頁(yè)”。寫(xiě)FLASH的過(guò)程分為兩步，首先將命令、地址以及數據以字節方式寫(xiě)入芯片內部緩存(也就是“加載”，最快周期為50 ns)后，芯片內部需要一個(gè)內部編程的過(guò)程，才可以確定編程是否成功。典型時(shí)間tPROG為300μs，最大700μs。在編程過(guò)程中，芯片不響應外部命令，極大的降低了Flash的寫(xiě)入速度，是Flash應用的難點(diǎn)之一。

讀操作通常也是以頁(yè)為單位進(jìn)行，但相對靈活些，也可以通過(guò)在輸入地址過(guò)程中直接定位某一字節讀取。在輸入命令和地址后，需要一個(gè)等待時(shí)間tR后才可以將數據通過(guò)讀脈沖讀出。tR最大值為25μs。擦除操作必須以“塊”為單位進(jìn)行，每次必須同時(shí)擦除一個(gè)塊內的全部64頁(yè)的數據。在擦除的命令和地址輸入后，需要等待時(shí)間tBERS后才可以確定擦除是否成功。tBERS的典型時(shí)間為2 ms，最大為3 ms。

1.3 無(wú)效塊

NAND型FLASH芯片的特點(diǎn)是在出廠(chǎng)時(shí)就存在一定比例的無(wú)效塊(Invalid Block)，在芯片的使用過(guò)程中，有可能還會(huì )有新的無(wú)效塊產(chǎn)生，具體表現為在編程或擦除過(guò)程中出現編程失敗或擦除失敗的情況。對無(wú)效塊的讀操作是允許的，但由于對無(wú)效塊的寫(xiě)和擦除操作應盡量避免。壞塊隨機分布，難以從工藝上根本消除。

2 航天存儲系統設計及應對技術(shù)措施

2.1 系統設計

文中以3D—PLUS公司的NAND型32Gbits(4Gbx8)Flash疊裝模塊作為存儲介質(zhì)，介紹航天實(shí)際應用的Flash存儲128Gbits容量方案。存儲控制采用FPGA集成全部控制模塊，負責系統工作流程執行和狀態(tài)維護。

在每次系統重新加電后，硬件電路將自動(dòng)遍歷整個(gè)存儲區的簇使用記錄信息，每64簇的簇使用信息組成一條塊信息，全部塊信息構成“塊分配表”，即BAT(Block Assignment Table)，包含Flash的當前使用信息，作為存儲狀態(tài)控制的依據。硬件初始化結束后，BAT表送往計算機內存，計算機軟件在完成對CPU初始化設置后，進(jìn)入常規任務(wù)管理，包括數據存儲、數據回放、數據讀取、數據擦除。FPGA與計算機通過(guò)

HPI總線(xiàn)通訊，計算機主板通過(guò)CAN總線(xiàn)與上位機通訊，實(shí)現指令遙控遙測等功能。存儲控制實(shí)現以硬件為主，與地面通訊交互功能以軟件為主。

為了保證存儲數據可靠，實(shí)際應用中在存儲控制模塊中對存儲數據進(jìn)出Flash存儲介質(zhì)的端口進(jìn)行RS編譯碼，有效檢錯、糾錯，避免單粒子翻轉造成存儲數據錯誤，并提交檢糾錯信息至遙測工程參數。系統擁有回復出場(chǎng)初始化的命令，當檢測到存儲系統出現較為嚴重的異常時(shí)可以恢復存儲系統至出場(chǎng)狀態(tài)。同時(shí)可以增加存儲電路板備份板，由復接器控制冷備或者熱備，提高系統可靠性。

2.2 并行總線(xiàn)技術(shù)和“簇”的概念

疊裝模塊包含8片Flash芯片，公用對外的8位寬I/O總線(xiàn)。128 Gbits配置的存儲區模塊由4個(gè)Flash疊裝模塊構成，將4片Flash控制總線(xiàn)、狀態(tài)總線(xiàn)互連，而I/O總線(xiàn)擴展為32位，其中4片Flash的8位寬I/O總線(xiàn)分別對應32位總線(xiàn)的不同數據位段。即4片并行的FLASH芯片相同地址的頁(yè)被看作一個(gè)基本單位，即“簇”，因此1“簇”的基本存儲空間為2 kx32 bits。經(jīng)擴展后，一簇容量為64 kbits，64簇組成一個(gè)塊(Block)。

4倍總線(xiàn)擴展的系統操作速度將提高為原來(lái)的4倍。同時(shí)可以非常簡(jiǎn)單的進(jìn)行更多的擴展，但考慮到控制總線(xiàn)的驅動(dòng)負載能力，更多的并行擴展可能帶來(lái)時(shí)鐘沿建立時(shí)間不穩定，可以使用總線(xiàn)驅動(dòng)器增強驅動(dòng)負載能力。

2.3 流水線(xiàn)技術(shù)

為了提高系統的存儲速度，根據FLASH芯片的操作特點(diǎn)，在對存儲區模塊寫(xiě)入時(shí)還將采用流水線(xiàn)操作的方式。將多片FLASH分成若干組，每次加載(寫(xiě))一頁(yè)的數據到一組Flash芯片后，該組芯片總要有大約300μs的內部編程時(shí)間，在此期間盡管不能對該組芯片進(jìn)行其它操作，但可以立即進(jìn)行另一組芯片的加載。如果采用16 MHz的寫(xiě)時(shí)鐘(周期62.5 ns)，加載2k數據的時(shí)間大約為130μs左右，當第4組芯片加載完畢后，第一組芯片的編程過(guò)程通常已經(jīng)結束，待系統確認后，開(kāi)始下一個(gè)循環(huán)。根據寫(xiě)操作典型事件，本設計采用4級流水線(xiàn)寫(xiě)操作，便可以基本保證在宏觀(guān)上實(shí)現對存儲區的全速率無(wú)間斷連續數據寫(xiě)入。圖4為流水線(xiàn)寫(xiě)操作的原理示意圖。

2.4 壞塊管理

對于初始無(wú)效塊，將被直接跳過(guò)，后續數據將被加載到該無(wú)效塊在本流水級內后續的第一個(gè)有效塊中。如果在使用過(guò)程中出現了新增的編程無(wú)效簇，該簇所處的塊將被定義為程無(wú)效塊，系統將把該塊所在流水級內后續的第一個(gè)有效塊作為替代塊，編程出錯的數據將被重新加載至替代塊內的相同偏移頁(yè)地址的簇地址空間，該流水級后續的數據將被加載到替代簇地址的后續地址中。

3 民用Flash存儲系統的啟示

民用Flash存儲系統有兩個(gè)特點(diǎn)，一是Flash存儲介質(zhì)隨著(zhù)半導體技術(shù)的提高密度增加很快，但由于工藝原因，對單粒子效應敏感，密度越大，可能造成的混亂越嚴重，不適用于航天環(huán)境。二是存儲管理方式研究較為深入，極大的方便了用戶(hù)使用，借鑒意義較大。

民用Flash存儲系統管理類(lèi)別較廣，大體分為Flash加速卡、Flash存儲陣列與分布式集群系統，大多關(guān)注3個(gè)關(guān)鍵技術(shù)，基于I/O棧調整與重構的存儲性能優(yōu)化、系統級可靠性、體積與能耗。代表性Flash存儲系統對比見(jiàn)表1。而從航天存儲系統現狀來(lái)看，系統軟件層的I/O棧優(yōu)化尚無(wú)必要，而關(guān)注全局磨損平衡的系統級可靠性研究參考性較強，體積與能耗的相關(guān)考量也有相互借鑒的地方，分布式集群系統的設計思想有一定的啟發(fā)性。

系統級可靠性研究中磨損平衡的提出，是由于Flash存儲單元的多次擦除，會(huì )削弱其保存電子的性能，使得數據易受干擾。閃存的擦除次數在一萬(wàn)到十萬(wàn)次之間，并且隨著(zhù)存儲密度增加而降低。民用存儲系統一般在FTL內實(shí)現磨損平衡策略。動(dòng)態(tài)磨損平衡在擦除與寫(xiě)入的過(guò)程中，綜合考慮存儲單元的磨損程度，實(shí)時(shí)進(jìn)行平衡;靜態(tài)磨損平衡則是定時(shí)交換讀寫(xiě)頻次低的冷數據與頻次高熱數據的存儲位置，又可分為隨機平衡機制，與基于擦寫(xiě)次數的平衡機制。

分布式集群存儲系統的設計與航天應用的流水操作思想較為相似，都有著(zhù)用空間換取速度的指導思想。不過(guò)前是從更高層次進(jìn)行的整體系統設計，包括系統架構、FTL優(yōu)化等措施，解決Flash接口速率遠遠小于數據吞吐速率需求的問(wèn)題，但需要考慮大規模擴展帶來(lái)的時(shí)延和可靠性問(wèn)題。分布式集群存儲系統突出特點(diǎn)是擁有良好的擴展性，優(yōu)化存儲狀態(tài)更新查詢(xún)方式、選擇相適應的低頻低功耗的CPU，有效降低整體功耗。

航天科技任務(wù)越來(lái)越豐富，科學(xué)數據的種類(lèi)與數量不斷增加，對存儲系統數據管理要求也越來(lái)越高。相比于航天用存儲系統硬件架構從磁帶機、磁盤(pán)到固態(tài)存儲器的多次升級，相應的數據管理研究與應用較為落后，如高效壞塊管理、長(cháng)時(shí)間在軌磨損平衡、適應航天綜合電子平臺的文件操作系統等。目前國內外民用基于Flash的固態(tài)存儲系統架構與優(yōu)化技術(shù)研究進(jìn)展較快，也更為豐富，對航天應用具有較強的啟發(fā)性。

4 結束語(yǔ)

針對Flash存儲特性，本文以航天任務(wù)為背景，提出一種基于直接控制存儲介質(zhì)的Flash存儲系統。發(fā)揮Flash存儲介質(zhì)并行性的優(yōu)點(diǎn)，應用并行總線(xiàn)擴展技術(shù);針對寫(xiě)操作編程時(shí)間長(cháng)的問(wèn)題，合理采用多級流水線(xiàn)技術(shù);針對Flash壞塊現象，采取簡(jiǎn)單可靠的壞塊管理策略。并且調研民用Flash存儲技術(shù)與設計思想，探討航天存儲技術(shù)的研究方向。