如何管理模擬世界的大規模測量數據

雖然將測試數據通過(guò)標準總線(xiàn)，如USB和以太網(wǎng)，傳輸到PC主機上(“智能”)非常常見(jiàn)，但是高通道數測量的采樣速率非?？?，很可能超過(guò)通信總線(xiàn)的負荷。另一種方法是在本地存儲數據，在測試運行后傳輸文件進(jìn)行后期處理，所花費的時(shí)間會(huì )增加，但能獲得有價(jià)值的結果。 為了應對這些挑戰，最新的測量系統集成了來(lái)自ARM、Intel和Xilinx的領(lǐng)先技術(shù)，可提供更高的性能和處理能力，以及現成的存儲組件，以提供高通量數據傳輸。

借助板載處理器，處理元件更接近傳感器和測量，測量系統的數據就變得更為分散。 現代數據采集硬件包含了高性能的多核處理器，可以根據測量運行采集軟件和處理密集型分析算法。 這些智能測量系統能夠更快地分析并得出結論，無(wú)需花費時(shí)間再等待大量的傳輸數據，也無(wú)需立即記錄數據，優(yōu)化了系統，從而更有效地利用磁盤(pán)空間。

云存儲和計算的崛起

DAQ硬件和板載智能化的統一可創(chuàng )建出進(jìn)一步嵌入式或遠程系統。 在許多行業(yè)，它解決了眾多全新應用的難題。 真實(shí)世界正變得智能化，人類(lèi)現在也能夠收集幾乎所有周?chē)h(huán)境的數據集，物聯(lián)網(wǎng)因而出現在了我們眼前。 它能夠處理并分析真實(shí)世界新數據集，將對眾多行業(yè)領(lǐng)域產(chǎn)生深遠的影響，醫療、能源、交通、健身器材、樓宇自動(dòng)化、保險，它可謂無(wú)處不在。

在大部分的行業(yè)中，內容自身 (所采集的數據)并非問(wèn)題的根本。 聰明的人們收集了大量有用的數據。 至目前為止，主要的問(wèn)題還是出在IT上面。 物聯(lián)網(wǎng)通過(guò)分布在世界各地的遠程現場(chǎng)設備產(chǎn)生大量數據，有些數據還可能來(lái)自最偏遠、荒涼的地區。

這些分布式采集和分析節點(diǎn)(DAAN)嵌入在其他終端產(chǎn)品中，軟件驅動(dòng)程序和圖像并行連接至多個(gè)計算機網(wǎng)絡(luò )，形成了計算機系統。 他們形成了最為復雜的分布式系統，生成了史上最大的數據集。 這些系統需要基于遠程網(wǎng)絡(luò )的系統管理工具來(lái)自動(dòng)配置、維護及升級DAANs，并需要一種高效、低成本的方式來(lái)處理所有數據。

問(wèn)題的復雜在于，如果您減少數據采集傳統的IT拓撲結構，簡(jiǎn)化形式，就會(huì )發(fā)現他們實(shí)際上運行在兩個(gè)并行的分布式系統網(wǎng)絡(luò )上： “嵌入式網(wǎng)絡(luò )”連接到所有采集數據的現場(chǎng)設備(DAAN)， “傳統IT網(wǎng)絡(luò )”，進(jìn)行最有用的數據分析，并傳送給用戶(hù)。

而往往，這兩個(gè)并行的組織網(wǎng)絡(luò )內存在巨大的差異，它們不能互相操作。 這意味著(zhù)，數據集的效果發(fā)揮至極致。 石油和天然氣公司收集地下生成以及通過(guò)阿拉斯加管道石油量的實(shí)時(shí)數據，將這些數據交給會(huì )計部門(mén)、采購部門(mén)、物流部門(mén)或財政部門(mén)——他們都位于休斯頓——這一切在數分鐘或數小時(shí)內就能完成，省去了成天甚至成月的時(shí)間。

組織內的并行網(wǎng)絡(luò )和其中大量的投資大大抑制了物聯(lián)網(wǎng)的發(fā)展。 而如今，通過(guò)云存儲、云計算，以及基于云的“海量數據”工具，這些難題都能夠得到解決。 使用云存儲和云計算資源創(chuàng )建單個(gè)匯聚點(diǎn)非常容易，它能夠匯集來(lái)自嵌入式設備(例如DAAN)的大量數據，且組織內的任何一組都能訪(fǎng)問(wèn)這些數據。 這就解決了兩個(gè)并行嵌入式與IT網(wǎng)絡(luò )不能相互操作的問(wèn)題。

用戶(hù)可以使用云中無(wú)限的存儲和計算資源，并根據使用量計費，這為他們提供了管理分布式系統以及處理大型測量數據集的解決方案。 云服務(wù)供應商所提供的海量數據工具套件，可以幫助用戶(hù)輕松的獲取并處理這些龐大的測量數據集。

總的說(shuō)來(lái)，云計算技術(shù)為分布式系統管理和數據訪(fǎng)問(wèn)帶來(lái)了三大好處： 數據的匯總、訪(fǎng)問(wèn)數據，以及卸載計算繁重的任務(wù)。