如何管理模擬世界的大規模測量數據

收集更多的數據已經(jīng)不能讓您脫引而出，更重要的是誰(shuí)能夠迅速分清所收集到的數據。 在過(guò)去，硬件采樣率由于受模數轉換發(fā)生速度的限制，在物理上局限了采集數據的數量。 而如今，硬件已不再是采集應用的限制因素。 如何管理采集到的數據才是未來(lái)的挑戰。

計算技術(shù)的不斷進(jìn)步，包括了微處理器速度和硬盤(pán)驅動(dòng)器存儲容量的提高，加之軟硬件成本的降低，引發(fā)了驚人速度的數據爆炸。 特別是在測量應用中，工程師和科學(xué)家們每分每秒都能收集大量的數據。 歐洲核子研究中心的大型強子對撞機的運行實(shí)驗每秒鐘能產(chǎn)生40 TB的數據。 而波音噴氣發(fā)動(dòng)機運行時(shí)，每隔30分鐘系就統會(huì )創(chuàng )建10 TB的操作信息(Gantz，2011)。 這就是“大規模數據”。

大規模數據現象為數據分析、搜索、集成、報告和系統維護帶來(lái)了新的挑戰，只有滿(mǎn)足這些挑戰才能跟上數據飛速增長(cháng)的步伐。 數據的來(lái)源是多方面的，而工程師和科學(xué)家認為最為有趣的是來(lái)自真實(shí)世界的數據， 即捕獲和數字化的測量數據。 因此，它也被稱(chēng)作“大規模測量數據”，可以通過(guò)測量振動(dòng)、射頻信號、溫度、壓力、聲音、圖象、光、磁、電壓等現象獲得這些數據。 大規模測量數據TM在廣泛的數據采集領(lǐng)域激起了三大技術(shù)趨勢。

上下文數據挖掘

真實(shí)現象的物理特性能夠防止在采集速率不夠高的時(shí)候采集數據，讓小規模數據集變得不再可行。 即使測量現象的特性允許更多的信息采集，小規模數據集往往一開(kāi)始就限制了結論和預測的準確性。

以挖掘一個(gè)金礦為例，其中只有20%的黃金是可見(jiàn)的。 其余的80%是存在于您看不見(jiàn)的泥土中。 礦業(yè)的目的就是充分挖掘礦井的全部?jì)r(jià)值。 這就引出了術(shù)語(yǔ)“數字塵土”，意思為數字化數據帶有隱藏價(jià)值。 因此，需要通過(guò)數據分析和數據挖掘來(lái)發(fā)掘前所未有的見(jiàn)解。

數據挖掘的過(guò)程就是使用與數據一同保存的上下文信息，搜索并削減大規模數據集，使其變得更容易管理及利用。 將原始數據與背景，或“元數據”共同保存下來(lái)，數據采集、定位、過(guò)后的處理和理解就會(huì )變得更為方便。 例如，查看一系列看似隨機的整數： 5126838937。乍看之下，該原始信息的含義不得而知。 然而，當它變?yōu)?512)683-8937時(shí)，我們就能知道清楚地識別出它是一個(gè)電話(huà)號碼。

測量數據上下文的描述性信息提供了類(lèi)似的益處，它能夠詳細描述指定測量通道的傳感器類(lèi)型、制造商與校準日期，或是整體待測組件的修訂記錄、設計師或型號。 事實(shí)上，原始數據存儲的上下文越多，在整個(gè)設計生命周期中數據追蹤、搜索或定位，以及通過(guò)專(zhuān)用數據后處理軟件在今后與其他測量關(guān)聯(lián)才會(huì )更為有效。

智能DAQ節點(diǎn)

數據采集應用的形式多種多樣。 但由于涉及多種行業(yè)和應用，只有在需要時(shí)才會(huì )采集數據。 工程師和科學(xué)家們將重要資源投資在構建高級采集系統上，但這些系統生成的原始數據也不會(huì )因此就無(wú)用了。 相反，采集原始數據，將它輸入分析或處理算法，構建設計者所需的實(shí)際結果系統。

例如，汽車(chē)碰撞測試在毫秒之間就能收集千兆字節有關(guān)速度、溫度、沖擊力和加速度的數據。 可以從這些原始數據計算得出的一個(gè)關(guān)鍵性相關(guān)結論為顱腦損傷標準(HIC)，它是單標量的計算值，能夠表示碰撞假人在碰撞中頭部受傷的可能性。

此外，一些應用程序—尤其是有關(guān)環(huán)境、結構、機器狀態(tài)監測空間—能夠保持周期性的慢采集速率，而當檢測到明顯的條件時(shí)又能大幅提高。 該技術(shù)的采集速度低，且最大限度地減少了記錄的數據，同時(shí)采樣率要足夠滿(mǎn)足應用中高速波形的需求。 想要在滿(mǎn)足特定標準時(shí)，采用某項技術(shù)，如將原始數據轉化為結果，或調整測量細節，您必須使您的數據采集系統智能化。