物聯(lián)網(wǎng)中的傳感器融合和遠程情感計算

摘要

傳感器技術(shù)時(shí)代已經(jīng)到來(lái)?，F在，很難見(jiàn)到不使用傳感器為用戶(hù)創(chuàng )造新體驗的電子消費產(chǎn)品。傳感器正在經(jīng)歷復興，這是由于微機電系統（MEMS）技術(shù)價(jià)格降低了，尺寸也縮小了，因此又推動(dòng)了傳感器在新應用的使用，并為傳感器市場(chǎng)營(yíng)造了新機遇。

1.引言

傳感器現在用于各種應用中，如智能移動(dòng)設備、汽車(chē)系統、工業(yè)控制、醫療保健、石油勘探和氣候監測。傳感器無(wú)處不在，現在傳感器技術(shù)已開(kāi)始密切模仿終極感知設備，即人類(lèi)。傳感器融合使這成為可能，該技術(shù)利用微控制器（“大腦”）將從多個(gè)傳感器采集的各個(gè)數據融合在一起，獲得的數據視圖比單獨使用各個(gè)離散傳感器獲得的視圖更準確、更可靠。使用傳感器融合整體采集的數據遠遠大于各傳感器獨立采集的數據之和。

傳感器融合支持環(huán)境感知，這對物聯(lián)網(wǎng)（IoT）來(lái)說(shuō)蘊藏著(zhù)巨大潛力。傳感器融合針對遠程情感計算（情感感測和處理）的演進(jìn)在未來(lái)還可能產(chǎn)生激動(dòng)人心的新應用，包括智能醫療。然而，這些功能也帶來(lái)了物聯(lián)網(wǎng)監管中需要解決的嚴重的隱私問(wèn)題。隨著(zhù)傳感器融合和REC技術(shù)的使用不斷增加，將采集大量的環(huán)境感知數據。這些數據結合物聯(lián)網(wǎng)對“空中全球神經(jīng)網(wǎng)絡(luò )”和基于云的處理資源的訪(fǎng)問(wèn)，將進(jìn)一步推動(dòng)為給定情況提供自定義的環(huán)境感知服務(wù)。這些服務(wù)可基于單個(gè)用戶(hù)正在做什么、設備正在做什么、基礎設施正在做什么，大自然正在做什么等環(huán)境，以及所有上述內容的各種組合。

圖1傳感器融合：人體模型

2.人類(lèi)：終極傳感示例

為了了解傳感器融合如何工作，讓我們看看人體內感知的工作方式。一個(gè)人在許多方面體驗外部世界。視覺(jué)、聽(tīng)覺(jué)、化學(xué)感覺(jué)（嗅覺(jué)和味覺(jué)）和表面感覺(jué)（觸覺(jué)）都提供關(guān)于一個(gè)人周?chē)h(huán)境的感官信息，這些信息通過(guò)外周神經(jīng)系統（PNS）傳遞給大腦。然后大腦決定如何響應一個(gè)給定的情況或體驗。

PNS對它傳輸的信息不制定復雜的決策；這些決策由大腦制定。對感覺(jué)輸入，大腦的反應是發(fā)送運動(dòng)信息，這是人類(lèi)對輸入的響應。例如，一個(gè)行人看到一輛汽車(chē)向他開(kāi)過(guò)來(lái)，他的大腦告訴他的肌肉以更快的速度走到路的另一邊，避免發(fā)生事故。人還接收來(lái)自他們內臟器官的信息，其中一些信息非常明顯，如胃疼。還有其他類(lèi)型的體內信息是人無(wú)法感知的，如血壓，這些信息用于調節人體的內部環(huán)境。

圖2計步器案例分析

大腦是最終的決策者。然而，如果沒(méi)有外周神經(jīng)系統帶來(lái)感知信息并發(fā)出運動(dòng)信息，人將無(wú)法行走、說(shuō)話(huà)或我們經(jīng)常認為理所當然的許多其他功能。大腦經(jīng)常使用數個(gè)感官輸入源驗證事件，并完善非“完整性”信息，從而做出決策。例如，人可能看不到汽車(chē)引擎蓋下的火焰，但橡膠燃燒的氣味和儀表盤(pán)散發(fā)的熱量將告訴大腦需要離開(kāi)這輛汽車(chē)，因為引擎起火了。在這種情況下，使大腦做出反應的信息大于獨立感官輸入之和。

在技術(shù)世界，傳感器融合發(fā)揮的作用與此相似。傳感器融合將來(lái)自多個(gè)傳感器的輸入整合在一起，提供更準確、更可靠的傳感，能夠產(chǎn)生更高水平的認知，并提供新的應對措施。各個(gè)傳感器都有固有的局限性，可能產(chǎn)生錯誤，但這些錯誤可以由補充傳感節點(diǎn)進(jìn)行糾正或進(jìn)行補充。例如，陀螺儀會(huì )隨著(zhù)時(shí)間的推移而產(chǎn)生偏移，可以使用配備的加速計來(lái)補償這些偏移。因此，（來(lái)自多個(gè)傳感器的）融合的傳感器信息比單獨的傳感器數據更準確、更可靠。

3.不斷發(fā)展的傳感器技術(shù)改善日常生活

讓我們看一個(gè)計步器的簡(jiǎn)單示例。傳統的計步器使用一個(gè)鐘擺，需要以垂直的角度佩戴在髖關(guān)節，以避免錯誤讀數。當用戶(hù)走動(dòng)時(shí)，計步器跟蹤鐘擺隨著(zhù)髖關(guān)節的運動(dòng)來(lái)回擺動(dòng)，擺動(dòng)一回便計數一次，以此對每一步進(jìn)行計數。然而，由于步幅、攀登/步行角度的變化以及當用戶(hù)駕駛汽車(chē)或進(jìn)行其他運動(dòng)時(shí)的錯誤計步，無(wú)效讀數很常見(jiàn)。

基于MEMS的慣性傳感器帶來(lái)了很大的改進(jìn)。第一代基于MEMS的計步器使用的加速計對人的加速度執行1軸、2軸或3軸（3D）檢測，更準確地測量步數。此外，老式機械計步器只根據擺動(dòng)次數記錄步數，而加速計則每秒多次測量一個(gè)人的運動(dòng)。

但是，如果您不僅想計量步數，還想準確地計算上下樓梯或上下山時(shí)燃燒的卡路里。下一代計步器添加了高度計，測量和計算人在行走時(shí)相對于某個(gè)固定參考點(diǎn)的高度變化。高度計技術(shù)用于檢測高度計或氣壓計（BAP）應用中的絕對氣壓。要獲得精確的壓力讀數還需要進(jìn)行溫度測量，因此通常會(huì )增加某種溫度補償電路以提高測量精度。

繼掛在慢跑者手臂上的早期便攜式音樂(lè )播放器獲得成功后，現在有許多設計佩戴在手臂上的獨立計步器和有計步器功能的手機（而不是掛在髖關(guān)節的皮帶上）。在這個(gè)使用案例中，手臂運動(dòng)引入了寄生運動(dòng)。陀螺儀可測量手臂的旋轉運動(dòng)并對其進(jìn)行補償。

將三種傳感器（加速計、高度計和陀螺儀）和MCU結合在一起來(lái)測量和處理讀數，就產(chǎn)生了高精度計步器。

4.傳感器融合如何工作

最基本的傳感器融合示例是電子羅盤(pán)，它結合了3D磁力計和3D加速計來(lái)提供羅盤(pán)功能。更復雜的傳感器融合技術(shù)增強了用戶(hù)體驗，充分利用3D加速計、3D陀螺儀和3D磁力計（，測量相對于給定器件空間方向的特定方向上的磁場(chǎng)組成），并將它們融合在一起。每種傳感器都有獨特的功能，但也有其局限性：

？加速計：x軸、y軸和z軸線(xiàn)性運動(dòng)感測，但對振動(dòng)比較敏感

？陀螺儀：俯仰、翻滾和方位角感測，但有零位漂移

？磁力計：x軸、y軸和z軸磁場(chǎng)感測，但對磁干擾比較敏感

傳感器融合將所有這些技術(shù)結合在一起，接收來(lái)自多個(gè)傳感器的同時(shí)輸入，并對輸入進(jìn)行處理，產(chǎn)生一個(gè)綜合了各個(gè)部件輸出的最終輸出值（即，傳感器融合使用特殊算法和濾波技術(shù)，消除了各個(gè)獨立傳感器的不足之處－類(lèi)似于上述人體的功能）。

傳感器融合提供了一套完整的功能，可使我們的生活更簡(jiǎn)單，并支持可以利用這些功能的各種服務(wù)。

傳感器行業(yè)目前面臨的問(wèn)題之一是各個(gè)操作系統（OS）缺乏標準化。目前，大多數OS驅動(dòng)程序需要最基本的傳感器數據，這使傳感器無(wú)法發(fā)揮其所有功能。

傳感器融合是Microsoft戰略的一部分，因此Windows 8 OS都支持傳感器，使用傳感器級驅動(dòng)程序，這些驅動(dòng)符合其與微軟的生態(tài)系統合作伙伴共同制定的標準（Human Interface Device specification 2011）。Windows Runtime編程模塊允許輕量級執行調用，使傳感器能夠在硬件級進(jìn)行處理。

傳感器融合通常是指將3D加速計、3D陀螺儀和3D磁力計結合在一起，這種配置被稱(chēng)為9軸系統，為用戶(hù)提供9個(gè)自由度（9-DoF）。2012年，飛思卡爾推出了面向Windows 8的12軸Xtrinsic傳感器平臺，提供了12-DoF傳感器融合解決方案，該解決方案包括氣壓傳感器、溫度傳感器和環(huán)境光感測功能。

圖3面向Windows 8的12軸Xtrinsic傳感器數據流

這個(gè)全面的硬件和軟件解決方案使用飛思卡爾32位MCU融合了加速計、磁力計和陀螺儀數據，并提供了易于集成的特性，從而簡(jiǎn)化了開(kāi)發(fā)。微軟的Windows 8 OS針對平板電腦、筆記本電腦和其他移動(dòng)設備借助個(gè)人計算機的計算能力，擴展了運行智能手機和平板電腦應用的功能。飛思卡爾憑借其傳感器融合平臺，從微軟獲得了Windows 8認證，成為第一批獲得該認證的公司之一。

基本的傳感器融合處理需要10–12 MIPS.對于9-DoF傳感器融合，這種要求可達到18–20 MIPS處理周期。有各種方法可以滿(mǎn)足這些處理要求（每種方法都有優(yōu)缺點(diǎn)），包括為傳感器處理添加專(zhuān)用的協(xié)處理器，或使用有足夠的性能擴展空間、允許隨著(zhù)時(shí)間的推移增加新功能的功能強大的MCU.

5.其他傳感器融合示例

飛思卡爾正在進(jìn)行有關(guān)傳感器在醫療電子中的使用和非醫療應用的多傳感器處理的研究。JoséFernández Villase？or博士是一位醫學(xué)博士兼電氣工程師，他既是飛思卡爾醫療產(chǎn)品市場(chǎng)營(yíng)銷(xiāo)專(zhuān)家，同時(shí)也是一家醫院的醫生，研究使用傳感器（這是REC技術(shù)的較大的基本構件）進(jìn)行情感分析，他將這兩個(gè)身份完美地結合在一起。研究表明由于物理活動(dòng)導致心律增加的模式和幅度與由于腎上腺素激發(fā)的心率增加的不同。因此，人們可以使用算法并分析傳感器數據，以電子方式檢測一個(gè)人所顯示的情感的類(lèi)型。

下面是一個(gè)游戲平臺示例，這個(gè)游戲平臺能夠監控生理變化和狀態(tài)并采集數據，從而以電子方式檢測情感，例如：

？肌肉放松（MR）－通過(guò)壓力傳感器

？心律變化（HRV）－通過(guò)一個(gè)芯片上的雙電極ECG

？流汗（S）－通過(guò)電容式傳感器

？姿態(tài)（A）－通過(guò)加速計監測一個(gè)人的放松狀態(tài)（生澀的動(dòng)作和平穩的手）

？肌肉收縮（MC）－通過(guò)壓力傳感器

圖4使用情感感測的環(huán)境感知：工作方式

使用采集的傳感器數據，游戲平臺里的MCU能夠在游戲情境過(guò)程中檢測情感，并為玩家提供反饋，使游戲更精彩。是否可以在賽車(chē)游戲中當檢測到玩家處于更放松的狀態(tài)（加速計的讀數減少）然后使轉彎速度更快、更難操控？這樣，能夠更好地控制情感的，沉穩的駕駛員得分會(huì )更高（與現實(shí)生活相似）。如果本地控制臺的MCU提供處理功能，這將被視為本地情感計算，如果基于云的系統提供處理功能，則被視為遠程情感計算。在基于云的系統中，可利用復雜的大數據算法對游戲場(chǎng)景提供更詳細的響應。

在另一個(gè)示例中，傳感器可用于通過(guò)測量用戶(hù)拿手機輸入文字或撥打電話(huà)的方式，檢測用戶(hù)的情感。此外，軟件算法可用于分析人輸入文字的方式、手機運動(dòng)是否平穩或者在輸入文字時(shí)犯了多少錯誤（使用退格鍵），提供有關(guān)個(gè)人心理狀態(tài)的其他背景。

圖5物聯(lián)網(wǎng)：不同的服務(wù)，不同的技術(shù)，對每個(gè)人的意義不同

6.在物聯(lián)網(wǎng)中充分利用傳感器融合

正如白皮書(shū)“物聯(lián)網(wǎng)要變成現實(shí)‘還缺什么”所述，物聯(lián)網(wǎng)包含了許多用例——從互連家居和城市、互連的汽車(chē)和道路到跟蹤個(gè)人的行為并使用采集的數據來(lái)推送服務(wù)的設備。物聯(lián)網(wǎng)是一種普遍的“空中全球神經(jīng)網(wǎng)絡(luò )”，將觸及我們生活的各個(gè)方面。從技術(shù)的角度來(lái)看，物聯(lián)網(wǎng)被定義為與其他機器、對象、環(huán)境和基礎設施進(jìn)行交互和通信的智能機，會(huì )產(chǎn)生大量數據，并將這些數據處理成有用的行為，可以“指揮和控制”事物并使人類(lèi)的生活更加輕松。

所有物聯(lián)網(wǎng)用例的通用要求包括：

？傳感和數據采集功能（傳感節點(diǎn)）

？本地嵌入式處理層功能（本地嵌入式處理節點(diǎn)）

？有線(xiàn)和/或無(wú)線(xiàn)通信功能（連接節點(diǎn)）

？軟件自動(dòng)執行任務(wù)，并啟用新的服務(wù)類(lèi)別

？遠程網(wǎng)絡(luò )/基于云的嵌入式處理功能（遠程嵌入式處理節點(diǎn)）

？整個(gè)信號路徑都具有完整的安全性

圖6物聯(lián)網(wǎng)的功能塊