基于機器學(xué)習的虛擬門(mén)把手設計與實(shí)現

摘要：為了提高安全性和便捷性，尤其是在疫情背景下，應避免使用者因接觸門(mén)把手而造成交疾病的叉污染。本文設計了一種非接觸式的虛擬門(mén)把手，可用來(lái)代替傳統門(mén)把手在現實(shí)生活中的作用。該虛擬門(mén)把手采用樹(shù)莓派作為主控芯片，通過(guò)攝像頭采集實(shí)時(shí)畫(huà)面和用戶(hù)手勢，門(mén)鎖模塊用于實(shí)現開(kāi)鎖和反鎖的功能；該虛擬門(mén)把手還具有人臉識別功能，保障用戶(hù)的安全和隱私。測試結果表明，該虛擬門(mén)把手能夠實(shí)現人臉識別，并在用戶(hù)做出指定手勢時(shí)實(shí)現開(kāi)鎖或反鎖的功能，達到了預期的設計目標。

關(guān)鍵詞：人臉識別；手勢識別；樹(shù)莓派；卷積神經(jīng)網(wǎng)絡(luò )

項目支持：本課題得到廣西自治區區級大學(xué)生創(chuàng )新創(chuàng )業(yè)計劃項目支持

項目編號：202010595090

據調查顯示，高校的公共設施存在不同程度的微生物污染，門(mén)把手上的污染最為嚴重，其中大腸菌群有可能造成腸道外感染或急性腹瀉 ^[1]；2020 年 2 月，廣州市疾病預防控制中心在一名確診患者家中門(mén)把手上發(fā)現了新型冠狀病毒的核酸，專(zhuān)家提醒我們日常家居細節中，有許多可能造成病毒間接傳播的途徑，容易為人所忽略。對于普通社區居民，風(fēng)險更多來(lái)自于間接接觸：如果病毒附著(zhù)在物體表面，自己的手觸摸到被污染的物體表面后進(jìn)食、揉眼睛等動(dòng)作，可能會(huì )造成自己感染 ^[2]。

門(mén)把手作為日常中使用頻繁的設施，通常與門(mén)鎖結合以實(shí)現開(kāi)門(mén)、關(guān)門(mén)和反鎖的功能。傳統的門(mén)把手需要與人員發(fā)生手部接觸，因此細菌病毒等會(huì )附著(zhù)在門(mén)把手上，造成交叉感染。為了防止細菌病毒通過(guò)門(mén)把手傳播，降低人民群眾的感染風(fēng)險，本項目設計了一款基于機器學(xué)習的虛擬門(mén)把手，可通過(guò)開(kāi)關(guān)門(mén)手勢實(shí)現開(kāi)門(mén)、關(guān)門(mén)和反鎖的功能，避免人員與門(mén)把手的直接接觸。此外，本項目設計的虛擬門(mén)把手有人臉識別功能，通過(guò)與磁吸式門(mén)鎖結合，保障了用戶(hù)的隱私與安全，更具有方便快 捷、操作方法簡(jiǎn)單等優(yōu)點(diǎn)。

1 設計思路

對本項目的需求進(jìn)行分析后，畫(huà)出了該系統的原理框圖，如圖 1 所示。本項目采用了模塊化的思想，方便結構搭建和測試。其中，攝像頭模塊用于采集獲取用戶(hù)的實(shí)時(shí)畫(huà)面圖像信息，并將圖像信息傳輸給嵌入式主控板，以進(jìn)行人臉識別和手勢判斷。門(mén)鎖模塊用于實(shí)現開(kāi)門(mén)、關(guān)門(mén)和反鎖的功能，當用戶(hù)進(jìn)入攝像頭區域內喚醒主控，點(diǎn)亮顯示屏并人臉識別成功后，用戶(hù)可做出開(kāi)關(guān)門(mén)的手勢，門(mén)鎖模塊可以做出相應的反應，即能夠完成非接觸式開(kāi)門(mén)和關(guān)門(mén)的動(dòng)作，降低了因接觸門(mén)把手而感染細菌病毒的風(fēng)險；執行反鎖手勢指令后，只能通過(guò)用戶(hù)在門(mén)的這一側做出開(kāi)鎖的手勢來(lái)打開(kāi)門(mén)鎖，而在門(mén)的另一側無(wú)法打開(kāi)。顯示模塊用于顯示實(shí)時(shí)畫(huà)面和提示信息，用戶(hù)根據顯示模塊上的提示完成指定手勢，避免因手勢不規范或超出檢測范圍而發(fā)生手勢識別錯誤。電源模塊用于對整套裝置供電，保證裝置正常運行。

2 方案選擇

本設計主控采用高速微處理器第三代樹(shù)莓派計算模塊，擁有 1 GB RAM（ 隨機存取存儲器，Random Access Memory），1.2 GHz 主頻的博通 BCM2837 處理器。其體積微小，板載外設接口豐富，包括 4 個(gè) USB（通 用串行總線(xiàn)，Universal Serial Bus）端口、DSI（顯示串行接口，Display Serial Interface）顯示、HDMI（高清多媒體接，High Definition Multimedia Interface）、以及 40 個(gè) GPIO（通用輸入輸出端口，General Purpose Input/ Output Port）接口，是一款運算能力強勁的基于 Linux 的微型計算機。

開(kāi)門(mén)、關(guān)門(mén)功能通過(guò)門(mén)鎖模塊實(shí)現。常用的門(mén)鎖有插芯式門(mén)鎖和電磁門(mén)鎖兩種。插芯式門(mén)鎖有單設按鈕插芯門(mén)鎖和雙舌插芯門(mén)鎖等分類(lèi)，安裝復雜，不便于控制。電磁門(mén)鎖利用電磁鐵的原理，依靠電力產(chǎn)生磁力，拉住門(mén)鎖，具有安裝簡(jiǎn)單，易于控制的優(yōu)點(diǎn)。因此，本設計中采用的是常閉式電磁門(mén)鎖，通過(guò)磁力使門(mén)鎖閉合，收到單片機控制信號后門(mén)鎖打開(kāi)。本設計選用的磁吸式門(mén)鎖具有 280 kg 直線(xiàn)拉力，吸力穩定，且配備 220 V 交流轉 12 V 直流供電，電源裝配簡(jiǎn)單。

采集用戶(hù)面部和手部信息通過(guò)攝像頭模塊實(shí)現。本項目中，攝像頭模塊選用 1 080 P 高清攝像頭，并具有 130° 廣角，可以充分滿(mǎn)足信息采集需要。兼容樹(shù)莓派和 Windows 等多種系統，采集到的圖像數據通過(guò) USB 接口能夠直接傳遞給樹(shù)莓派主控芯片。

顯示模塊采用 4.3" IPS（橫向電場(chǎng)效應顯示技術(shù)）顯示屏，分辨率為 800×480 像素，具有 MIPI（移動(dòng)產(chǎn)業(yè)處理器接口，Mobile Industry Processor Interface）DSI 接口，與樹(shù)莓派模塊相匹配。3.3 V 電源供電時(shí)，功耗 300 mW，是一款低功耗顯示屏。顯示模塊用于顯示攝像頭拍到的實(shí)時(shí)畫(huà)面和提示信息，形成良好的人機交互。

3 方案實(shí)施

3.1 主程序流程

如圖 2 所示，該系統由電磁門(mén)鎖、攝像頭和顯示屏組成。電磁門(mén)鎖用于控制門(mén)的開(kāi)關(guān)，攝像頭固定于門(mén)上，S1 為用戶(hù)到攝像頭的距離。

圖 2人臉識別、手勢識別示意圖

圖 3 是主程序流程圖。當有用戶(hù)進(jìn)入檢測區域時(shí)，首先對其進(jìn)行人臉識別，判斷是否為合法用戶(hù)，若為非法用戶(hù)，則在顯示屏上顯示非法操作；若判斷為合法用戶(hù)，則等待其手勢指令，如開(kāi)門(mén)或反鎖指令。

圖3 主程序流程圖

3.2 人臉識別和手勢識別

通過(guò)攝像頭拍攝實(shí)時(shí)畫(huà)面，對用戶(hù)進(jìn)行人臉識別和手勢識別。

人臉識別采用了 OpenCV（開(kāi)源計算機視覺(jué)）自帶的人臉特征分類(lèi)器 haarcascade_frontalface_alt2.xml。首先錄入合法用戶(hù)的人臉照片信息并保存，接著(zhù)直接調用人臉特征分類(lèi)器進(jìn)行人臉識別。

手勢識別采用了自制數據集和自制訓練模型。自制數據集邀請了 4 位不同手形大小的實(shí)驗參與者采集其做出的手勢，每人做出 3 種手勢，每種手勢錄入 240 張 64×64×3 的 RGB（紅綠藍）圖像，共 2 880 張圖像。打亂順序后，隨機抽取 2 160 張圖像作為訓練集，其余 720 張圖像作為測試集。為了增加樣本數量，增強模型的泛化性，項目中采用了數據增強，降低了過(guò)擬合的風(fēng)險。建立好每張圖片對應的標簽后，構建 CNN（卷積神經(jīng)網(wǎng)絡(luò )，Convolutional Neural Network）網(wǎng)絡(luò )。本項 目的 CNN 網(wǎng)絡(luò )模型如圖 3 所示，模型順序連接，四次卷積池化，再接一個(gè)全連接隱藏層和一個(gè)輸出層。其中兩次卷積核均為 3×3 像素，使用 ReLU 激活函數，兩次池化均采用最大池化。全連接隱藏層使用 ReLU 激活函數，輸出層采用 softmax 激活函數，由于本項目種共有 3 種手勢需要識別，所以輸出層神經(jīng)元個(gè)數為 3。

圖4 神經(jīng)網(wǎng)絡(luò )模型

為了防止其他未知的手勢引起識別錯誤，程序對進(jìn)行手勢判斷做出了改進(jìn)。得益于 softmax 激活函數，使得模型預測的三個(gè)輸出值都在 0 到 1 之間，且三個(gè)輸出值相加等于 1。于是只需判斷預測結果中的輸出值是否大于某個(gè)規定值，若大于才能被判斷為有效手勢，若為無(wú)效手勢，則不執行操作。

3.3 門(mén)鎖開(kāi)鎖和反鎖

門(mén)鎖的開(kāi)鎖與反鎖由樹(shù)莓派主控芯片控制電磁門(mén)鎖實(shí)現。

圖 5 為門(mén)鎖電源接線(xiàn)示意圖。電磁門(mén)鎖的正、負極分別連接 NC 和 COM 端，在此連接方式下，門(mén)鎖為常閉狀態(tài)。門(mén)打開(kāi)后，兩磁鐵靠近自動(dòng)吸合關(guān)閉。樹(shù)莓派主控芯片控制門(mén)鎖 IO 口接到 PUSH 端，用于控制門(mén)鎖打開(kāi)或反鎖。執行開(kāi)鎖指令時(shí)，控制 IO 口輸出高電平，經(jīng)過(guò)變壓器升壓后達到 12 V，控制門(mén)鎖打開(kāi)。接收到反鎖命令后，程序記錄反鎖標志位，從另一側開(kāi)門(mén)時(shí)若反鎖標志位為 1，則不能打開(kāi)門(mén)。

圖5 門(mén)鎖電源接線(xiàn)示意圖

4 調試與測試

在訓練自制模型的過(guò)程中，使用一臺處理器為 Intel Core i7-1065G7、主頻 1.30 GHz，機帶 RAM 為 32.0 GB 的計算機。圖 4 給出了模型訓練時(shí)的參數變化，從中可以看出，15 輪內模型訓練集和測試集的準確率都達到 95% 以上，損失率均為 15% 以下。

在基于樹(shù)莓派計算模塊的系統功能測試中，邀請了 5 位同學(xué)在不同背景、不同光照環(huán)境下對系統進(jìn)行了測試。測試結果表明，本系統能夠實(shí)現對用戶(hù)的手勢識別和人臉識別，當S1在30 cm~50 cm之間時(shí)識別效果最好，人臉識別成功率為 95%，手勢識別成功率為 93%，手勢解鎖指令識別成功后，門(mén)鎖解鎖時(shí)間為 1 s。

5 結語(yǔ)

本項目基于樹(shù)莓派單片機和卷積神經(jīng)網(wǎng)絡(luò )，實(shí)現了可以用手勢控制的虛擬門(mén)把手功能。經(jīng)過(guò)測試，該虛擬門(mén)把手具有人臉識別、手勢識別的功能，可以根據用戶(hù)的手勢執行指令，完成對門(mén)鎖的控制。未來(lái)將收集更多手部圖像作為訓練數據集以進(jìn)一步提高模型準確率，提高系統在不同環(huán)境下的適應能力，并嘗試用電插芯門(mén)鎖代替電磁門(mén)鎖，以完善門(mén)鎖的安全性問(wèn)題。

圖6 模型訓練參數

參考文獻：

[1] 白婧.濟南市某高校公共設施和公共用品微生物污染狀況調查[J].科技視界,2017,(34):22+15.

[2] 喬靖芳,王楠 .門(mén)把手上檢測出病毒![N].健康時(shí)報,2020-02-07(002).

[3] RS Com ponents和Allied Electronics現可供貨樹(shù)莓派3計算模塊[J].單片機與嵌入式系統應用,2017,17(03):74.

[4] 邵曉康,張恒,田春子,等.OpenCV算法的人臉識別在課堂簽到系統上的分析與研究[J].電子世界,2021(23):31-32.

[5] 王強宇.基于深度神經(jīng)網(wǎng)絡(luò )的動(dòng)態(tài)手勢識別技術(shù)研究[D].徐州:中國礦業(yè)大學(xué),2019.

(注：本文轉載自《電子產(chǎn)品世界》2022年7月期)