基于視覺(jué)的智能電子寵物

　　摘要：本項目將當前熱門(mén)的感知計算技術(shù)應用到電子玩具這一領(lǐng)域，開(kāi)創(chuàng )性地設計了一個(gè)可以與主人進(jìn)行豐富多樣的感性交流的電子寵物。以Intel 3D攝像頭和Baytrail平臺為核心，偵測主人的表情、手勢、語(yǔ)音等，實(shí)現了與主人進(jìn)行感性互動(dòng)的交流，為用戶(hù)帶來(lái)了簡(jiǎn)單方便、人性貼心的全新體驗。

　　1 創(chuàng )意來(lái)源

　　隨著(zhù)電子技術(shù)的進(jìn)一步發(fā)展，電子寵物逐漸走入人們的家庭生活中，目前市面上相對成熟的電子寵物主要有兩大類(lèi)：一類(lèi)是生活在電子設備中的虛擬寵物，沒(méi)有任何的機械結構，純粹通過(guò)電子設備與之進(jìn)行交互;另一類(lèi)是具有一定機械機構的電子寵物，具有觸覺(jué)等功能，但由于其與逼真寵物外形想像的特性，交互方式也相對缺乏。

　　如今感知計算技術(shù)大為盛行，它重新定義了人與設備的溝通方式，通過(guò)更適合人類(lèi)的溝通方式比如語(yǔ)言、表情、動(dòng)作等，讓設備感知人類(lèi)的意圖，智能分析人類(lèi)的行為。

　　我們的作品，就是基于這一熱門(mén)技術(shù)，將感知計算應用到電子寵物身上，充分利用了感知計算的先進(jìn)特性，實(shí)現了一個(gè)通過(guò)手勢、表情、語(yǔ)言與使用者進(jìn)行感性互動(dòng)的智能型電子寵物。具有如此豐富、生動(dòng)交互方式的電子寵物，無(wú)疑會(huì )給使用者帶來(lái)全新的體驗?？梢韵胂?，一個(gè)比真實(shí)寵物更加方便、衛生、更加懂主人意思的智能電子寵物，無(wú)疑會(huì )引起廣大寵物愛(ài)好者的極大興趣，成為我們現代化家庭的重要一員。

　　2 關(guān)鍵技術(shù)

　　2.1 視覺(jué)處理程序

　　我們的項目采用的是Intel Creative Senz3D攝像頭，Creative Senz3D是Intel公司為感知計算技術(shù)開(kāi)發(fā)的3D景深攝像頭。我們用3D攝像頭作為寵物的眼睛，是整個(gè)系統最核心的部分，實(shí)現與周?chē)h(huán)境的交互，支持人臉識別，表情識別和手勢識別。我們借用了配套的Intel perceptual computing SDK中提供的一些表情識別、手勢識別、人臉識別等模塊，用線(xiàn)程來(lái)分別管理。當3D攝像頭捕捉到圖像數據后會(huì )分析然后開(kāi)啟線(xiàn)程執行上述三個(gè)模塊中的一個(gè)，然后把識別結果返回給服務(wù)器，讓服務(wù)器完成接下去的工作。

　　2.2 服務(wù)器

　　我們把服務(wù)器放在了Baytrail開(kāi)發(fā)板上。服務(wù)器作為與每個(gè)子模塊溝通的橋梁，它的主要作用是一個(gè)數據中樞，它接收攝像頭的識別結果，然后根據情況選擇通過(guò)socket發(fā)送給手機，或用串口發(fā)送給Arduino開(kāi)發(fā)板，協(xié)調各個(gè)部分的工作。同時(shí)，服務(wù)器要求具有一定的魯棒性，它需要能夠檢測各個(gè)部分是否正常工作并進(jìn)行糾正。

　　2.3 Android移動(dòng)應用

　　手機APP顯示的是寵物的臉，它承載的是寵物向用戶(hù)做出表情以及聲音的輸出，它會(huì )根據服務(wù)器發(fā)來(lái)的指令變換自己的表情，與用戶(hù)所做的表情同步，與用戶(hù)進(jìn)行交互，同時(shí)用戶(hù)做的表情會(huì )對寵物自身的心情值產(chǎn)生影響，當心情值足夠高時(shí)，即使沒(méi)有外界刺激，寵物也會(huì )做出開(kāi)心的表情。這一部分的主要實(shí)現方式是Android套接字(Socket)編程和異步消息處理機制，實(shí)現與服務(wù)器Baytrail開(kāi)發(fā)板的通信，接收服務(wù)器發(fā)來(lái)的控制命令并返回反饋數據。表情切換用Android活動(dòng)的切換來(lái)實(shí)現，表情顯示用Android Canvas類(lèi)進(jìn)行圖片播放來(lái)實(shí)現。