多點(diǎn)觸控技術(shù)

觸控技術(shù)我們并不陌生，早就有了。銀行的取款機大多是觸摸屏，很多醫院、圖書(shū)館等的大廳都有這種觸控技術(shù)的電腦。而支持觸摸屏的手機、MP3、數碼相機也很多。觸控技術(shù)，用手指代替了鍵盤(pán)、鼠標，既顯示出了最大的人性化，又在特定的場(chǎng)合減少了鼠標、鍵盤(pán)的空間。但是這些已經(jīng)存在的觸控屏幕都是單點(diǎn)觸控，也可以說(shuō)是電阻式觸控。他的缺點(diǎn)主要是只能識別和支持每次一個(gè)手指的觸控、點(diǎn)擊，若同時(shí)有兩個(gè)以上的點(diǎn)被觸碰，就不能做出正確反應。

而多點(diǎn)觸控技術(shù)能把任務(wù)分解為兩個(gè)方面的工作，一是同時(shí)采集多點(diǎn)信號，二是對每路信號的意義進(jìn)行判斷，也就是所謂的手勢識別，從而實(shí)現屏幕識別人的五個(gè)手指同時(shí)做的點(diǎn)擊、觸控動(dòng)作。

iPhone為什么這么熱銷(xiāo)，關(guān)鍵就是它的多點(diǎn)觸控屏技術(shù)，這個(gè)對于其他手機廠(chǎng)家來(lái)說(shuō)是很致命的。蘋(píng)果公司已經(jīng)為多點(diǎn)觸控技術(shù)申請了兩個(gè)專(zhuān)利。

多點(diǎn)觸控技術(shù)并不是那么容易實(shí)現的，它是從硬件到軟件的一個(gè)有機的整體，可以說(shuō)是一個(gè)系統工程。多點(diǎn)觸控技術(shù)由硬件和軟件兩部分組成，如圖1所示。硬件就是多點(diǎn)觸控平臺，完成信號的采集;軟件部分是在硬件平臺采集數據基礎上進(jìn)行觸點(diǎn)的檢測定位、跟蹤、手勢定義與識別，最后將識別出的手勢映射為面向具體應用的用戶(hù)指令。其中身份識別技術(shù)貫串整個(gè)軟件實(shí)現過(guò)程。

圖1 多點(diǎn)觸控技術(shù)的關(guān)鍵技術(shù)

硬件平臺

目前，多點(diǎn)觸控的硬件平臺有電容式、紅外式、受抑全內反射(frustrated total internal reflection，FTIR)式、散射照明(Diffused Illumination，DI)式、激光平面(Laser Light Plane，LLP)式、散射式表明照明(Diffused Surface Illumination，DSI)式、發(fā)光二極管平面多點(diǎn)觸摸技術(shù)(LED Light Plane，LED-LP)等技術(shù)。每種技術(shù)都有其優(yōu)缺點(diǎn)，基于現有的多點(diǎn)觸控平臺存在的各種優(yōu)點(diǎn)和缺陷，有助于研制成本更加低廉、安裝移植更加方便、定位更加精確的交互式平臺，以及與此平臺無(wú)關(guān)的其他交互式技術(shù)。

遮擋分析

現有多點(diǎn)觸控平臺中，基于電容耦合電流或者基于紅外的多觸點(diǎn)檢測的精度取決于傳感器陣列的密度;而基于FTIR和多攝像頭等檢測方法都是基于計算機視覺(jué)技術(shù)的，如何完整地分割出觸點(diǎn)輪廓進(jìn)而實(shí)現觸點(diǎn)的檢測和定位本身就是計算機視覺(jué)技術(shù)領(lǐng)域的難點(diǎn)。

觸點(diǎn)檢測

多點(diǎn)觸控平臺在檢測和定位出多個(gè)觸點(diǎn)后，還需要對每個(gè)觸點(diǎn)進(jìn)行跟蹤，記錄每個(gè)觸點(diǎn)的軌跡信息，再作基于軌跡的動(dòng)態(tài)手勢識別，才能實(shí)現基于手勢的自由交互。多重觸控平臺所檢測出的目標大都沒(méi)有顏色和紋理特征，形狀特征也相似，因此傳統的基于圖像特征的多目標跟蹤方法不再適用。將主要根據觸點(diǎn)的運動(dòng)軌跡信息如用戶(hù)手指運動(dòng)的先驗知識進(jìn)行運動(dòng)估計，此外還需充分利用多攝像頭的物理位置關(guān)系約束對多攝像頭進(jìn)行一致性標記，從而實(shí)現多攝像頭多目標的跟蹤。研究?jì)热莅ㄍ粋鞲衅髑昂蟛蓸訒r(shí)間檢測到的多目標之間的一致性標記，以及不同傳感器之間多目標之間的一致性標記。

手勢定義

多點(diǎn)觸控技術(shù)最大的優(yōu)點(diǎn)就是能實(shí)現基于手勢的自由交互，手勢定義是其中的關(guān)鍵基礎。實(shí)際應用中用戶(hù)的手勢與應用背景是緊密相關(guān)的，所以在強調通用性的同時(shí)也應重視應用的導向作用。手勢的定義過(guò)程應當首先提取用戶(hù)意圖，即在特定的應用環(huán)境下用戶(hù)想要完成何種語(yǔ)義功能，然后確定用戶(hù)要實(shí)現的功能通過(guò)何種手勢來(lái)完成，并將手勢分解為多個(gè)原子手勢的組合，最終用戶(hù)的一個(gè)意圖被轉換為一系列原子手勢在特定關(guān)系下的組合。

手勢識別

多點(diǎn)觸控系統中的手勢識別是基于觸點(diǎn)運動(dòng)軌跡的動(dòng)態(tài)手勢識別，其中動(dòng)態(tài)手勢對應著(zhù)模型參數空間里的一條軌跡，涉及時(shí)間上下文和空間上下文，且不同用戶(hù)做手勢時(shí)存在的速率差異、熟練程度會(huì )在軌跡的時(shí)間軸上引起非線(xiàn)性波動(dòng)。如何消除這些非線(xiàn)性波動(dòng)是動(dòng)態(tài)手勢識別技術(shù)必須克服的一個(gè)重要問(wèn)題。

考慮到對時(shí)間軸的不同處理，現有的動(dòng)態(tài)手勢識別技術(shù)可以分歸三類(lèi)：基于隱馬爾可夫模型(Hidden Markov Models, HMM)的識別、基于動(dòng)態(tài)時(shí)間規整(Dynamic Time Warping, DTW)的識別、基于壓縮時(shí)間軸的識別。

身份識別

現有多點(diǎn)觸控技術(shù)檢測到的觸點(diǎn)大都不攜帶用戶(hù)信息，目前已知HTC的Diamond Touch平臺也最多只能識別四個(gè)用戶(hù)，而且多重觸控技術(shù)未來(lái)的一個(gè)重要應用模式將是大尺寸交互區上多用戶(hù)的協(xié)同。因此必須實(shí)現觸點(diǎn)的用戶(hù)身份識別，而且除了識別觸點(diǎn)來(lái)源于某個(gè)用戶(hù)外，有些應用還需要識別觸點(diǎn)來(lái)源于用戶(hù)的哪只手，這是多點(diǎn)觸控技術(shù)最難解決的問(wèn)題。

多點(diǎn)觸控硬件部分技術(shù)的分類(lèi)

LLP技術(shù)

主要運用紅外激光設備把紅外線(xiàn)投影到屏幕上。當屏幕被阻擋時(shí)，紅外線(xiàn)便會(huì )反射，而屏幕下的攝影機則會(huì )捕捉反射去向。再經(jīng)系統分析，便可作出反應。

FTIR技術(shù)

多點(diǎn)觸控它會(huì )在屏幕的夾層中加入LED光線(xiàn)，當用戶(hù)按下屏幕時(shí)，便會(huì )使夾層的光線(xiàn)造成不同的反射效果，感應器接收光線(xiàn)變化而捕捉用戶(hù)的施力點(diǎn)，從而作出反應。

如圖2所示，由LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后，將產(chǎn)生反射。如果屏幕表層是空氣，當入射光的角度滿(mǎn)足一定條件時(shí)，光就會(huì )在屏幕表面完全反射。但是如果有個(gè)折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板，屏幕表面全反射的條件就會(huì )被打破，部分光束透過(guò)表面，投射到手指表面。凹凸不平的手指表面導致光束產(chǎn)生散射(漫反射)，散射光透過(guò)觸摸屏后到達光電傳感器，光電傳感器將光信號轉變?yōu)殡娦盘?，系統由此獲得相應的觸摸信息。

由于多個(gè)觸點(diǎn)同時(shí)響應，新型觸摸屏充分釋放了人手的控制潛力。不再像鼠標那樣，一只手僅能夠操作一個(gè)點(diǎn)，而多點(diǎn)觸控技術(shù)是一種具有高度自由性的真正的多點(diǎn)控制界面。