基于雙麥克風(fēng)聲源定位的視頻跟蹤

摘要：聲源定位跟蹤技術(shù)在當今社會(huì )有著(zhù)越來(lái)越廣泛的應用。在此使用兩個(gè)高靈敏度麥克風(fēng)作為傳感器，配以音頻信號處理芯片，接收音頻信號并進(jìn)行模數轉換，使用FPGA器件作為核心控制器，結合TDOA算法和ILD算法，實(shí)現在室內環(huán)境下、二維平面內的聲源定位。并根據聲源定位的信息驅動(dòng)攝像頭轉動(dòng)，使其一直對準于聲源所在位置，并保持持續跟蹤。FPGA使用NiosⅡ內核，方便使用高級語(yǔ)言進(jìn)行程序設計。攝像頭的視頻輸出信號可接于PC機或其他視頻設備。與其他定位算法相比，系統減少了使用傳感器的數量。

在日常生活中，聲源跟蹤定位技術(shù)有著(zhù)廣泛的應用。例如在視頻會(huì )議中，聲源定位被用于檢測講話(huà)人的位置，并自動(dòng)調整攝像頭轉動(dòng)角度，使其對準講話(huà)者;舞臺演出中，聲源定位跟蹤可是攝像頭自動(dòng)保持指向主持人或主角;安防保衛系統中，聲源定位技術(shù)可使監控攝像頭在監控區域發(fā)生聲響的瞬間對準于聲源位置，并保持對移動(dòng)聲源的跟蹤。

現在常見(jiàn)的麥克風(fēng)聲源定位算法多見(jiàn)于TDOA算法，其基本原理是根據信號到達兩個(gè)不同位置的麥克風(fēng)的時(shí)間差，估計出信號到達兩個(gè)不同位置麥克風(fēng)的距離差，可以列出一個(gè)雙曲線(xiàn)方程，同時(shí)使用另外兩個(gè)不同的麥克風(fēng)同時(shí)檢測信號可以得到另外一個(gè)雙曲線(xiàn)方程，兩個(gè)雙曲線(xiàn)方程的交點(diǎn)就是聲源的位置坐標。使用這種方法進(jìn)行聲源定位時(shí)，至少要使用三個(gè)麥克風(fēng)，使用兩次TDOA算法進(jìn)行運算，才能完成一次定位操作。為了實(shí)現更精確的聲源定位，也常采用陣列技術(shù)，將多個(gè)麥克風(fēng)組成線(xiàn)陣，或方陣采集信號進(jìn)行聲源定位。但這種定位技術(shù)的算法更為復雜。本文采用兩個(gè)高靈敏度麥克風(fēng)作為傳感器，選用FPGA作為控制器，當對聲源實(shí)現定位后，控制步進(jìn)電機轉動(dòng)，使攝像頭對準聲源。當聲源位置發(fā)生移動(dòng)時(shí)，可使攝像頭自動(dòng)保持跟蹤。

1 設計原理

系統使用TDOA算法和ILD算法相結合的方法，實(shí)現聲源的定位。在二維平面，即聲源和麥克風(fēng)處于同一平面時(shí)，麥克風(fēng)接收到的信號模型在考慮信號傳播的逆平方定律時(shí)可表示為：

x(t)=s(t-τ)/d+n(t) (1)

式中：s(t)為源信號;n(t)為加性白噪聲;d和τ分別為信號到達麥克風(fēng)的距離和時(shí)延。

使用ILD方法在計算能量時(shí)可以忽略時(shí)延信息。在[0，l]時(shí)間范圍內，麥克風(fēng)接收到的信號能量，就是該時(shí)間段內信號采樣的平方和，即：

對于兩個(gè)麥克風(fēng)組成的陣列，可得到麥克風(fēng)接收到信號的能量與麥克風(fēng)距聲源距離的關(guān)系為：

求解式(6)和式(7)組成的方程組就可得到聲源位置坐標。通過(guò)進(jìn)一步的變換可以得到該方程的閉合解。

2 系統硬件設計

本文采用Altera公司的CycloneⅢ系列FPGA芯片EP3C16F484作為核心處理器。使用UDA1341芯片作為前端音頻信號采集電路的處理芯片，使用兩個(gè)高靈敏度的麥克風(fēng)作為音頻信號的傳感器。兩個(gè)麥克風(fēng)朝向同一方向，間距0.5 m并行放置。麥克風(fēng)在使用前需要標定，保證麥克風(fēng)在同一位置接受同一信號時(shí)，其接收到的信號的幅值一致。使用兩個(gè)兩相步進(jìn)電機對攝像頭的轉動(dòng)角度進(jìn)行控制。為了記錄數據，在系統中添加了一個(gè)4 Mb的FLASH存儲器，使用一片帶字庫的16x2的液晶用于顯示定位信息。為保證攝像頭的視線(xiàn)不受環(huán)境障礙物的干擾，攝像頭在放置時(shí)應該有一定的高度，一般高于麥克風(fēng)的放置高度，因此需要兩個(gè)步進(jìn)電機調整攝像頭的角度，一個(gè)調整水平轉動(dòng)角度，另一個(gè)調整俯仰角。系統框圖如圖1所示。

EP3C16F484是CycloneⅢ型FPGA，是一種低成本的應用于終端市場(chǎng)的FPGA器件，其共有15 408個(gè)邏輯單元，56個(gè)嵌入式乘法器，4個(gè)鎖相環(huán)，346個(gè)用戶(hù)定義的I/O腳?？蓾M(mǎn)足一般系統核心控制器的應用。UDA1341是一種經(jīng)濟型的音頻信號采集編碼芯片，有兩個(gè)ADC模塊，過(guò)采樣比可達128，可以編程設置其各種工作參數，如增益等。系統在啟動(dòng)時(shí)首先進(jìn)行初始化操作，通過(guò)UDA11341芯片的L3總線(xiàn)接口設置芯片的工作方式和工作參數。兩個(gè)麥克風(fēng)所接收到的音頻信號經(jīng)音頻信號采集電路處理后，轉換成離散的信號，送至FPGA中進(jìn)行處理?？刂破鞲鶕邮盏降男盘柕男蛄信袛喑鰞蓚€(gè)麥克風(fēng)接收到信號的時(shí)差和信號功率的衰減，進(jìn)而計算出聲源的位置坐標?？刂撇竭M(jìn)電機轉動(dòng)，使攝像頭對準聲源。系統同時(shí)將測得的聲源的位置坐標在LCD顯示出來(lái)。用戶(hù)在使用時(shí)可根據具體的使用環(huán)境建立定位的坐標系。確定坐標系后在系統啟動(dòng)初始化時(shí)將兩個(gè)麥克風(fēng)的位置和攝像頭的位置的坐標通過(guò)矩陣鍵盤(pán)輸入到系統中。

3 系統軟件設計

FPGA編程中常用的語(yǔ)言是VHDL和Verilog HDL語(yǔ)言。這兩種語(yǔ)言都是硬件編程語(yǔ)言，功能強大，可用于描述數字系統的結構，功能等，邏輯性非常強，但是若用于一些信號處理方面算法的編程，則難度和工作量都比較大。Altera公司推出了可移植于FPGA芯片上的NiosⅡ內核。利用該內核可以方便的裁剪系統資源，同時(shí)使用C/C++語(yǔ)言進(jìn)行程序的開(kāi)發(fā)，大大降低了利用FPGA開(kāi)發(fā)的難度。為了保證系統響應的實(shí)時(shí)性，本文使用NIOSII/f型內核。雖然占用了大量的FPGA資源，但獲得了最高的系統性能。同時(shí)添加的其他系統資源包括：片上SRAM 63 KB，一個(gè)定時(shí)器，一個(gè)串口，一個(gè)JTAG接口，一個(gè)FLASH控制器CFI，一個(gè)用于矩陣鍵盤(pán)的5位的通用I/O口，用于液晶顯示的16位通用I/O口，兩個(gè)9位的通用I/O口用于前端數據采集電路的輸入，兩個(gè)1位的I/O口用于控制兩個(gè)步進(jìn)電機。在QuartersⅡ9.0開(kāi)發(fā)環(huán)境中完成對NiosⅡ內核的配置和編譯后，在NiosⅡIDE中使用C++語(yǔ)言進(jìn)行程序的編寫(xiě)。圖2為軟件流程圖。

系統啟動(dòng)后，首先進(jìn)行初始化操作，設置UDA1341的工作方式，設置麥克風(fēng)和攝像頭的位置坐標。聲源所發(fā)出的音頻信號經(jīng)前端信號采集電路處理后變?yōu)殡x散時(shí)間信號。系統每次從前端信號處理電路的兩路輸出中讀取相同時(shí)間段的相同長(cháng)度的序列后，將其存儲在內存中，直到下次讀入數據進(jìn)行更新。系統對讀入的音頻數據進(jìn)行歸一化運算，消除兩個(gè)麥克風(fēng)接收到信號的能量的差異。然后對兩列信號進(jìn)行廣義的互相關(guān)運算，判斷是否有有效的聲源信號的輸入。若有有效地聲源信號輸入，則根據前端信號采集電路的采樣速率，計算出兩個(gè)麥克風(fēng)接收到信號的時(shí)間差。并利用存儲的原始信號計算出兩個(gè)麥克風(fēng)接收到信號的功率衰減，根據式(6)，式(7)，計算出聲源的位置坐標，并存儲。

若無(wú)有效的信號輸入，則系統繼續從前端處理電路中讀取數據，繼續判斷。系統在安裝時(shí)，為避免攝像頭的視線(xiàn)被障礙物所遮擋，攝像頭的安裝位置應高于兩個(gè)麥克風(fēng)的安裝高度。因此在計算攝像頭的轉動(dòng)角度時(shí)即需要考慮攝像頭的水平轉動(dòng)角度，也需要考慮攝像頭在垂直方向上的轉動(dòng)角度。系統計算出聲源位置坐標后，根據當前攝像頭的指向，分別計算出攝像頭在水平方向和垂直方向上需轉動(dòng)的角度，控制步進(jìn)電機進(jìn)行轉動(dòng)，使攝像頭指向聲源的位置。完成一次定位操作后，統繼續從前端電路中讀取數據，進(jìn)行下次定位操作。

4 實(shí)驗測試

由于在設計時(shí)只使用了兩個(gè)麥克風(fēng)，僅能在二維平面內實(shí)現對麥克風(fēng)正面180°范圍的定位和跟蹤，攝像頭的安放高度應高于聲源的高度，否則有可能出現攝像頭看不到聲源位置的情況。在10.8 m×7.5 m×3.5 m的室內環(huán)境進(jìn)行試驗，將麥克風(fēng)和攝像頭置于邊界，麥克風(fēng)安放高度為1.5 m，和聲源處于同一高度，攝像頭安放高度2.0 m，為了保證能夠得到方程的解，麥克風(fēng)的坐標不能設置在坐標軸上;設麥克風(fēng)1的坐標為(1.0，1.0)，麥克風(fēng)2的坐標為(1.5，1.0)。使用由信號發(fā)生器產(chǎn)生的脈沖信號作為聲源，每組信號僅有一個(gè)脈沖，頻率2 kHz，幅度3 V，每組脈沖發(fā)射間隔2 s，通過(guò)一音箱播放，室內環(huán)境保持安靜。將聲源以較慢的步速在室內移動(dòng)，系統可實(shí)現對聲源的正常跟蹤，使攝像頭一直將聲源保持在鏡頭的視野范圍內。圖3是計算機所監測到的音頻信號的波形圖。上面的波形是位于右側的麥克風(fēng)所接收到的信號，下面的波形是位于左側的麥克風(fēng)所接收到的信號，其中右側的麥克風(fēng)距離聲源的位置更近一些。從波形圖中可以看出左側的麥克風(fēng)接收到的信號相對于右側的麥克風(fēng)有一定的時(shí)延，并且接收到信號的幅值也更小一些。系統在設計時(shí)僅使用兩個(gè)麥克風(fēng)作為傳感器，當聲源移動(dòng)至兩個(gè)麥克風(fēng)連線(xiàn)的中垂線(xiàn)位置時(shí)，由于兩個(gè)麥克風(fēng)接收到的信號的能量衰減相同，無(wú)法將方程解出，此時(shí)將麥克風(fēng)稍微偏轉一下角度，使聲源偏離中垂線(xiàn)位置，即可繼續定位跟蹤。

5 結語(yǔ)

在舞臺和視頻會(huì )議中，聲源定位跟蹤技術(shù)相對于其他技術(shù)具有很多優(yōu)點(diǎn)。聲源定位跟蹤可實(shí)現全自動(dòng)的工作模式，工作過(guò)程中不需要人為控制操縱。與相同功能的紅外跟蹤定位系統相比，跟蹤目標身上不需要攜帶紅外發(fā)射裝置，不必考慮紅外發(fā)射的角度，頻率等問(wèn)題。與采用圖像識別實(shí)現跟蹤的方法相比，其系統結構、算法等各方面更為簡(jiǎn)單。同時(shí)若將攝像頭換成聚光燈，也可實(shí)現燈管的自動(dòng)跟蹤控制?，F有的設計中，如果要確定一個(gè)二維平面的點(diǎn)，至少需要三個(gè)麥克風(fēng)作為傳感器接收信號。本設計采用兩個(gè)麥克風(fēng)作為系統傳感器，使用TDOA算法和ILD算法相結合的方法實(shí)現定位操作。比現有的設計減少一個(gè)麥克風(fēng)，使系統體積更小，同時(shí)也降低了麥克風(fēng)安放的要求，使麥克風(fēng)可以根據具體環(huán)境更加靈活的放置。