ARM-Linux嵌入式語(yǔ)音終端

隨著(zhù)互聯(lián)網(wǎng)的發(fā)展，基于網(wǎng)絡(luò )的多媒體通信越來(lái)越引起人們的關(guān)注。多媒體通信的基礎是語(yǔ)音通信，為此國際電信聯(lián)盟電信組(ITU-T)創(chuàng )立了G.711、G.723、G.729等多個(gè)語(yǔ)音編碼的標準，其中G.729以其較低的編解碼復雜度、較高的語(yǔ)音質(zhì)量和很低的編解碼延時(shí)獲得了人們的青睞。G.729采用的是共軛結構的代數碼激勵線(xiàn)性預測算法CS-ACELP(Conjugate Structure Algebraic Code Excited Linear Prediction)，這是一種基于CELP編碼模型的算法。由于G.729編碼器能夠實(shí)現高語(yǔ)音質(zhì)量(MOS分4.1)和低算法延時(shí)，所以被廣泛應用于IP電話(huà)、移動(dòng)通信、多媒體網(wǎng)絡(luò )等領(lǐng)域。
1 系統介紹
　本文所研究的嵌入式語(yǔ)音終端要求能夠實(shí)現點(diǎn)對點(diǎn)的實(shí)時(shí)語(yǔ)音通信，同時(shí)具有占用系統資源少、功耗低等特點(diǎn)。為了滿(mǎn)足設計要求，系統在基于A(yíng)RM9內核硬件體系構架及嵌入式Linux操作系統平臺上移植了G.729編解碼算法。應用Linux操作系統多進(jìn)程與多線(xiàn)程編程相結合的方法以及管道通信方式來(lái)提高系統運行效率。通過(guò)Linux多進(jìn)程編程機制實(shí)現編碼模塊和解碼模塊的同步運行，在編解碼模塊內采用Linux多線(xiàn)程編程機制實(shí)現了關(guān)鍵數據緩沖區的保護和共享、調度網(wǎng)絡(luò )傳輸、音頻數據處理等功能的系統資源分配。
2 系統硬件構架
　本系統采用Mini2440開(kāi)發(fā)板作為算法平臺， Mini2440是一款基于A(yíng)RM9內核的開(kāi)發(fā)板，它采用Samsung S3C2440作為微處理器，并采用專(zhuān)業(yè)穩定的CPU內核電源芯片和復位芯片來(lái)保證系統運行時(shí)的穩定性，最高主頻達到533 MHz。系統的硬件平臺結構如圖1所示。模擬音頻信號通過(guò)音頻接口UDA1341轉換成數字音頻信號后采用DMA方式交由S3C2440微處理器編碼，處理后的數據通過(guò)網(wǎng)絡(luò )接口與遠端嵌入式語(yǔ)音終端進(jìn)行語(yǔ)音交互，也可以與計算機網(wǎng)絡(luò )的語(yǔ)音終端進(jìn)行語(yǔ)音交互。系統使用觸摸屏為人機交互介質(zhì)，基于qtopia軟件編寫(xiě)用戶(hù)使用界面，控制軟件終端的運行。

3 系統軟件設計
　Mini2440開(kāi)發(fā)板已經(jīng)移植了基于Linux-2.6.32內核的嵌入式Linux操作系統，Linux操作系統能夠方便地構建交互性好、運行穩定、可擴展性強的專(zhuān)用通信設備。系統軟件設計主要分成三部分：(1)對源代碼進(jìn)行去串行化操作，以便適應于遠程網(wǎng)絡(luò )傳輸；(2)是對算法進(jìn)行優(yōu)化，提高運行效率；(3)進(jìn)行系統軟件設計以及優(yōu)化，這是最重要的一步。系統軟件設計采用服務(wù)器—客戶(hù)端的模式，應用Linux多進(jìn)程與多線(xiàn)程相結合的編程方法實(shí)現。軟件主要由兩個(gè)進(jìn)程組成，即采樣—編碼—發(fā)送進(jìn)程和接收—解碼—播放進(jìn)程，系統通過(guò)這兩個(gè)進(jìn)程實(shí)現點(diǎn)對點(diǎn)實(shí)時(shí)語(yǔ)音通信。在Linux環(huán)境下的項目開(kāi)發(fā)中，一般使用GNU make工具來(lái)維護程序模塊關(guān)系和生成可執行文件，對G.729算法進(jìn)行移植。由于采用多線(xiàn)程的編程方法，所以在Makefile文件中需要加入對線(xiàn)程庫的支持。
3.1 源代碼去串行化
　G.729采用的是共軛結構的代數碼激勵線(xiàn)性預測算法，這是一種基于CELP編碼模型的算法。編碼器對10 ms長(cháng)的語(yǔ)音幀進(jìn)行處理，逐幀地提取CELP模型參數(LP濾波器系數、自適應碼本和固定碼本索引和增益)，然后對這些參數進(jìn)行編碼和傳輸。在解碼器端，這些參數用來(lái)恢復激勵信號和合成濾波器參數，重建語(yǔ)音是使激勵信號通過(guò)線(xiàn)性預測(LP)濾波器濾波后得到的。
　ITU-T發(fā)布的G.729語(yǔ)音編碼器的源代碼在編碼完畢后進(jìn)行了“串行化”的操作，使得經(jīng)過(guò)G.729算法處理后的數據流文件看起來(lái)比處理前的語(yǔ)音數據更大，這對語(yǔ)音信號遠程網(wǎng)絡(luò )傳輸并沒(méi)有任何作用，因此不能直接應用于工程項目。ITU-T為了在標準化方針中進(jìn)行丟幀隱藏測試，對語(yǔ)音編解碼器參考軟件的碼流格式一般要求為ITU-T G.192中規定的格式，即用16位的0x007F表示一個(gè)比特“0”，用0x0081表示一個(gè)比特“1”，每個(gè)幀頭會(huì )有同步字和包的長(cháng)度。對于同步字，0x6B20表示該幀為壞幀，0x6B21表示該幀為好幀，這導致了編碼后數據的增大。
　解決上述問(wèn)題的方法是去掉串行化代碼。在BITS.C文件中定義了4個(gè)函數：
　static void bit2byte(Word16 para，int bitlen，unsigned char*bits，int bitpos)；
　static Word16 byte2bit(int bitlen，unsigned char *bits，int bitpos)；
　void prm2bits_ld8k(int prm[]，INT16 bits[])；
　void bits2prm_ld8k(INT16 bits[]，int prm[])；
　這個(gè)文件就是編碼后流文件大小沒(méi)有變化的關(guān)鍵所在，對這4個(gè)函數進(jìn)行改寫(xiě)就可以得到壓縮后的流文件，這樣標準的ITU-T的G.729語(yǔ)音編碼器和解碼器就基本可以達到1：16的編碼效率。
3.2 程序設計方案
　系統軟件設計采用服務(wù)器/客戶(hù)端的模式，結合Linux多線(xiàn)程的編程方法，使整個(gè)系統能夠流暢地實(shí)現多用戶(hù)的接入和切換。在系統中使用IP地址作為服務(wù)器的編號，用來(lái)區分來(lái)自于不同用戶(hù)的呼叫，軟件啟動(dòng)后以服務(wù)器的形式在內存中運行，等待用戶(hù)輸入或者遠程用戶(hù)的接入，通信結束后重新返回此處等待。軟件主要由兩個(gè)進(jìn)程組成，在進(jìn)程之間采用Linux管道技術(shù)實(shí)現通信和數據傳遞，在線(xiàn)程之間采用互斥鎖的機制對關(guān)鍵數據進(jìn)行保護和實(shí)現線(xiàn)程之間的同步，以保證系統的平穩、流暢運行。系統軟件流程如圖2所示。在主進(jìn)程采樣—編碼—發(fā)送進(jìn)程中創(chuàng )建接收—解碼—播放子進(jìn)程，然后交由Linux操作系統進(jìn)行調度。在兩個(gè)進(jìn)程交互執行的過(guò)程中，采用Linux管道通信的機制進(jìn)行數據傳遞，同時(shí)使用Linux信號(signal)實(shí)現進(jìn)行間的同步。如在語(yǔ)音通信中子進(jìn)程接收—解碼—播放進(jìn)程與遠端語(yǔ)音終端網(wǎng)絡(luò )連接好以后將會(huì )發(fā)送一個(gè)同步信號給正在等待的主進(jìn)程。

　………
　int client_ready = 0；
　………
　//進(jìn)程間同步
　client_fd=accept(server_fd，(struct sockaddr*)client_addr， sin_size)；
　printf("accept a new clientn")；
　client_ready = 1；
　mysigval.sival_int=real；
　sigqueue(server_pid，SIGTERM，mysigval)；
　………
　使用多線(xiàn)程編程方法實(shí)現進(jìn)程中不同任務(wù)的同步運行，在主進(jìn)程采樣—編碼—發(fā)送進(jìn)程中，首先對編碼器進(jìn)行初始化，然后創(chuàng )建采樣和網(wǎng)絡(luò )發(fā)送線(xiàn)程。
………
//創(chuàng )建子線(xiàn)程
if(pthread_create(thread_s，NULL，speechSample，NULL)) {
printf("pthread_create failed.n")；
exit(1)；
}
if(pthread_create(thread_s，NULL，streamServer，NULL)) {
printf("pthread_create failed.n")；
exit(1)；
　}
………
　為了降低網(wǎng)絡(luò )發(fā)送線(xiàn)程的運行次數，在程序運行過(guò)程中對每20幀編碼后的數據進(jìn)行tcp包封裝后發(fā)送，這樣既提高了軟件執行效率，又降低了程序的復雜度。由編碼主線(xiàn)程維護兩個(gè)緩沖區buf1和buf2，buf1緩沖區存放等待發(fā)送的20幀數據，buf2緩沖區存放編碼線(xiàn)程正在對其進(jìn)行操作的后20幀數據，使用流水線(xiàn)方式，循環(huán)地把buf2的數據拷貝至buf1。在數據拷貝時(shí)采用線(xiàn)程互斥鎖對關(guān)鍵數據進(jìn)行保護，對互斥鎖靜態(tài)賦值后使得在同一時(shí)刻僅有一個(gè)線(xiàn)程對這一部分關(guān)鍵數據進(jìn)行操作。這樣避免了線(xiàn)程間競爭導致數據丟失，同時(shí)定義了data_move_ready旗語(yǔ)可以實(shí)現線(xiàn)程之間同步。
………
data_move_ready=0；
………
//線(xiàn)程間同步
pthread_mutex_unlock(mutex)；
data_move_ready=1；
memmove(buf1，buf2，buf_count)；
pthread_mutex_unlock(mutex)；
………
經(jīng)過(guò)以上設計，使得網(wǎng)絡(luò )數據的采集傳輸和編解碼算法之間的依賴(lài)性降低到最低，保證了數據在系統中的流暢性。軟件運行過(guò)程中，子進(jìn)程接收—解碼—播放進(jìn)程的執行機制與主進(jìn)程采樣—編碼—發(fā)送進(jìn)程的執行機制一樣，是主進(jìn)程的一個(gè)逆過(guò)程。
4 編解碼器的優(yōu)化
　G.729算法雖然有8 Kb/s的編碼速率，是編碼速率和合成語(yǔ)音質(zhì)量綜合效率最優(yōu)的壓縮算法之一，但是直接在A(yíng)RM上運行的效率卻相當低，因此需要對算法進(jìn)行優(yōu)化，提高編解碼效率。編解碼器的優(yōu)化主要采用代碼優(yōu)化的方法，針對算法運算強度最大環(huán)節或函數，應用ARM指令集將該環(huán)節或函數重載，以實(shí)現對算法的優(yōu)化。其次采用匯編語(yǔ)言的目的就是盡量避免ARM處理器流水線(xiàn)上的沖突，充分利用流水線(xiàn)的功能。
　根據語(yǔ)音編碼的特點(diǎn)，編解碼的函數都是由一些基本的加減乘除的簡(jiǎn)單函數組織而成，G.729編碼器的運算工作主要集中在LSP矢量量化、自適應碼本搜索和固定碼本搜索環(huán)節。通過(guò)對算法具體分析可知，算法運算量主要集中在L_mac()、L_mult()、L_add()、Sature()及L_sub()這幾個(gè)函數。對這些函數進(jìn)行優(yōu)化時(shí)可以將其定義為內聯(lián)函數，當該類(lèi)函數被調用時(shí)，編譯器自動(dòng)在目標代碼段展開(kāi)該類(lèi)函數，省去頻繁調用函數的開(kāi)銷(xiāo)。G.729算法中包含大量的char和short類(lèi)型變量，而32位定點(diǎn)ARM編譯器在每次存儲char和short類(lèi)型變量時(shí)需要額外操作，如果將char和short類(lèi)型局部變量改為int和unsigned int類(lèi)型則會(huì )大大降低算法的運算量。大量的if語(yǔ)句判斷增加了系統中跳轉指令，影響了流水線(xiàn)的流暢性，所以盡量減少跳轉指令的使用，通過(guò)填入其他非相關(guān)指令實(shí)現合理利用流水線(xiàn)的目的。
　本文提出采用Linux多進(jìn)程與多線(xiàn)程相結合的設計方案，并根據ARM處理器的特點(diǎn)，進(jìn)行了系統性能的優(yōu)化。系統延時(shí)為一幀數據處理時(shí)間和20幀數據Tcp封裝時(shí)間，即10 ms+20×10 ms=210 ms，在算法處理過(guò)程中沒(méi)有數據堆積，語(yǔ)音處理結果完全達到了預期效果。
參考文獻
[1] 姚天任.數字語(yǔ)音處理[M].武漢：華中科技大學(xué)出版社，2007.
[2] ITU-T. Recommendation G. 729-Anneb B A silence scheme for G. 729 optimized for terminals conforming to Recommendation V7.0[S]. Geneva： ITU， 1994.
[3] WU Chienhsuan， Huang Chinyu， Chang Junru. Applation-specific RISC achitecture for ITU-T G.729 decoding processing[M]. IEEE， 2006.
[4] 杜春雷.ARM體系結構與編程[M].北京：清華大學(xué)出版社，2003.
[5] 吳海濤.G.729語(yǔ)音編碼算法實(shí)現方法研究及DSP實(shí)現[J].哈爾濱理工大學(xué)學(xué)報，2005(6).