人機交互的語(yǔ)音識別技術(shù)

在人際交往中，言語(yǔ)是最自然并且最直接的方式之一。隨著(zhù)技術(shù)的進(jìn)步，越來(lái)越多的人們也期望計算機能夠具備與人進(jìn)行言語(yǔ)溝通的能力，因此，語(yǔ)音識別這一技術(shù)也越來(lái)越受到關(guān)注。尤其，隨著(zhù)深度學(xué)習技術(shù)應用在語(yǔ)音識別技術(shù)中，使得語(yǔ)音識別的性能得到了顯著(zhù)提升，也使得語(yǔ)音識別技術(shù)的普及成為了現實(shí)。

語(yǔ)音識別技術(shù)

自動(dòng)語(yǔ)音識別技術(shù)，簡(jiǎn)單來(lái)說(shuō)其實(shí)就是利用計算機將語(yǔ)音信號自動(dòng)轉換為文本的一項技術(shù)。這項技術(shù)同時(shí)也是機器理解人類(lèi)言語(yǔ)的第一個(gè)也是很重要的一個(gè)過(guò)程。

語(yǔ)音識別是一門(mén)交叉學(xué)科，所涉及的領(lǐng)域有信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽(tīng)覺(jué)機理、人工智能等等，甚至還涉及到人的體態(tài)語(yǔ)言（如人民在說(shuō)話(huà)時(shí)的表情手勢等行為動(dòng)作可幫助對方理解）。其應用領(lǐng)域也非常廣，例如相對于鍵盤(pán)輸入方法的語(yǔ)音輸入系統、可用于工業(yè)控制的語(yǔ)音控制系統及服務(wù)領(lǐng)域的智能對話(huà)查詢(xún)系統，在信息高度化的今天，語(yǔ)音識別技術(shù)及其應用已成為信息社會(huì )不可或缺的重要組成部分。

語(yǔ)音識別技術(shù)的發(fā)展歷史

語(yǔ)音識別技術(shù)的研究開(kāi)始二十世紀50年代。1952年，AT&Tbell實(shí)驗室的Davis等人成功研制出了世界上第一個(gè)能識別十個(gè)英文數字發(fā)音的實(shí)驗系統：Audry系統。

60年代計算機的應用推動(dòng)了語(yǔ)音識別技術(shù)的發(fā)展，提出兩大重要研究成果：動(dòng)態(tài)規劃(Dynamic Planning， DP)和線(xiàn)性預測分析(Linear Predict， LP)，其中后者較好的解決了語(yǔ)音信號產(chǎn)生模型的問(wèn)題，對語(yǔ)音識別技術(shù)的發(fā)展產(chǎn)生了深遠影響。

70年代，語(yǔ)音識別領(lǐng)域取得突破性進(jìn)展。線(xiàn)性預測編碼技術(shù)(Linear Predict Coding， LPC)被Itakura成功應用于語(yǔ)音識別；Sakoe和Chiba將動(dòng)態(tài)規劃的思想應用到語(yǔ)音識別并提出動(dòng)態(tài)時(shí)間規整算法，有效的解決了語(yǔ)音信號的特征提取和不等長(cháng)語(yǔ)音匹配問(wèn)題；同時(shí)提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。在同一時(shí)期，統計方法開(kāi)始被用來(lái)解決語(yǔ)音識別的關(guān)鍵問(wèn)題，這為接下來(lái)的非特定人大詞匯量連續語(yǔ)音識別技術(shù)走向成熟奠定了重要的基礎。

80年代，連續語(yǔ)音識別成為語(yǔ)音識別的研究重點(diǎn)之一。Meyers和Rabiner研究出多級動(dòng)態(tài)規劃語(yǔ)音識別算法(Level Building，LB)這一連續語(yǔ)音識別算法。80年代另一個(gè)重要的發(fā)展是概率統計方法成為語(yǔ)音識別研究方法的主流，其顯著(zhù)特征是HMM模型在語(yǔ)音識別中的成功應用。1988年，美國卡內基－梅隆大學(xué)(CMU)用VQ/HMM方法實(shí)現了997詞的非特定人連續語(yǔ)音識別系統SPHINX。在這一時(shí)期，人工神經(jīng)網(wǎng)絡(luò )在語(yǔ)音識別中也得到成功應用。

進(jìn)入90年代后，隨著(zhù)多媒體時(shí)代的來(lái)臨，迫切要求語(yǔ)音識別系統從實(shí)驗走向實(shí)用，許多發(fā)達國家如美國、日本、韓國以及IBM、Apple、AT&T、NTT等著(zhù)名公司都為語(yǔ)音識別系統實(shí)用化的開(kāi)發(fā)研究投以巨資。最具代表性的是IBM的ViaVoice和Dragon公司的Dragon Dectate系統。這些系統具有說(shuō)話(huà)人自適應能力，新用戶(hù)不需要對全部詞匯進(jìn)行訓練便可在使用中不斷提高識別率。

當前，美國在非特定人大詞匯表連續語(yǔ)音隱馬爾可夫模型識別方面起主導作用，而日本則在大詞匯表連續語(yǔ)音神經(jīng)網(wǎng)絡(luò )識別、模擬人工智能進(jìn)行語(yǔ)音后處理方面處于主導地位。

我國在七十年代末就開(kāi)始了語(yǔ)音技術(shù)的研究，但在很長(cháng)一段時(shí)間內，都處于緩慢發(fā)展的階段。直到八十年代后期，國內許多單位紛紛投入到這項研究工作中去，其中有中科院聲學(xué)所，自動(dòng)化所，清華大學(xué)，四川大學(xué)和西北工業(yè)大學(xué)等科研機構和高等院校，大多數研究者致力于語(yǔ)音識別的基礎理論研究工作、模型及算法的研究和改進(jìn)。但由于起步晚、基礎薄弱，計算機水平不發(fā)達，導致在整個(gè)八十年代，我國在語(yǔ)音識別研究方面并沒(méi)有形成自己的特色，更沒(méi)有取得顯著(zhù)的成果和開(kāi)發(fā)出大型性能優(yōu)良的實(shí)驗系統。

但進(jìn)入九十年代后，我國語(yǔ)音識別研究的步伐就逐漸緊追國際先進(jìn)水平了，在“八五”、“九五”國家科技攻關(guān)計劃、國家自然科學(xué)基金、國家863計劃的支持下，我國在中文語(yǔ)音技術(shù)的基礎研究方面也取得了一系列成果。

在語(yǔ)音合成技術(shù)方面，中國科大訊飛公司已具有國際上最領(lǐng)先的核心技術(shù)；中科院聲學(xué)所也在長(cháng)期積累的基礎上，研究開(kāi)發(fā)出頗具特色的產(chǎn)品：在語(yǔ)音識別技術(shù)方面，中科院自動(dòng)化所具有相當的技術(shù)優(yōu)勢：社科院語(yǔ)言所在漢語(yǔ)言學(xué)及實(shí)驗語(yǔ)言科學(xué)方面同樣具有深厚的積累。但是，這些成果并沒(méi)有得到很好的應用，沒(méi)有轉化成產(chǎn)業(yè)；相反，中文語(yǔ)音技術(shù)在技術(shù)、人才、市場(chǎng)等方面正面臨著(zhù)來(lái)自國際競爭環(huán)境中越來(lái)越嚴峻的挑戰和壓力。

語(yǔ)音識別系統的結構

主要包括語(yǔ)音信號的采樣和預處理部分、特征參數提取部分、語(yǔ)音識別核心部分以及語(yǔ)音識別后處理部分，圖中給出了語(yǔ)音識別系統的基本結構。

語(yǔ)音識別的過(guò)程是一個(gè)模式識別匹配的過(guò)程。在這個(gè)過(guò)程中，首先要根據人的語(yǔ)音特點(diǎn)建立語(yǔ)音模型，對輸入的語(yǔ)音信號進(jìn)行分析，并抽取所需的特征，在此基礎上建立語(yǔ)音識別所需的模式。而在識別過(guò)程中要根據語(yǔ)音識別的整體模型，將輸入的語(yǔ)音信號的特征與已經(jīng)存在的語(yǔ)音模式進(jìn)行比較，根據一定的搜索和匹配策略，找出一系列最優(yōu)的與輸入的語(yǔ)音相匹配的模式。然后，根據此模式號的定義，通過(guò)查表就可以給出計算機的識別結果。

語(yǔ)音識別系統的分類(lèi)

根據識別的對象不同，語(yǔ)音識別任務(wù)大體可分為三類(lèi)，即孤立詞識別（isolated word recognition)，關(guān)鍵詞識別（或稱(chēng)關(guān)鍵詞檢出，keyword spotting)和連續語(yǔ)音識別。

孤立詞識別的任務(wù)是識別事先已知的孤立的詞，如“開(kāi)機”、“關(guān)機”等；連續語(yǔ)音識別的任務(wù)則是識別任意的連續語(yǔ)音，如一個(gè)句子或一段話(huà)；連續語(yǔ)音流中的關(guān)鍵詞檢測針對的是連續語(yǔ)音，但它并不識別全部文字，而只是檢測已知的若干關(guān)鍵詞在何處出現，如在一段話(huà)中檢測“計算機”、“世界”這兩個(gè)詞。

根據針對的發(fā)音人，可以把語(yǔ)音識別技術(shù)分為特定人語(yǔ)音識別和非特定人語(yǔ)音識別，前者只能識別一個(gè)或幾個(gè)人的語(yǔ)音，而后者則可以被任何人使用。顯然，非特定人語(yǔ)音識別系統更符合實(shí)際需要，但它要比針對特定人的識別困難得多。

另外，根據語(yǔ)音設備和通道，可以分為桌面（PC）語(yǔ)音識別、電話(huà)語(yǔ)音識別和嵌入式設備（手機、PDA等）語(yǔ)音識別。不同的采集通道會(huì )使人的發(fā)音的聲學(xué)特性發(fā)生變形，因此需要構造各自的識別系統。

語(yǔ)音識別技術(shù)類(lèi)型

目前具有代表性的語(yǔ)音識別技術(shù)主要有動(dòng)態(tài)時(shí)間規整技術(shù)（DTW）、隱馬爾可夫模型（HMM）、矢量量化（VQ）、人工神經(jīng)網(wǎng)絡(luò )（ANN）、支持向量機(SVM)等技術(shù)方法。

動(dòng)態(tài)時(shí)間規整算法（DynamicTime Warping，DTW）

是在非特定人語(yǔ)音識別中一種簡(jiǎn)單有效的方法，該算法基于動(dòng)態(tài)規劃的思想，解決了發(fā)音長(cháng)短不一的模板匹配問(wèn)題，是語(yǔ)音識別技術(shù)中出現較早、較常用的一種算法。在應用DTW算法進(jìn)行語(yǔ)音識別時(shí)，就是將已經(jīng)預處理和分幀過(guò)的語(yǔ)音測試信號和參考語(yǔ)音模板進(jìn)行比較以獲取他們之間的相似度，按照某種距離測度得出兩模板間的相似程度并選擇最佳路徑。

隱馬爾可夫模型（HMM）

是語(yǔ)音信號處理中的一種統計模型，是由Markov鏈演變來(lái)的，所以它是基于參數模型的統計識別方法。由于其模式庫是通過(guò)反復訓練形成的與訓練輸出信號吻合概率最大的最佳模型參數而不是預先儲存好的模式樣本，且其識別過(guò)程中運用待識別語(yǔ)音序列與HMM參數之間的似然概率達到最大值所對應的最佳狀態(tài)序列作為識別輸出，因此是較理想的語(yǔ)音識別模型。

矢量量化（VectorQuantization）

是一種重要的信號壓縮方法。與HMM相比，矢量量化主要適用于小詞匯量、孤立詞的語(yǔ)音識別中。其過(guò)程是將若干個(gè)語(yǔ)音信號波形或特征參數的標量數據組成一個(gè)矢量在多維空間進(jìn)行整體量化。把矢量空間分成若干個(gè)小區域，每個(gè)小區域尋找一個(gè)代表矢量，量化時(shí)落入小區域的矢量就用這個(gè)代表矢量代替。矢量量化器的設計就是從大量信號樣本中訓練出好的碼書(shū)，從實(shí)際效果出發(fā)尋找到好的失真測度定義公式，設計出最佳的矢量量化系統，用最少的搜索和計算失真的運算量實(shí)現最大可能的平均信噪比。

在實(shí)際的應用過(guò)程中，人們還研究了多種降低復雜度的方法，包括無(wú)記憶的矢量量化、有記憶的矢量量化和模糊矢量量化方法。

人工神經(jīng)網(wǎng)絡(luò )（ANN）

是20世紀80年代末期提出的一種新的語(yǔ)音識別方法。其本質(zhì)上是一個(gè)自適應非線(xiàn)性動(dòng)力學(xué)系統，模擬了人類(lèi)神經(jīng)活動(dòng)的原理，具有自適應性、并行性、魯棒性、容錯性和學(xué)習特性，其強大的分類(lèi)能力和輸入—輸出映射能力在語(yǔ)音識別中都很有吸引力。其方法是模擬人腦思維機制的工程模型，它與HMM正好相反，其分類(lèi)決策能力和對不確定信息的描述能力得到舉世公認，但它對動(dòng)態(tài)時(shí)間信號的描述能力尚不盡如人意，通常MLP分類(lèi)器只能解決靜態(tài)模式分類(lèi)問(wèn)題，并不涉及時(shí)間序列的處理。盡管學(xué)者們提出了許多含反饋的結構，但它們仍不足以刻畫(huà)諸如語(yǔ)音信號這種時(shí)間序列的動(dòng)態(tài)特性。由于A(yíng)NN不能很好地描述語(yǔ)音信號的時(shí)間動(dòng)態(tài)特性，所以常把ANN與傳統識別方法結合，分別利用各自?xún)?yōu)點(diǎn)來(lái)進(jìn)行語(yǔ)音識別而克服HMM和ANN各自的缺點(diǎn)。

近年來(lái)結合神經(jīng)網(wǎng)絡(luò )和隱含馬爾可夫模型的識別算法研究取得了顯著(zhù)進(jìn)展，其識別率已經(jīng)接近隱含馬爾可夫模型的識別系統，進(jìn)一步提高了語(yǔ)音識別的魯棒性和準確率。

支持向量機（Supportvector machine）

是應用統計學(xué)理論的一種新的學(xué)習機模型，采用結構風(fēng)險最小化原理（Structural Risk Minimization，SRM），有效克服了傳統經(jīng)驗風(fēng)險最小化方法的缺點(diǎn)。兼顧訓練誤差和泛化能力，在解決小樣本、非線(xiàn)性及高維模式識別方面有許多優(yōu)越的性能，已經(jīng)被廣泛地應用到模式識別領(lǐng)域。

語(yǔ)音識別技術(shù)的難點(diǎn)及對策

語(yǔ)音識別技術(shù)的發(fā)展，達不到實(shí)用要求的，主要表現在以下方面 ：

(1) 自適應問(wèn)題 。

語(yǔ)音識別系統的自適應性差體現在對環(huán)境條件的依賴(lài)性強?，F有倒譜歸一化技術(shù)、相對譜(RASTA)技術(shù)、LINLOG RASTA 技術(shù)等自適應訓練方法。

(2)噪聲問(wèn)題。

語(yǔ)音識別系統在噪聲環(huán)境下使用，講話(huà)人產(chǎn)生情緒或心里上的變化 ，導致發(fā)音失真、發(fā)音速度和音調改變 ，產(chǎn)生Lombard/Loud 效應。常用的抑制噪聲的方法有譜減法、環(huán)境規正技術(shù)、不修正語(yǔ)音信號而是修正識別器模型使之適合噪聲、建立噪聲模型。

(3)語(yǔ)音識別基元的選取問(wèn)題 。

一般地，欲識別的詞匯量越多，所用基元應越小越好。

(4 )端點(diǎn)檢測。 

語(yǔ)音信號的端點(diǎn)檢測是語(yǔ)音識別的關(guān)鍵第一步。研究表明，即使在安靜的環(huán)境下，語(yǔ)音識別系統一半以上的識別錯誤來(lái)自端點(diǎn)檢測器。提高端點(diǎn)檢測技術(shù)的關(guān)鍵在于尋找穩定的語(yǔ)音參數 。

(5 )其它如識別速度問(wèn)題 、拒識問(wèn)題以及關(guān)鍵詞檢測技術(shù)(即從連續語(yǔ)音中去除 “啊”、“唉”的語(yǔ)氣助詞，獲得真正待識別的語(yǔ)音部分 )、對用戶(hù)的錯誤輸入不能正確響應等問(wèn)題 。

語(yǔ)音識別的應用

語(yǔ)音識別可以應用的領(lǐng)域大致分為大五類(lèi)：

辦公室或商務(wù)系統。典型的應用包括：填寫(xiě)數據表格、數據庫管理和控制、鍵盤(pán)功能增強等等。

制造業(yè)。

在質(zhì)量控制中，語(yǔ)音識別系統可以為制造過(guò)程提供一種“不用手”、“不用眼”的檢控（部件檢查）。

電信。

相當廣泛的一類(lèi)應用在撥號電話(huà)系統上都是可行的，包括話(huà)務(wù)員協(xié)助服務(wù)的自動(dòng)化、國際國內遠程電子商務(wù)、語(yǔ)音呼叫分配、語(yǔ)音撥號、分類(lèi)訂貨。

醫療。

這方面的主要應用是由聲音來(lái)生成和編輯專(zhuān)業(yè)的醫療報告。

其他。

包括由語(yǔ)音控制和操作的游戲和玩具、幫助殘疾人的語(yǔ)音識別系統、車(chē)輛行駛中一些非關(guān)鍵功能的語(yǔ)音控制，如車(chē)載交通路況控制系統、音響系統。

隨著(zhù)移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是移動(dòng)終端的小型化、多樣化變化趨勢，語(yǔ)音識別成為區別于鍵盤(pán)、觸屏的人機交互手段之一。隨著(zhù)語(yǔ)音識別算法模型、自適應性的加強，相信在未來(lái)很長(cháng)一段時(shí)間內，語(yǔ)音識別系統的應用將更加廣泛與深入，更多豐富的移動(dòng)終端語(yǔ)音識別產(chǎn)品將步入人們的日常生活。