OPPO小布助手5篇論文入選國際語(yǔ)音頂會(huì )Interspeech 2023

近日，語(yǔ)音技術(shù)領(lǐng)域國際會(huì )議Interspeech公布了本屆論文審稿結果，OPPO小布智能中心智能交互部語(yǔ)音技術(shù)組有5篇論文被大會(huì )收錄。本次被接收的論文研究方向涵蓋語(yǔ)音識別、模型壓縮、目標說(shuō)話(huà)人提取、語(yǔ)音鑒偽、異常聲音檢測等。

Interspeech是國際語(yǔ)音通信協(xié)會(huì )（International Speech Communication Association, ISCA）舉辦的年度會(huì )議，也是全球最大、最全面的專(zhuān)注于語(yǔ)音通信領(lǐng)域的學(xué)術(shù)盛會(huì )。Interspeech會(huì )議已成為該領(lǐng)域中來(lái)自各行各業(yè)的專(zhuān)家、研究人員、學(xué)生等，共同探討、交流和分享前沿的語(yǔ)音技術(shù)、認知和創(chuàng )新的聚集地。本屆Interspeech會(huì )議將于2023年8月20日至8月24日于愛(ài)爾蘭都柏林舉辦。

論文題目：Multi-Channel Multi-Speaker Transformer for Speech Recognition

論文作者：郭一凡，田垚，索宏彬，萬(wàn)玉龍

論文單位：OPPO

核心內容：隨著(zhù)線(xiàn)上會(huì )議和車(chē)載語(yǔ)音助手的發(fā)展，遠場(chǎng)多說(shuō)話(huà)人語(yǔ)音識別已經(jīng)成為了一個(gè)熱門(mén)的研究課題。近日，研究人員提出了一種多通道Transformer結構（Multi-Channel Transformer, MCT）。這一工作證明了Transformer結構具有建模遠場(chǎng)聲學(xué)環(huán)境的能力。然而，當存在多個(gè)說(shuō)話(huà)人同時(shí)發(fā)聲時(shí)，說(shuō)話(huà)人之間存在的相互干擾，會(huì )導致MCT無(wú)法直接從多人混合音頻中直接為每個(gè)說(shuō)話(huà)人編碼出對應的高維聲學(xué)特征?；诖?，我們在本文中提出了多通道多說(shuō)話(huà)人Transformer語(yǔ)音識別結構。在SMS-WSJ開(kāi)源數據集上的實(shí)驗顯示，我們提出的結構相較于基于神經(jīng)網(wǎng)絡(luò )波束形成器（Neural Beamformer），MCT，具有轉換平均連接的雙路徑RNN（Dual-Path RNN with
Transform-Average-Concatenate）以及多通道深度聚類(lèi)（Multi-Channel Deep Clustering）的方法，識別詞錯率分別下降了相對9.2%, 14.3%, 24.9%和52.2%。

論文題目：Task-Agnostic Structured Pruning of Speech Representation Models

論文作者：王皓宇，王思遠，張衛強，萬(wàn)玉龍

論文單位：清華大學(xué)，OPPO

核心內容：近年來(lái)，基于無(wú)監督預訓練技術(shù)的語(yǔ)音表征模型為許多語(yǔ)音任務(wù)帶來(lái)了顯著(zhù)的進(jìn)步，但另一方面，這些模型通常包括大量的參數，對硬件平臺的計算能力和內存空間有很高的要求。為了將大模型部署到生產(chǎn)環(huán)境，模型壓縮技術(shù)至關(guān)重要。結構化剪枝不需要特殊硬件就可以實(shí)現參數壓縮和推理加速，是一種對硬件友好的模型壓縮方法，但同時(shí)也會(huì )帶來(lái)較大的性能損失。為了彌補性能損失，我們提出了一種細粒度的注意力頭剪枝方法；除此之外，我們將梯度直通估計（Straight Through Estimator，STE）引入到L0正則化剪枝方法中，讓模型參數的分布更加緊湊，從而實(shí)現了進(jìn)一步的加速。我們在SUPERB排行榜上的實(shí)驗表明，我們的壓縮模型比Wav2vec 2.0 Base模型平均性能更好，同時(shí)參數量比前者減少30%，推理時(shí)間比前者減少50%。

論文題目：SEF-Net: Speaker Embedding Free Target Speaker Extraction Network

論文作者：曾邦，索宏彬，李明

論文單位：武漢大學(xué)，昆山杜克大學(xué)，OPPO

核心內容：主流的目標說(shuō)話(huà)人分離方法使用目標人的聲紋embedding作為參考信息。獲取聲紋embedding的方式主要有兩種：一是使用預訓練的說(shuō)話(huà)人識別模型進(jìn)行聲紋提取，二是采用多任務(wù)學(xué)習聯(lián)合訓練說(shuō)話(huà)人識別模型來(lái)提取聲紋。然而，由這兩種方案的聲紋提取模塊都是面向說(shuō)話(huà)人識別任務(wù)進(jìn)行最優(yōu)化訓練的，所提取的聲紋embedding對于目標說(shuō)話(huà)人分離任務(wù)可能并不是最優(yōu)的。本文提出一種新穎的、不依賴(lài)于聲紋embedding的時(shí)域目標說(shuō)話(huà)人分離網(wǎng)絡(luò )SEF-Net。SEF-Net在Transformer解碼器中使用跨多頭注意力來(lái)隱式地學(xué)習注冊語(yǔ)音的Conformer編碼輸出中的說(shuō)話(huà)人信息并進(jìn)行目標說(shuō)話(huà)人分離。實(shí)驗結果表明，SEF-Net與其他主流目標說(shuō)話(huà)人提取模型相比具有可比性的性能。SEF-Net為在不使用預訓練說(shuō)話(huà)人識別模型或說(shuō)話(huà)人識別損失函數的情況下進(jìn)行目標說(shuō)話(huà)人提取提供了新的可行方案。

論文題目：Robust Audio Anti-Spoofing Countermeasure with Joint Training of Front-End and Back-End Models

論文作者：王興明，曾邦，萬(wàn)玉龍，李明

論文單位：武漢大學(xué)，昆山杜克大學(xué)，OPPO

核心內容：很多語(yǔ)音信號處理系統的準確性和可靠性在噪聲環(huán)境下往往會(huì )急劇下降。本文討論了在噪聲環(huán)境中的魯棒偽造語(yǔ)音檢測方法構建。首先，我們嘗試使用預訓練的語(yǔ)音增強模型作為前端模型，并構建級聯(lián)系統。然而，增強模型的獨立降噪過(guò)程可能會(huì )扭曲語(yǔ)音合成產(chǎn)生的偽影或抹除包含在語(yǔ)音中的與偽造相關(guān)信息，進(jìn)而導致偽造語(yǔ)音檢測性能下降。因此，本文提出了一種新的前端語(yǔ)音增強與后端偽造語(yǔ)音檢測聯(lián)合訓練的框架，來(lái)實(shí)現對噪聲場(chǎng)景魯棒的偽造語(yǔ)音檢測模型構建。所提出的聯(lián)合訓練框架在帶噪場(chǎng)景的ASVSpoof 2019 LA數據集和FAD數據集上均驗證了比樸素的偽造語(yǔ)音檢測后端更加有效。此外，本文還提出了一種交叉聯(lián)合訓練方案，使單個(gè)模型的性能可以達到不同模型得分融合的結果，從而使聯(lián)合框架更加有效和高效。

論文題目：Outlier-aware Inlier Modeling and Multi-scale Scoring for Anomalous Sound Detection via Multitask Learning

論文作者：章羽聰，索宏彬，萬(wàn)玉龍，李明

論文單位：昆山杜克大學(xué)、OPPO

核心內容：本文提出了一種異常聲音檢測方法，通過(guò)多任務(wù)學(xué)習將異常樣本曝光（outlier exposure）和內部建模（inlier modeling）融合在一個(gè)統一的框架內?；诋惓颖酒毓獾姆椒梢杂行У靥崛√卣?，但其魯棒性有待提高。內部建模能夠生成魯棒的特征，但這些特征的效果并不理想。最近，一些串行和并行方法被提出來(lái)將這兩種方法結合起來(lái)，但它們都需要額外的步驟完成模型建模。這對于模型的訓練和維護都造成了一些不便。為了克服這些限制，我們使用多任務(wù)學(xué)習的方法訓練了一個(gè)基于Conformer的編碼器，用于異常感知的內部建模。此外，我們的方法在進(jìn)行推理的時(shí)候考慮了多尺度的異常打分，可以更加全面的評估異常值。在MIMII和DCASE 2020任務(wù)2數據集上的實(shí)驗結果表明，我們的方法優(yōu)于最先進(jìn)的單模型系統，并且與比賽中排名靠前的多系統集成模型有相當的能力。