Google開(kāi)源Live Transcribe的語(yǔ)音引擎，為長(cháng)篇對話(huà)提供字幕

8月18日，Google宣布開(kāi)源Android語(yǔ)音識別轉錄工具Live Transcribe的語(yǔ)音引擎。

這家公司希望這樣做可以讓任何開(kāi)發(fā)人員為長(cháng)篇對話(huà)提供字幕，減少因網(wǎng)絡(luò )延遲、斷網(wǎng)等問(wèn)題導致的溝通障礙。源代碼現在可以在GitHub上獲得。這意味著(zhù)無(wú)論你是出國或是與新朋友見(jiàn)面，Live Transcribe都可以幫助你進(jìn)行溝通。

交流時(shí)可以實(shí)時(shí)暢通（只要有網(wǎng)絡(luò )）

Google于今年2月發(fā)布了Live Transcribe。該工具使用機器學(xué)習算法將音頻轉換為實(shí)時(shí)字幕，與Android即將推出的Live Caption功能不同，Live Transcribe是一種全屏體驗，使用智能手機的麥克風(fēng)（或外接麥克風(fēng)），并依賴(lài)于Google Cloud Speech API。Live Transcribe可以用70多種語(yǔ)言和方言標題實(shí)時(shí)口語(yǔ)。另一個(gè)主要區別是Live Transcribe可在18億臺Android設備上使用（當Live Caption在今年晚些時(shí)候推出時(shí)，它只適用于部分Android Q設備）。

在云上工作

Google的Cloud Speech API目前不支持發(fā)送無(wú)限長(cháng)的音頻流。此外，依賴(lài)云意味著(zhù)網(wǎng)絡(luò )連接、數據成本和延遲方面都有潛在問(wèn)題。

結果，語(yǔ)音引擎在達到超時(shí)之前關(guān)閉并重新啟動(dòng)流請求，包括在長(cháng)時(shí)間靜默期間重新開(kāi)始會(huì )話(huà)并且每當語(yǔ)音中檢測到暫停時(shí)關(guān)閉。在會(huì )話(huà)之間，語(yǔ)音引擎還在本地緩沖音頻，然后在重新連接時(shí)發(fā)送它。因此，Google避免了截斷的句子或單詞，并減少了會(huì )話(huà)中丟失的文本量。

70多種語(yǔ)言和方言中挑選自己合適的

為了降低帶寬需求和成本，Google還評估了不同的音頻編解碼器：FLAC，AMR-WB和Opus。FLAC（無(wú)損編解碼器）可以保持準確性，不會(huì )節省太多數據，并且具有明顯的編解碼器延遲。AMR-WB可以節省大量數據，但在嘈雜的環(huán)境中準確度較低。

與此同時(shí)，Opus允許數據速率比大多數音樂(lè )流媒體服務(wù)低許多倍，同時(shí)仍保留音頻信號的重要細節。Google還會(huì )在長(cháng)時(shí)間的靜音期間使用語(yǔ)音檢測來(lái)關(guān)閉網(wǎng)絡(luò )連接。

總體而言，該團隊能夠實(shí)現“在不影響準確性的情況下，將數據使用量減少10倍”。

為了比Cloud Speech API更進(jìn)一步減少延遲，Live Transcribe使用自定義Opus編碼器。編碼器恰好提高了比特率，使“延遲在視覺(jué)上無(wú)法區分發(fā)送未壓縮的音頻”。

Live Transcribe語(yǔ)音引擎功能

Google列出了語(yǔ)音引擎的以下功能（不包括說(shuō)話(huà)人識別）：

●無(wú)限流媒體。

●支持70多種語(yǔ)言。

●可以簡(jiǎn)化網(wǎng)絡(luò )丟失（在網(wǎng)絡(luò )和Wi-Fi之間切換時(shí)）。文字不會(huì )丟失，只會(huì )延遲。

●強大的擴展網(wǎng)絡(luò )損耗。即使網(wǎng)絡(luò )已經(jīng)停電數小時(shí)，也會(huì )重新連接。當然，沒(méi)有連接就不能進(jìn)行語(yǔ)音識別。

●可以輕松啟用和配置Opus，AMR-WB和FLAC編碼。

●包含文本格式庫，用于可視化ASR置信度、發(fā)言人ID等。

●可離線(xiàn)模型擴展。

●內置支持語(yǔ)音檢測器，可在延長(cháng)靜音期間用于停止ASR，以節省資金和數據。

●內置支持揚聲器識別，可根據揚聲器編號標記或著(zhù)色文本。

字幕會(huì )隨著(zhù)對話(huà)的深入而調整

該文檔指出這些庫與生產(chǎn)應用程序Live Transcribe中運行的庫“幾乎相同”。Google已對其進(jìn)行了“廣泛的現場(chǎng)測試和單元測試”，但測試本身并非開(kāi)源。但Google確實(shí)提供了APK，因此開(kāi)發(fā)者可以在不構建任何代碼的情況下試用該庫。

via：android.com  venturebeat

本文轉自雷鋒網(wǎng)，如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。

原文章地址為Google開(kāi)源Live Transcribe的語(yǔ)音引擎，為長(cháng)篇對話(huà)提供字幕