AR眼鏡：可視化聲音

推薦：將NSDT場(chǎng)景編輯器加入你的3D工具鏈

3D工具集：NSDT簡(jiǎn)石數字孿生

??音頻可以包括各種各樣的聲音，從人類(lèi)語(yǔ)音到非語(yǔ)音聲音，如狗吠和警笛聲。在為有聽(tīng)力障礙的人設計可訪(fǎng)問(wèn)的應用程序時(shí)，應用程序應該能夠識別聲音并理解語(yǔ)音。

??這種技術(shù)將幫助聾啞人或聽(tīng)力障礙者可視化語(yǔ)音，如人類(lèi)對話(huà)和非語(yǔ)音。將語(yǔ)音和聲音AI結合在一起，您可以將可視化效果疊加到AR眼鏡上，使用戶(hù)能夠看到和解釋他們無(wú)法聽(tīng)到的聲音。

??根據世界衛生組織的數據，約有1.5B人（占全球人口的近20%）患有聽(tīng)力損失。到2年，這個(gè)數字可能會(huì )上升到5.2050B。

??Cochl 是位于圣何塞的 NVIDIA 合作伙伴，是一家深度技術(shù)初創(chuàng )公司，使用聲音 AI 技術(shù)來(lái)理解任何類(lèi)型的音頻。他們還是 NVIDIA Inception 計劃的成員，該計劃通過(guò)提供尖端技術(shù)和 NVIDIA 專(zhuān)家的訪(fǎng)問(wèn)，幫助初創(chuàng )公司更快地構建解決方案。

該平臺可以識別37種環(huán)境聲音，該公司通過(guò)添加尖端的語(yǔ)音轉文本技術(shù)更進(jìn)一步。這讓我們對聲音世界有了真正完整的理解。

??AR眼鏡有可能極大地改善聽(tīng)力損失者的生活，作為一種可視化聲音的可訪(fǎng)問(wèn)工具。這項技術(shù)可以幫助提高他們的溝通能力，使他們更容易導航和參與周?chē)氖澜纭?/p>

?在此方案中，自動(dòng)語(yǔ)音識別 （ASR） 用于使眼鏡能夠識別和理解人類(lèi)語(yǔ)音。這項技術(shù)可以通過(guò)多種方式集成到眼鏡中：

• 使用麥克風(fēng)捕獲與聾啞人或聽(tīng)力障礙者交談的人的語(yǔ)音，然后使用 ASR 算法將語(yǔ)音解釋并轉錄為文本。然后，該文本可以顯示在眼鏡上，使聾啞人或聽(tīng)力障礙者能夠閱讀和理解語(yǔ)音。

• ASR還可用于使眼鏡能夠響應語(yǔ)音命令，以便用戶(hù)可以通過(guò)語(yǔ)音控制眼鏡。

• 他們還能夠在屏幕上顯示所有對話(huà)，例如在您開(kāi)車(chē)時(shí)從地圖轉錄語(yǔ)音方向，以及任何其他聲音，如緊急車(chē)輛的喇叭或警報聲和風(fēng)噪。

??Cochl 使用 NVIDIA Riva 在其軟件堆棧中為其 ASR 功能提供支持。Riva 是一個(gè) GPU 加速、完全可定制的 SDK，用于開(kāi)發(fā)語(yǔ)音 AI 應用程序。通過(guò)使用麗娃，該平臺已經(jīng)能夠擴展其理解各種聲音的能力，包括非語(yǔ)音聲音。

??“我們已經(jīng)測試了許多語(yǔ)音識別服務(wù)，但只有麗娃提供了異常高和穩定的實(shí)時(shí)性能。所以現在我們可以讓我們的聲音人工智能系統更接近人類(lèi)的聽(tīng)覺(jué)感知，“Cochl的聯(lián)合創(chuàng )始人兼首席執行官Yoonchang Han說(shuō)。

??“正如我們所觀(guān)察到的，AR眼鏡最有可能用于環(huán)境嘈雜的開(kāi)放空間。NVIDIA Riva 幫助我們即使在嘈雜的環(huán)境中也能準確轉錄語(yǔ)音，并為我們提供了無(wú)縫體驗，可以集成到我們的 Cochl.Sense 平臺中。

??創(chuàng )建一個(gè)像人類(lèi)一樣感知聲音的通用人工智能系統是一個(gè)巨大的挑戰。為了使AR眼鏡更容易獲得，需要更輕的可穿戴技術(shù)。

??然而，在這一點(diǎn)上，它們仍然是將聲音和語(yǔ)音轉換為視覺(jué)信息的理想媒介。通過(guò)集成機器聆聽(tīng)功能，AR眼鏡可以為世界各地的聾啞人或聽(tīng)力障礙者帶來(lái)更安全、更方便、更愉快的日常生活。

??Cochl還在探索語(yǔ)音AI的更多用例，例如為AR眼鏡上的任何視頻提供隱藏式字幕，以及可視化多說(shuō)話(huà)人轉錄。為了給有聽(tīng)力障礙的人提供最佳體驗，他們正在探索分析和可視化音樂(lè )的方法，以幫助他們至少理解音樂(lè )的流派和情感。

他們很高興嘗試更多 NVIDIA 解決方案，包括 Riva、NVIDIA NeMo 和 NVIDIA TensorRT。

• 原文鏈接：AR眼鏡：可視化聲音 (mvrlink.com)