簡(jiǎn)要了解VR音頻相關(guān)技術(shù)

　　VR或3D音頻通常被稱(chēng)作是空間化，空間音頻就好像聲音來(lái)源于3D空間中的特定位置。該技術(shù)對提供深度沉浸感十分關(guān)鍵，因為聲音會(huì )給我們提供重要的線(xiàn)索，讓我們知道自己在真實(shí)三維環(huán)境中的位置。如同定位技術(shù)一樣，空間化取決于兩個(gè)關(guān)鍵因素：方向和位置。

　　HRTF（頭相關(guān)變換函數）與定向空間化

　　根據來(lái)源方向的不同，我們耳朵的幾何形狀和結構會(huì )相應地改變聲音。頭相關(guān)變換函數（HRTF）會(huì )以這些不同的效果為基礎，然后用于定位聲音。

　　如何記錄HRTF

　　要采集HRTF，人們需要進(jìn)入到消聲室中，戴上耳機，然后在每個(gè)可能的方向播放聲音，并通過(guò)耳機記錄那些聲音。把記錄到的聲音與原始聲音進(jìn)行比較，從而計算出具體的HRTF數據。這是因為兩只耳朵和可用樣本集需要在相當多的離散方向記錄聲音。當然，并不是每個(gè)人都具有相同的身體特征，也不可能記錄每個(gè)人的HRTF，因此像微軟研究院和Oculus這樣的實(shí)驗室會(huì )使用適合大多數情況的通用參考集，特別是當與頭部追蹤相結合時(shí)的參考。

　　HRTF應用

　　在準備好HRTF集之后，如果開(kāi)發(fā)者知道自己想要聲音出現的位置或來(lái)源方向，他們就可以選擇適當的HRTF數據并將其應用于聲音之中。這是以所謂的“時(shí)域卷積”或“FFT/IFFT”形式進(jìn)行實(shí)現。所以這些公司基本上會(huì )過(guò)濾音頻信號，讓聲音聽(tīng)起來(lái)像是來(lái)自一個(gè)特定的方向。這聽(tīng)起來(lái)好像很容易，但實(shí)際上成本十分昂貴，很難開(kāi)發(fā)。

　　此外，必須要用到耳機，因為揚聲器陣列會(huì )讓事情變得更復雜。

　　頭部追蹤

　　人們會(huì )通過(guò)頭部運動(dòng)來(lái)識別和定位空間中的聲音。沒(méi)有這一點(diǎn)，我們在三維空間中定位聲音的能力將大大降低。當人們把頭轉向一邊時(shí)，開(kāi)發(fā)者必須確保他們能夠在聽(tīng)覺(jué)上反映出這種運動(dòng)，否則，聲音會(huì )讓人感覺(jué)虛假，缺乏沉浸感。

　　高端耳機已經(jīng)可以追蹤人們的頭部方向，甚至在某些情況下能夠對其進(jìn)行定位。因此，如果開(kāi)發(fā)者在聲音包中加入頭部方向信息，那么他們將能夠在三維空間中投射沉浸式聲音效果。

　　距離建模

　　HRTF可以幫助公司識別聲音的方向，但卻不能幫助識別聲音的距離。人們會(huì )使用多種條件來(lái)確定或假定聲源的距離，而這些可以通過(guò)軟件進(jìn)行模擬：

　　響度

　　這可能是最簡(jiǎn)單的一個(gè)，同時(shí)也是我們最可靠的提示。開(kāi)發(fā)者可以根據用戶(hù)和聲源之間的距離來(lái)調低聲音的響度。

　　初始時(shí)間延遲

　　這很難復制，它需要根據給定的一組幾何形狀及其特性來(lái)計算早期反射。這也非常昂貴，操作起來(lái)很復雜。

　　直接/混響聲

　　任何打算以準確的方式為后期混響和反射進(jìn)行建模的系統都會(huì )出現這樣的結果。而這些系統通常非常昂貴。

　　高頻衰減

　　這是因為空氣吸收并不明顯，但這很容易通過(guò)簡(jiǎn)單的低通濾波器以及通過(guò)調整斜率和截斷頻率來(lái)進(jìn)行建模。高頻衰減不如其他距離線(xiàn)索那么重要，但我們也不能忽視它的作用。