利用CPU和SVE2加速視訊譯碼和圖像處理

隨著(zhù)每一代新產(chǎn)品的推出，Arm CPU 會(huì )實(shí)現全新一代的效能提升，并導入架構改進(jìn)，以滿(mǎn)足不斷演進(jìn)的運算工作負載的需求。本文重點(diǎn)介紹三個(gè)應用實(shí)例，以展示 Armv9 CPU 的架構特性在實(shí)際應用場(chǎng)景中產(chǎn)生的影響，尤其是在HDR 視訊譯碼（加速 10%），圖像處理（加速 20%），以及在主要行動(dòng)應用程序中的功能 LibYUV（加速 26%）。
而本文中討論的一些 Arm SVE2 優(yōu)化現已可供開(kāi)發(fā)人員存取使用，有望提升熱門(mén)的媒體應用程序的用戶(hù)體驗，進(jìn)一步改善人們溝通、工作和娛樂(lè )的方式。

應用開(kāi)發(fā)人員和品牌廠(chǎng)面臨的挑戰
首先，從行動(dòng)裝置端應用開(kāi)發(fā)人員當前面臨的挑戰來(lái)看，目前市場(chǎng)上有超過(guò)200萬(wàn)個(gè)安卓（Android）應用程序在爭奪用戶(hù)青睞。這些應用程序想要保持市場(chǎng)競爭力，就必須迅速將創(chuàng )新成果推廣到各種行動(dòng)裝置上，若只是依賴(lài)功能固定的硬件，將會(huì )面臨產(chǎn)品上市時(shí)間和可移植性等方面的挑戰。
與出色的使用者體驗相關(guān)的指針，包括應用程序啟動(dòng)時(shí)間、UI 流暢度、每秒詞元 （token） 數和每秒幀數 （FPS） 穩定性等，這些都需要切實(shí)滿(mǎn)足使用者的期望。因此，品牌商需要在效能提升以及更廣泛的使用者需求（如延長(cháng)電池續航時(shí)間、減少數據使用量和裝置成本）之間取得平衡。其中任何一個(gè)方面若有不足，都可能導致使用者體驗打折扣，否定升級行動(dòng)裝置的價(jià)值。
在 Armv9 CPU 上開(kāi)發(fā)軟件可以解決品牌商和開(kāi)發(fā)人員所面臨的挑戰。

SVE2 的實(shí)際應用實(shí)例
以下的三個(gè)研究案例，證明軟件優(yōu)化可以加速實(shí)際工作負載。首先，以下是 SVE2 的一個(gè)子集和可加速行動(dòng)裝置上關(guān)鍵工作負載的 Armv9 CPU 中的新向量指令：包括16 位點(diǎn)積和 8 位矩陣乘法，可加速HDR 視訊播放、視頻會(huì )議；圖像處理直方圖指令；聚合讀取和分散存入，用于攝影機鏡頭傳感器數據的解交織處理；復數指令，用于加速視頻編碼器中的快速傅立葉變換。
使用這些向量指令，可使優(yōu)化的軟件使用更少的CPU周期，進(jìn)而帶來(lái)兩大好處，一是CPU 周期減少使得耗能降低，增加電池續航時(shí)間；二是可提高應用程序效能。

【案例 1】SVE2 提高視訊譯碼速度
觀(guān)看多媒體內容是行動(dòng)裝置上最常見(jiàn)的工作負載之一，也是行動(dòng)裝置端網(wǎng)絡(luò )最大的流量來(lái)源。因此，廠(chǎng)商不斷追求更高效率的編解碼器，希望在節省網(wǎng)絡(luò )帶寬的同時(shí)，支持出色的圖像質(zhì)量。
HDR技術(shù)由于色彩準確度更高，可呈現更加逼真的細節，即使是在非常暗或非常亮的場(chǎng)景中也是如此。它使用 10 位而非 8 位來(lái)表示每個(gè)色彩通道。AV1 和 VP9 以及其他現代編解碼器也支持 HDR 視訊。
AV1 是一種較新的格式，可提供更好的壓縮效果，而 VP9 在瀏覽器和裝置之間則具有更廣泛的兼容性。像是Netflix、Instagram、Facebook 和YouTube等熱門(mén)應用程序，都使用 AV1 和 VP9 格式來(lái)播放影片。例如libdav1d 作為開(kāi)源的 AV1 譯碼器，已內嵌在 Facebook 應用中。
SVE2 優(yōu)化使 HDR 視訊譯碼速度提高約10%，VP9 譯碼速度提高8%，AV1 譯碼速度提高 10%。這使得 CPU周期減少約10%，電量消耗也相對減少，讓用戶(hù)在行動(dòng)裝置上播放點(diǎn)播影片時(shí)能夠獲得更長(cháng)的電池續航時(shí)間。如此，無(wú)論是觀(guān)看例如臉書(shū)或Instagram上的短影音，還是YouTube上的長(cháng)影片將更加順暢！開(kāi)發(fā)人員現可存取使用libdav1d（AV1 譯碼器）和 libvpx（VP9 譯碼器）的優(yōu)化程序代碼。


【案例 2】SVE2提高LibYUV 速度
值得一提的是，我們每個(gè)人都在不知不覺(jué)中使用了 LibYUV。
LibYUV 是一個(gè)開(kāi)源函式庫，用于RGB 和 YUV 之間的色彩空間轉換、攝影機鏡頭傳感器數據縮放，以及攝影機鏡頭濾除和旋轉。在經(jīng)由視訊譯碼器使用之前，它會(huì )對來(lái)自攝影機鏡頭傳感器的數據進(jìn)行處理。在很多情況下，視訊譯碼器中的數據會(huì )先通過(guò) LibYUV 進(jìn)行處理，然后再發(fā)送去進(jìn)行顯示。
SVE2 優(yōu)化使 LibYUV 速度提高了 26%（Armv9 CPU 上多個(gè)核心的幾何平均值）。LibYUV 中大約有 100 個(gè)核心已使用 SVE2 進(jìn)行優(yōu)化，其他核心的優(yōu)化工作正在進(jìn)行中。
LibYUV 的發(fā)表是 Chromium 的一部分。Chromium 是一個(gè)開(kāi)源瀏覽器項目，為 Chrome 及主要手機廠(chǎng)商自定義的瀏覽器奠定了基礎。它被整合到 AOSP 和 Android Jetpack 中。由于 LibYUV 對行動(dòng)裝置相當重要，有望對整體行動(dòng)裝置端體驗產(chǎn)生深遠的影響，例如帶來(lái)更好的視頻會(huì )議體驗、更順暢的直橫式屏幕模式切換，以及更好的視訊消費體驗，并且大幅地延長(cháng)電池續航時(shí)間。

【案例 3】SVE2 提高運算攝影速度


圖一 : Halide-SVE2 和 Halide-Neon CPU 周期數對比

Halide 是一種專(zhuān)門(mén)用于圖像處理領(lǐng)域的語(yǔ)言，用于 Adobe Photoshop 等應用，一些品牌商也將它用于攝影機鏡頭管線(xiàn)。
SVE2 指令（例如聚合讀取和分散儲存指令）和 TBL（可程序設計查表，用于向量化小型查詢(xún)表）加速了 Halide 中的一些關(guān)鍵計算機視覺(jué) （CV） 流程。iToFDepth（用于感知深度）、雙邊網(wǎng)格（用于邊緣感知色調映射）和局部拉普拉斯（用于濾除）等運算密集型算法，在采用 SVE2 后，其效能提升了近 20%。
使用 SVE2 來(lái)優(yōu)化軟件可以實(shí)時(shí)應用一些攝影效果，為入門(mén)級行動(dòng)裝置開(kāi)啟新的可能性，用戶(hù)無(wú)需專(zhuān)用硬件即可獲得更高質(zhì)量的照片。Arm 已針對 SVE2 程序代碼生成優(yōu)化 Halide 后端，而一些修補程序已經(jīng)上線(xiàn)，也正在開(kāi)發(fā)其他修補程序。


圖二 : 深度效果范例圖像


 
圖三 : 邊緣感知色調映像范例圖像

如何善用 SVE2？
SVE2 導入幾個(gè)新指令，非常適合加速關(guān)鍵的實(shí)際工作負載和應用。Armv9 CPU 的最新進(jìn)展將使開(kāi)發(fā)人員能夠更快的實(shí)現創(chuàng )新，為各類(lèi)行動(dòng)裝置的消費者帶來(lái)更好的使用者體驗。

（本文作者為 Arm 終端產(chǎn)品事業(yè)部消費運算市場(chǎng)資深經(jīng)理 Poulomi Dasgupta，中文版校閱者為Arm 首席應用工程師余志誠）