基于英特爾OpenVINO優(yōu)化，愛(ài)奇藝已將深度學(xué)習應用于視頻產(chǎn)品

隨著(zhù) AI 技術(shù)逐漸應用于網(wǎng)絡(luò )視頻之中，算力優(yōu)化和平衡成本逐漸成為了視頻平臺關(guān)注的重點(diǎn)。36氪近期通過(guò)采訪(fǎng)愛(ài)奇藝技術(shù)部門(mén)相關(guān)負責人，了解到了 OpenVINO 為愛(ài)奇藝視頻平臺產(chǎn)品帶來(lái)的體驗提升。

事實(shí)上，2018 年 5 月，英特爾便推出了 OpenVINO 工具包，其功能為將計算機圖形和深度學(xué)習推理整合到前沿的視覺(jué)應用中。

OpenVINO（開(kāi)放式視覺(jué)推理和神經(jīng)網(wǎng)絡(luò )優(yōu)化）工具包使開(kāi)發(fā)人員能夠基于不同的深度學(xué)習框架（例如當下流行的TensorFlow, MXNet和Caffe等框架），進(jìn)行AI模型優(yōu)化，并將其部署到各種產(chǎn)品中。OpenVINO 的高效得益于英特爾此前投資的多項技術(shù)，包括CPU，FPGA（現場(chǎng)可編程門(mén)陣列）和Movidius視覺(jué)處理單元（VPU）等。

“AI 雷達”與“蒙版彈幕”

由于愛(ài)奇藝與英特爾是長(cháng)期的合作伙伴，所以近期在各端平臺上推出的“AI 雷達”和“蒙版彈幕”功能，便已采用了基于 OpenVINO 的 CPU 優(yōu)化方案。

據愛(ài)奇藝智能平臺高級總監劉俊暉介紹，AI 雷達最早是從 TV 端開(kāi)始上線(xiàn)的，用戶(hù)可隨時(shí)在劇集中開(kāi)啟 AI 雷達，搜索此時(shí)畫(huà)面中的人物、商品及其相關(guān)信息；蒙版彈幕則是通過(guò)機器視覺(jué)分析出劇集中主要角色的輪廓，并讓彈幕繞過(guò)人物顯示。

由于A(yíng)I雷達是實(shí)時(shí)請求的服務(wù)，需要讓TV用戶(hù)快速得到反饋結果，所以需要按全量部署資源。如果服務(wù)部署在GPU平臺上，協(xié)調大量的GPU資源用于滿(mǎn)足峰值服務(wù)調用會(huì )產(chǎn)生很大的浪費，因為這些GPU的利用率在非峰值期間會(huì )很低，且價(jià)格偏高。相比之下，CPU 相對容易資源協(xié)調，價(jià)格也低許多。但 CPU 方案同樣具有弱點(diǎn)，就是沒(méi)有優(yōu)化的服務(wù)在 CPU 上的延時(shí)性能沒(méi)法滿(mǎn)足需求。

愛(ài)奇藝基礎架構高級總監吳杰珂表示，英特爾的 OpenVINO 工具包便是根據這類(lèi)需求而推出的。采用 OpenVINO 進(jìn)行優(yōu)化后，AI雷達服務(wù)中最核心的人臉檢測模型和人臉識別模型，延時(shí)性能上可以有大約6～8倍的提升。

基于英特爾 OpenVINO 并從計算機視覺(jué)的角度與 AI 結合應用于流媒體，已在愛(ài)奇藝完成數十個(gè)應用的 CPU 優(yōu)化，基于CPU進(jìn)行人工智能服務(wù)的優(yōu)化和部署，提升CPU上人工智能服務(wù)性能最高可達到10倍以上，數千核 CPU 服務(wù)的部署，等量替換一百多個(gè) GPU 資源，可降低深度學(xué)習云平臺超過(guò) 50% 成本。

另一個(gè)基于 OpenVINO 的產(chǎn)品“蒙版彈幕”，則已經(jīng)在部分劇目上試運行了。值得一提的是，如果片源發(fā)生變化，整集的人形分析就需要重新生產(chǎn)，但“及時(shí)更新”意味著(zhù)大量的AI模型推理需求。

“蒙版彈幕的核心是圖像語(yǔ)義分割，用OpenVINO優(yōu)化之后，推理處理能力大約能有3～4倍的提升，這樣生產(chǎn)能力就得到了大幅提高，更新的頻率就可以更快，能更加及時(shí)地為用戶(hù)提供有蒙版彈幕功能的劇目?！?/p>

截至目前，各大視頻平臺已開(kāi)始陸續推出“蒙版彈幕”類(lèi)功能，未來(lái)針對深度學(xué)習優(yōu)化的工作也將愈發(fā)重要。

GPU、CPU 混用方案

據了解，對于人工智能的推理服務(wù)優(yōu)化，除了常見(jiàn)的CPU與GPU計算資源，愛(ài)奇藝已對多種使用OpenVINO 進(jìn)行異構計算加速人工智能算法的方案進(jìn)行了開(kāi)發(fā)評估，包括FPGA、VPU等計算資源。已完成開(kāi)發(fā)的多種性能自動(dòng)化評估工具、以及延時(shí)與吞吐最優(yōu)部署自動(dòng)化評估工具，也大幅提升了對不同人工智能算法加速與優(yōu)化的開(kāi)發(fā)效率。

GPU、CPU混用的方案，能夠在不同情況下切換算力硬件，滿(mǎn)足視頻平臺的各種需求。

以愛(ài)奇藝的 AI 布局為例，公司里面CPU的資源池要比GPU的資源池大得多，CPU池子比較容易做負載的調度，從而得到較強的抗高峰能力；另一方面，非高并發(fā)情況下，整體基于CPU的推理成本也比GPU要低很多，吳杰珂介紹道。

在OpenVINO調整好（準確率和延時(shí)）之后，平臺整體獲得了6~8倍的延時(shí)性能的提升，基本已接近純GPU方案的性能了。

吳杰珂表示，OpenVINO 工具包自面世以來(lái)也一直在優(yōu)化，在特定應用和場(chǎng)景下，GPU和CPU各有優(yōu)略，另外，除了后臺應用，OpenVINO還能在前端如Window設備上落地優(yōu)化方案。所以，對于愛(ài)奇藝來(lái)說(shuō)，兩種硬件混合調用的方案能夠將優(yōu)勢結合，且通過(guò)長(cháng)期優(yōu)化硬件的布局數量，能夠持續提升性?xún)r(jià)比。

值得一提的是，英特爾這幾年在人工智能領(lǐng)域的投入逐年升高，在并購Altera后不到一年，又并購了Movidius公司。未來(lái)，愛(ài)奇藝也將和英特爾開(kāi)展更多合作。

“神經(jīng)網(wǎng)絡(luò )計算棒可能是這家公司給大部分人的第一印象，現在在京東上大約550元和750元就可以分別買(mǎi)到第一代和第二代計算棒。我們也正在對基于Movidius芯片的方案進(jìn)行評估，當然，不是計算棒，而是單板集成多片Movidius芯片的推理加速板卡?！?/p>

想要查看更多OpenVINO相關(guān)技術(shù)與資料，請戳>> http://dyxdggzs.com/openvino