<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>

新聞中心

EEPW首頁(yè) > 業(yè)界動(dòng)態(tài) > 快手基于A(yíng)lveo優(yōu)化大規模網(wǎng)絡(luò )直播和短視頻自動(dòng)語(yǔ)音識別服務(wù)

快手基于A(yíng)lveo優(yōu)化大規模網(wǎng)絡(luò )直播和短視頻自動(dòng)語(yǔ)音識別服務(wù)

作者: 時(shí)間:2021-12-21 來(lái)源:電子產(chǎn)品世界 收藏


本文引用地址:http://dyxdggzs.com/article/202112/430461.htm

image.png

快手成立于 2011年3月,總部位于北京,是全球用戶(hù)利用短視頻或者直播形式記錄和分享日常生活的領(lǐng)先內容社區和社交平臺,每天產(chǎn)生上千萬(wàn)條原創(chuàng )新鮮視頻。

image.png

圖 快手 ASR 應用場(chǎng)景

項目概述

自動(dòng)語(yǔ)音識別(ASR)是電子商務(wù)、短視頻、直播等眾多應用的核心技術(shù)之一。ASR 在快手有許多的應用場(chǎng)景,是快手 APP、直播、風(fēng)控、游戲等眾多業(yè)務(wù)的核心功能,尤其是在直播和短視頻應用領(lǐng)域。 ASR流式自動(dòng)語(yǔ)音識別,已經(jīng)成為快手各種創(chuàng )新服務(wù)的核心技術(shù)之一。比如廣受主播們喜愛(ài)的直播間小快機器人 (語(yǔ)音助手),快手 APP 語(yǔ)音搜索、直播間語(yǔ)音輸入法、語(yǔ)音魔法表情、一甜相機實(shí)時(shí)字幕,以及最新上線(xiàn)的快影自動(dòng)字幕服務(wù)等等,為全球數億用戶(hù)帶來(lái)了前所未有的各種創(chuàng )新體驗。

作為全球最受歡迎的直播和短視頻應用平臺之一,快手全球平均每天有 3 億活躍用戶(hù)通過(guò)各種終端在快手平臺記錄和分享他們的生活或體驗。面對如此龐大的規模用戶(hù)和應用場(chǎng)景,快手希望能夠優(yōu)化其 ASR 服務(wù),滿(mǎn)足不斷增長(cháng)的客戶(hù)需求,并為他們提供更好的用戶(hù)體驗。

用戶(hù)體驗最重要的性能指標,就是時(shí)延和并發(fā)路數。致力于“圍繞快手核心業(yè)務(wù)打造技術(shù)護城河”的快手異構計算中心,借助賽靈思Alveo?及相關(guān)工具套件,大幅提升了ASR 整體服務(wù)性能和用戶(hù)滿(mǎn)意度,成為國內大規模網(wǎng)絡(luò )直播和短視頻應用場(chǎng)景的ASR 典范。

項目挑戰

在快手之前基于CPU框架的處理流程中,特征提取等前處理模塊運行時(shí)間占比約為 5%~10%, TDNN+LSTM 聲學(xué)模型運行時(shí)間占比約為 60%~80%,而包含語(yǔ)言模型的解碼器部分運行時(shí)間占比約為 15%~30%??焓之悩嬘嬎阒行?,希望找到一個(gè)更合適的異構底層器件,將最耗時(shí)的TDNN+LSTM 聲學(xué)模型轉移到這個(gè)器件上并進(jìn)行優(yōu)化。

快手異構計算中心團隊認為,以 TDNN+LSTM 為主結構的流式聲學(xué)模型優(yōu)化的關(guān)鍵痛點(diǎn)有三個(gè),那就是時(shí)延(Latency)、實(shí)時(shí)率(RTF,Real Time Factor)和并發(fā)數(Concurrency),具體而言需要解決如下問(wèn)題:

●   縮短時(shí)延,為用戶(hù)提供實(shí)時(shí)的流式語(yǔ)音識別ASR體驗;

●   提高并發(fā)數,保障海量流式數據并發(fā)處理的帶寬需求;

●   提供靈活性及易用性,滿(mǎn)足現有多業(yè)務(wù)模型的特點(diǎn)。如可以同時(shí)運行多個(gè)模型,可以多模型實(shí)時(shí)任意切換,且能滿(mǎn)足未來(lái)模型的升級換代;

●   降低單位算力成本,實(shí)現更低總擁有成本;

●   滿(mǎn)足AI 算法的高精度需求。

此外,快手對GPU 進(jìn)行了評估,發(fā)現其硬件使用率 (Utilization) 比較低,不能滿(mǎn)足RTF需求,SRAM 容量也無(wú)法滿(mǎn)足TDNN+LSTM模型高并發(fā)性的需求。至于主流的 ASIC,除了以上介紹的硬件使用率問(wèn)題外,還存在不支持 Kaldi 框架,定點(diǎn)實(shí)際只有 12bit 等問(wèn)題,很難滿(mǎn)足ASR優(yōu)化在精度上的需求。

綜上所述,快手技術(shù)團隊認為,滿(mǎn)足上述需求的理想的異構器件平臺,應當是一個(gè)可以全定制的專(zhuān)用平臺,可以通過(guò)軟硬件協(xié)同設計確保精度符合各種不同業(yè)務(wù)的標準。

解決方案

快手異構計算中心經(jīng)過(guò)評估后,決定選用賽靈思的Alveo U50LV加速器卡來(lái)優(yōu)化 ASR 服務(wù)。

Alveo U50 數據中心加速器卡基于賽靈思高性能 UltraScale+ 架構,采用了高效的 75 瓦小型封裝,而且配備了 100 Gbps 網(wǎng)絡(luò ) I/O和高帶寬內存。這些特性為快手的 ASR 解決方案提供了關(guān)鍵的低功耗、高帶寬、大 SRAM 內存和小尺寸優(yōu)勢。而Alveo U50LV  (Low Voltage)則是 U50 系列的低電壓版本,和標準電壓版本相比,功耗更低,散熱要求更少。

“我們認為理想的 ASR 加速解決方案,是可以支持高帶寬、大 SRAM 和定點(diǎn)推斷的硬件平臺,”快手異構計算中心總監劉凌志博士表示:“賽靈思的 Alveo FPGA U50LV 完全符合我們的要求?!?/p>

1640075211883880.png

圖 快手各種器件選型比較

結合公司自研的定點(diǎn)通用推理框架和定點(diǎn) C 模型,快手基于A(yíng)lveo U50LV 及賽靈思相關(guān) Vitis HLS 高層次綜合及 Vitis Design Flow,從算法、系統、軟件和硬件等多個(gè)關(guān)鍵層面對ASR 系統進(jìn)行了多方位的創(chuàng )新, 應用了多項最先進(jìn)的優(yōu)化技術(shù):

1640075245866051.png

圖 ASR系統整體架構

算法層面:采用圖融合、圖優(yōu)化、圖同構、圖分割,以及不重訓的高精度量化技術(shù),在保證精度的同時(shí),有效的壓縮了模型,使之更有利于FPGA 計算效率的發(fā)揮;

系統層面:自研通用推理框架及適合FPGA的通用Host調度框架,支持多模型,模型可擴展,自動(dòng)化部署,具有很強的易用性;

軟件層面:設計Batch機制,基于OpenCL的任務(wù)調度及負載均衡策略,實(shí)現了任務(wù)級的數據傳輸、kernel 計算等高效并行處理;

硬件層面:自定義基于超長(cháng)指令字的指令集架構,設計編譯器,并基于 Vitis?  HLS高層次綜合優(yōu)化技術(shù),快速完成了高效的FPGA底層設計。和直接采用硬件描述語(yǔ)言(如 Verilog HDL)相比,HLS 技術(shù)在更高的抽象層次上使用 C/C++ 的語(yǔ)法描述硬件行為,不僅達到了和 Verilog 接近的效果,而且加速了各種優(yōu)化技術(shù)的實(shí)現,將開(kāi)發(fā)時(shí)間從 3 個(gè)月縮短到 6 周。

優(yōu)化后的系統整體架構如圖三所示:調度加速引擎的代碼框架 ( Host )接收輸入的語(yǔ)音數據,經(jīng)過(guò)前處理、神經(jīng)網(wǎng)絡(luò )推斷和后處理過(guò)程,生成識別后的文本。其中黃色部分的神經(jīng)網(wǎng)絡(luò )推斷過(guò)程是卸載到Alveo 加速卡上來(lái)完成的。

成效

借助賽靈思 Alveo 加速卡及相關(guān)設計工具,快手最終實(shí)現了針對 TDNN+LSTM 聲學(xué)模型的全定點(diǎn)推理硬件加速方案,全面優(yōu)化了ASR 服務(wù),實(shí)現了:

1.大幅減輕了CPU 的工作負載,將單臺服務(wù)器業(yè)務(wù)處理能力提升7.5倍;

2.大幅降低了端到端時(shí)延,平均縮短達37.67%;

3.大幅縮減了系統總成本,降至0.29 (相當于總成本銳減71% )。

4.大幅縮短了開(kāi)發(fā)周期。通過(guò)采用OpenCL實(shí)現了與現有業(yè)務(wù)無(wú)縫集成,并借助 Vitis Design Flow將設計周期從3個(gè)月減少到6周。

這是 FPGA 在國內大規模直播及短視頻自動(dòng)語(yǔ)音識別場(chǎng)景落地的首個(gè)成功案例,展示了快手各種創(chuàng )新應用背后技術(shù)團隊強大的實(shí)力。2021年中以來(lái),優(yōu)化的ASR 服務(wù)已經(jīng)在快手直播及短視頻應用平臺廣泛部署,目前有數億用戶(hù)正在享受其所帶來(lái)的前所未有的語(yǔ)音識別體驗。



關(guān)鍵詞:

評論


相關(guān)推薦

技術(shù)專(zhuān)區

關(guān)閉
国产精品自在自线亚洲|国产精品无圣光一区二区|国产日产欧洲无码视频|久久久一本精品99久久K精品66|欧美人与动牲交片免费播放
<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>