推理速度快YOLOV4五倍的YOLObile：通過(guò)壓縮編譯在移動(dòng)端實(shí)時(shí)檢測

目標檢測技術(shù)的迅速發(fā)展和廣泛應用，引起了人們對目標檢測器的精度和速度的關(guān)注。然而，目前最先進(jìn)的目標檢測工作要么是精度導向使用大模型，但導致高延遲，要么是速度導向使用輕量級模型，但犧牲精度。在這項工作中，作者提出了YOLObile框架，通過(guò)壓縮編譯協(xié)同設計在移動(dòng)設備上實(shí)時(shí)檢測對象。提出了一種適用于任意核大小的塊穿孔剪枝方案。為提高移動(dòng)設備上的計算效率，采用GPU-CPU協(xié)同方案，并輔以高級編譯器輔助優(yōu)化。實(shí)驗結果表明，新提出的剪枝方案在49.0 mAP的情況下，可以實(shí)現YOLOv4的14倍壓縮率。在YOLObile框架下，使用三星Galaxy S20的GPU實(shí)現了17 FPS的推理速度。通過(guò)加入新提出的GPU-CPU協(xié)同方案，推理速度提高到19.1幀/秒，比原來(lái)的YOLOv4加速5倍。

總結

在本次工作中，提出了一個(gè)基于壓縮編譯協(xié)同設計的移動(dòng)設備實(shí)時(shí)目標檢測框架YOLObile。此外，還提出了一種新的剪枝方案——區塊剪枝，該方案適用于任意核大小的卷積層和全連接層。為了提高移動(dòng)設備上DNNs的計算效率，除了新提出的編譯器優(yōu)化之外，提出的YOLObile還提供了一個(gè)GPU-CPU協(xié)同計算方案。經(jīng)過(guò)實(shí)驗證明，新提出的YOLObile框架展現出了高準確性、高效率，并同時(shí)實(shí)現了高硬件并行性！