OpenVINO?工具套件 2021 版的發(fā)布說(shuō)明

英特爾? Distribution of OpenVINO? 工具套件用于快速開(kāi)發(fā)應用程序和解決方案，以解決各種任務(wù)（例如：模擬人類(lèi)視覺(jué)、自動(dòng)語(yǔ)音識別、自然語(yǔ)言處理和推薦系統等）。該工具套件基于最新一代的人工神經(jīng)網(wǎng)絡(luò )，包括卷積神經(jīng)網(wǎng)絡(luò ) (CNN)、遞歸網(wǎng)絡(luò )和基于注意力的網(wǎng)絡(luò )，可擴展跨英特爾? 硬件的計算機視覺(jué)和非視覺(jué)工作負載，從而最大限度地提高性能。它通過(guò)從邊緣到云部署的高性能、人工智能和深度學(xué)習推理來(lái)為應用程序加速。

英特爾? Distribution of OpenVINO? 工具套件

• 支持從邊緣到云的深度學(xué)習推理。

• 借助英特爾? CPU、英特爾? 集成顯卡、英特爾? Gaussian & Neural Accelerator、英特爾? 神經(jīng)電腦棒 2、搭載英特爾? Movidius? 視覺(jué)處理器的英特爾? Vision Accelerator Design 的通用 API，支持跨英特爾加速器的異構執行。

• 通過(guò)一套易用的計算機視覺(jué)功能庫和預優(yōu)化內核庫來(lái)加速上市時(shí)間。

• 包括針對 CV 標準進(jìn)行的調用優(yōu)化，包括 OpenCV* 和 OpenCL?。

第 2 版發(fā)布中的更新和更改

要點(diǎn)綜述

• 將深度學(xué)習工作臺與英特爾? DevCloud for the Edge 集成以構成 Beta 版本。使用英特爾? DevCloud for the Edge 上的深度學(xué)習工作臺（而不是僅本地計算機）以圖形方式分析模型，從而針對多個(gè)遠程硬件配置進(jìn)行解決方案的比較、可視化和微調。

• 推出對 Red Hat Enterprise Linux (RHEL) 8.2 的支持。有關(guān)更多信息，請參閱系統要求。 運行時(shí)包可供下載。

• 在模型優(yōu)化器中為通過(guò) TensorFlow 量化感知訓練進(jìn)行了量化的模型推出每通道量化支持（包括權重的每通道量化），通過(guò)模型壓縮和延遲減少提高了性能。

• 預訓練模型和對公共模型的支持，以簡(jiǎn)化開(kāi)發(fā)：

• 公共模型：Yolov4（用于對象檢測）、AISpeech（用于語(yǔ)音識別）和 DeepLabv3（用于語(yǔ)義分割）

• 預訓練模型：人體姿勢估計（更新）、公式識別多項式手寫(xiě)體（新增）、機器翻譯（更新）、通用手語(yǔ)識別（新增）和文本語(yǔ)音轉換（新增）

• 全新的 OpenVINO? 安全插件，通過(guò)安全封裝和執行來(lái)控制對模型的訪(fǎng)問(wèn)。這款全新插件基于 KVM 虛擬機和 Docker* 容器，與 OpenVINO? 模型服務(wù)器兼容，可進(jìn)行封裝以實(shí)現靈活部署和受控的模型訪(fǎng)問(wèn)。

• PyPI 項目從 openvino-python 遷移到 openvino，2021.1 版將從默認視圖中移除。通過(guò)使用 openvino-python==2021.1，依賴(lài)于該特定版本的用戶(hù)將仍然可以使用該版本。

模型優(yōu)化器

常見(jiàn)的變更

• 更新了對 NumPy 組件的要求，以避免與 TensorFlow 1.x 產(chǎn)生兼容性問(wèn)題。

• 借助 Eltwise 和 CTCGreedyDecoder 運算，改進(jìn)了模型的重塑能力

ONNX*

• 已支持使用“ --output”命令行參數指定模型輸出張量名稱(chēng)的功能。

• 增加了對以下操作的支持：

• Acosh

• Asinh

• Atanh

• DepthToSpace-11、13

• DequantizeLinear-10（zero_point 必須為常數）

• HardSigmoid-1,6

• QuantizeLinear-10（zero_point 必須為常數）

• RedueL1-11、13

• RedueL2-11、13

• Resize-11, 13（除了mode="nearest"（5D+輸入），mode="tf_crop_and_resize"，以及屬性 exclude_outside 和 exclude_outside 使用非零值）。

• ScatterND-11、13

• SpaceToDepth-11、13

TensorFlow*

• 增加了在調整圖像大小之前應用平均/刻度值時(shí)，對使用預處理塊的 TensorFlow Object Detection API 模型的支持。此前僅支持在調整大小之后應用平均/標度值的情況。

• 將采用 FakeQuantize 方法的限值調整與 TensorFlow 方法保持一致

• 增加了對以下操作的支持：

• GatherND

• Round

• NonMaxSuppression

• LogSoftmax

• FakeQuantWithMinMaxVarsPerChannel

MXNet*

• 增加了對以下操作的支持：

• GatherND

• Round

Kaldi*

• 增加了對以下操作的支持：

• TdnnCompontent

推理引擎

常見(jiàn)變更

• 移除了 inference_engine_legacy 上的依賴(lài)項。自 2021.2 版起，客戶(hù)的應用程序不直接鏈接 inference_engine_legacy。inference_engine_legacy 直接通過(guò)插件鏈接。 

• 增加了對具有外部數據文件的 ONNX 模型讀取的支持。要讀取這些模型，僅需要將 core.ReadNetwork() 方法傳入到 ONNX 模型中，外部數據文件將會(huì )自動(dòng)找到并加載。

• 對于 ONNX 讀取器，檢測受支持模型的邏輯有所改進(jìn)。

• ONNX 依賴(lài)項已更新為 v1.7.0

• 增加了對 ONNX 函數的支持（運算符列表底部 https://github.com/onnx/onnx/blob/v1.7.0/docs/Operators.md）

• 改進(jìn)了有關(guān)在 ONNX 載入器中注冊自定義運算的文檔和示例

• setBatchSize 方法現已遷移到重塑方法邏輯中，以更新模型的輸入形狀。此外，它還應用了對模型中的某些不可重塑模式進(jìn)行松弛的智能重塑轉換?，F在可以對同一模型使用 setBatchSize 和重塑方法，不會(huì )導致先前版本中的未定義行為。

• 在 Windows 平臺上，推理引擎庫在文件屬性中擁有新的“詳細信息”部分。該部分包含有關(guān)動(dòng)態(tài)鏈接庫 (DLL) 的信息，包括庫的描述和版本。

廢棄 API

• ExecutableNetwork::QueryState 方法被 InferRequest::QueryState 方法取代，舊方法被廢棄。

• IVariableState::GetLastState 方法更名為 IVariableState::GetState，舊名稱(chēng)被廢棄

• IMemoryState 更名為 IVariableState，舊名稱(chēng)仍可使用，但不推薦

CPU 插件

• 增加了對新運算的支持：

• Loop-5

• Round-5

• NonMaxSuppression-3, NonMaxSuppression-5

• HSigmoid-5

• LogSoftmax-5

• GatherND-5

為 CTCLoss、Pad、Permute 和 Elementwise 運算實(shí)施了多項優(yōu)化。這些優(yōu)化改進(jìn)了客戶(hù)模型上的 CPU 性能，大幅提高了 Open Model Zoo 范圍內的整體性能幾何平均值。

增加了對動(dòng)態(tài)輸入的 I64/U64 數據類(lèi)型的支持（通過(guò)到 I32 的內部轉換）。

改進(jìn)了狀態(tài) API，現在可以用于具有多個(gè)并行推理請求的應用程序：

• 修復了 IVariableState::GetName() 方法的 MKLDNN 插件實(shí)施，現在返回變量 ID

• 在 MKLDNN 插件中增加了對 IVariableState::GetState 的支持

GPU 插件

• 支持英特爾銳炬? Xe MAX 顯卡（原代號為 DG1） 

• 增加了對以下操作的支持：

• HSigmoid-5

• Round-5

• LogSoftMax-5

• 通過(guò)非對稱(chēng)量化改進(jìn)了 int8 卷積的性能

• 增加了插件側的編譯內核緩存機制，可使用它代替驅動(dòng)程序中的 cl_cache。

MYRIAD 插件

• 增加了針對新操作的支持：

• HSwish

• GatherND

• 插補

• Ceil

• 為 Broadcast 運算增加了“雙向”模式。

• 為 Proposal 運算增加了第二個(gè)可選輸出。

• 改善了現有操作的性能：

• Mish

• Swish

NonMaxSuppression

HDDL 插件

• 與 MYRIAD 插件中相同的新操作和優(yōu)化。

• 為 ION 驅動(dòng)程序啟用了對 Linux 內核 5.4 的支持。

GNA 插件

• 模型導出現在可保存層名稱(chēng)，因此可以在導入之后再次使用。

• 修復了某些層組合。

nGraph

• 推出了 opset5。全新 opset 包含以下全新操作。并非所有 OpenVINO? 工具套件插件都支持這些操作。

• BatchNormInference-5

• GRUSequence-5

• RNNSequence-5

• LSTMSequence-5

• Loop-5

• Round-5

• NonMaxSuppression-5

• HSigmoid-5

• LogSoftmax-5

• 實(shí)施了公共 nGraph 轉換：

• 低延遲
  轉換展開(kāi)了 TensorIterator 節點(diǎn)，以在低延遲下對其進(jìn)行逐步推理，每次推理運算中均存儲狀態(tài)。 轉換將迭代次數更改為 1，并使用 ReadValue 和 Assign 運算代替后向邊（例如，RNN 狀態(tài)輸入和輸出）。 可對 CPU 和 GNA 插件進(jìn)行該轉換。

• 公共 nGraph API 變更：

• 推出 Sink 類(lèi)以方便識別屬于圖形中的“Sinks”（未被任何其他節點(diǎn)使用的節點(diǎn)）的運算。通過(guò)“添加/移除 Sinks”的方法擴展了 nGraph Function API。目前，只有 Assign 節點(diǎn)繼承自 Sync 類(lèi)，Result 節點(diǎn)是單獨存儲的特殊節點(diǎn)，并不是 Sinks。

• 在與英特爾? Distribution of OpenVINO? 工具套件集成之前持續清理 nGraph 原始代碼庫，可移除該工具套件不支持的傳統運算。

神經(jīng)網(wǎng)絡(luò )壓縮框架 (NNCF)

• 對于單級對象檢測的情況，將 NNCF 與 OTE/mmdetection 集成。

• 發(fā)布了面向 PyTorch 的 NNCF v1.5：

• 切換了默認情況下設置的量化器基于傳播的模式（與硬件配置更好集成）。

• 對 HAWQ 混合精度量化算法實(shí)施了改進(jìn)：壓縮比參數支持、激活量化器位寬選擇、更通用的損失計算方法。

• 通過(guò)視覺(jué)處理器硬件配置為 EltWise 提供統一標度支持。

• 啟用了 GPT2 壓縮，在受支持的模型列表中增加了修剪后的 googlenet-v1。

• 有關(guān)功能的詳細信息和完整列表，請參閱 NNCF 發(fā)布說(shuō)明。

訓練后優(yōu)化工具

• 在 POT 配置中引入了模型預設，特別是 Transformer 模型的預設，使 POT 用戶(hù)可以更輕松地量化這些模型。

• 改進(jìn)了 POT 文檔，包括量化示例。增加了《常見(jiàn)問(wèn)題解答》文檔。 

• 擴大了模型覆蓋范圍：額外啟用了45 個(gè)模型。

深度學(xué)習工作臺

• 發(fā)行版：深度學(xué)習工作臺現在可在英特爾? DevCloud for the Edge 中使用

• 增加了對用于風(fēng)格遷移、超級分辨率和圖像修復用例的 GAN 模型的支持 

• 增加了以 CSV 格式導出分析實(shí)驗結果的功能

OpenCV*

• 將版本更新至 4.5.1。

• 在 VideoCapture API 的 Media SDK (MFX) 后端增加了對寬度/高度屬性的支持。

• G-API：為推理和流 API 增加了更多 CV 運算和Python 綁定，并為媒體格式支持引入了 MediaFrame 數據類(lèi)型（例如 NV12）。

示例

• 語(yǔ)音樣本命令行參數中的輸入層（用于輸入數據文件）和輸出層（用于輸出和參考文件）順序現在可以使用新的命令行參數（-iname 和 -oname）明確指定。

Open Model Zoo

使用額外的 CNN 預訓練模型和預生成的中間表示 (.xml + .bin) 擴展了 Open Model Zoo：

• bert-large-whole-word-masking-squad-fp32-0001 renamed to bert-large-uncased-whole-word-masking-squad-0001

• bert-small-uncased-whole-word-masking-squad-int8-0002

• bert-small-uncased-whole-word-masking-squad-emb-int8-0001

• formula-recognition-polynomials-handwritten-0001-decoder

• formula-recognition-polynomials-handwritten-0001-encoder

• handwritten-simplified-chinese-recognition-0001

• human-pose-estimation-0002

• human-pose-estimation-0003

• human-pose-estimation-0004

• person-detection-0003

• text-spotting-0003-detector

• text-spotting-0003-recognizer-decoder

• text-spotting-0003-recognizer-encoder

• 替換了 2021.1 模型：

• 已添加新模型：

• 最終模型：

對以下模型的支持擴展了公有模型列表：

用著(zhù)色模型的 PyTorch 變體來(lái)取代該模型的舊的 Caffe 變體。

• 增加了新的演示應用：

• Python gesture_recognition_demo（代替 asl_recognition_demo）

• Python human_pose_estimation_demo（支持新的 human-pose-estimation-0002/3/4 模型）

• Python image_translation_demo

• Python text to speech demo

• Python object_detection_demo（代替 object_detection_demo_centernet、object_detection_demo_faceboxes、object_detection_demo_retinaface、object_detection_demo_ssd_async 和 object_detection_demo_yolov3_async）

• C++ object_detection_demo（替換 object_detection_demo_ssd_async 和 object_detection_demo_yolov3_async）

• 移除了已廢棄的 object_detection_demo_faster_rcnn。

• Open Model Zoo 工具：

• 通過(guò)支持自定義預轉化腳本擴展了 Model Converter，簡(jiǎn)化了非凍結模型圖的轉化。

• 通過(guò)覆蓋新的任務(wù)（基于圖像的定位、顯著(zhù)圖檢測、光流估計、DNA 測序），擴展了 Accuracy Checker。

• 增加了在 Accuracy Checker 中設置輸入精度和獲取中間指標結果的命令行選項。

• 改進(jìn)了在 Accuracy Checker 中對 GAN 模型的處理，擴展了后處理，增加了新的指標（Inception Score 和 Frechet Inception Distance）。

• 需要使用 Tensorflow 2.3 轉換 efficientdet-d0/d1 模型。

深度學(xué)習流媒體播放器

• 直接支持 ONNX 模型：DL Streamer gvadetect、gvaclassify 和 gvainference 元素現在將支持 CPU 上的 OpenVINO? 推理引擎支持的 ONNX 模型，無(wú)需轉換為中間表示 (IR) 格式。

• 基于全幀和 ROI 的推理：對于連續檢測和全幀分類(lèi)等用例，在 gvadetect、gvaclassify 和 gvainference 元素中增加的新屬性 'inference-region' 將使開(kāi)發(fā)人員能夠在全幀或 ROI（感興趣區域）上運行推理。

• 無(wú)圖像對象跟蹤：在 gvatrack 中引入兩個(gè)新算法 'short-term imageless' 和 'zero-term imageless'，將能在不訪(fǎng)問(wèn)圖像數據的情況下跟蹤對象。 

• Docker 文件更新：使用 DL Streamer GitHub 中的 Docker 文件創(chuàng )建的文件夾結構與 OpenVINO? 在 DockerHub* 上發(fā)布的 Docker 映像一致。無(wú)論選擇哪種發(fā)行方式（OpenVINO Installer、OpenVINO Docker 映像、DL Streamer Docker 文件、從源構建），開(kāi)發(fā)人員現在都可以按照相同的說(shuō)明和準則使用 DL Streamer。

有關(guān) DL Streamer 的更多信息，請參閱位于 GitHub 上的 DL Streamer 開(kāi)源項目存儲庫“openVINO? 工具套件 - DL Streamer”中的 DL Streamer 教程、API 參考和樣本。還可訪(fǎng)問(wèn)“DL Streamer 樣本”查看樣本文檔。

OpenVINO? 模型服務(wù)器

• 有向無(wú)環(huán)圖 (DAG) 調度程序 -（以前為 `models ensemble`）該功能首次在 2021.1 版中以預覽版的形式提供?，F在它已得到官方支持，從而使定義由響應單個(gè)預測請求的多個(gè)互聯(lián)模型組成的推理管道成為可能。在該版本中，我們增加了對其余 API 調用（預覽版中的 DAG 不支持）的支持，特別是 `GetModelStatus` 和 `GetModelMetadata`。`GetModelStatus` 返回整個(gè)管道的狀態(tài)，而 GetModelMetadata 返回管道輸入和輸出參數。新的 2021.2 版改進(jìn)了 DAG 配置驗證。

• 直接導入 ONNX 模型 - 現在可以導入 ONNX 模型，無(wú)需轉換為中間表示 (IR) 格式。這有助于利用 ONNX 模型和 PyTorch 訓練框架簡(jiǎn)化部署。

• 自定義加載器以及與 OpenVINO? 安全插件的集成 - 現在可以定義自定義庫，用于處理模型加載操作 - 包括與模型解密和許可證驗證有關(guān)的額外步驟。要了解有關(guān)模型保護的信息，請查看安全插件組件的文檔。

• 流量加密 - 新的部署配置通過(guò) mTLS 證書(shū)進(jìn)行客戶(hù)端授權，通過(guò)與 Docker 容器中的 NGINX 反向代理集成進(jìn)行流量加密。 

• 從云存儲進(jìn)行遠程模型緩存 - 進(jìn)行需要重新加載模型的配置變更后，不再多次下載存儲在 Google Cloud Storage (GCS)、Amazon S3 和 Azure blob 中的模型。在模型重新加載操作期間，將使用緩存的模型。更改服務(wù)的模型時(shí)，將僅在模型存儲中添加相應的新版本文件夾。

OpenVINO? 安全插件

該安全插件是一組工具，讓模型開(kāi)發(fā)人員能夠使用 OpenVINO? 模型服務(wù)器控制開(kāi)發(fā)后對模型的訪(fǎng)問(wèn)，并檢查在受控環(huán)境中運行期間對模型的訪(fǎng)問(wèn)。它由定義模型訪(fǎng)問(wèn)控制的一組開(kāi)發(fā)工具、在將模型加載到模型服務(wù)器之前檢查模型許可證的許可服務(wù)、位于 OpenVINO? 模型服務(wù)器內的可在其中執行訪(fǎng)問(wèn)受控模型的隔離環(huán)境組成。

 安全插件的關(guān)鍵功能

• 定義開(kāi)發(fā)后對模型的訪(fǎng)問(wèn)控制。

• 生成限制模型使用天數的客戶(hù)特定許可證。

• 在將模型加載到 OpenVINO? 模型服務(wù)器之前檢查許可證的有效性。

• 使用 OpenVINO? 模型服務(wù)器，通過(guò) KVM 虛擬機在隔離環(huán)境中執行模型。

• 通過(guò) NGINX 控制應用程序對模型的訪(fǎng)問(wèn)