以 AMD 自適應計算技術(shù)進(jìn)行虛擬制作

虛擬制作已經(jīng)改變了電影制作人、游戲開(kāi)發(fā)者和視覺(jué)效果藝術(shù)家創(chuàng )作沉浸式內容的方式。它能夠實(shí)時(shí)融合物理與數字環(huán)境，帶來(lái)顯著(zhù)的優(yōu)勢，如節省成本、增強創(chuàng )意控制以及簡(jiǎn)化工作流程。近來(lái)的電影及工作室制作已經(jīng)展示了其潛力，通過(guò)無(wú)縫整合實(shí)景與 CGI 樹(shù)立了新的行業(yè)標準，開(kāi)辟了獨特的創(chuàng )意可能性?，F在，小型工作室和新聞媒體也正采用這項技術(shù)，以營(yíng)造身臨其境的感覺(jué)。

推動(dòng)虛擬影視制作轉型的一項重要技術(shù)進(jìn)步是采用現場(chǎng)可編程門(mén)陣列（ FPGA ）與自適應片上系統（ SoC ）器件。AMD Kintex UltraScale+ 與 Virtex UltraScale+ FPGA 屬于可在制造后編程的集成電路，能夠執行廣泛的功能，并利用可編程邏輯提供可定制的硬件框架。這種適應性使開(kāi)發(fā)人員可以針對特定任務(wù)定制 FPGA 配置，從而優(yōu)化性能與效率。

AMD Zynq UltraScale+ 自適應 SoC 與 Versal 自適應 SoC 將多處理器與 FPGA 可編程邏輯和其他功能相結合，提供了硬件和軟件可重新配置的組合。AMD FPGA 和自適應 SoC 的可編程特性使其非常適合需要實(shí)時(shí)視頻處理和低時(shí)延性能的應用與系統。這些多功能且強大的器件能夠提升虛擬制作流程，將復雜的視覺(jué)效果無(wú)縫集成到各種設備中，包括電影攝影機、攝像機跟蹤器、LED 墻、內容生成系統以及監控解決方案。

FPGA 與自適應 SoC 在虛擬制作設備中的優(yōu)勢

在虛擬制作設備中采用自適應計算技術(shù)能夠克服多重挑戰，使系統正常運行：

◆ 提升性能與效率：FPGA 與自適應 SoC 擅長(cháng)管理高清、4K、8K 乃至更高分辨率的實(shí)時(shí)視頻處理和傳輸所需的高數據吞吐量。

◆ 低時(shí)延：時(shí)延是虛擬制作中的一個(gè)關(guān)鍵因素，尤其是在整合實(shí)景鏡頭與數字元素時(shí)。任何時(shí)延都可能破壞這些組成部分的無(wú)縫融合，導致視覺(jué)體驗不連貫。自適應計算技術(shù)能以最低時(shí)延處理數據，確保虛擬制作系統實(shí)時(shí)運行，同時(shí)保持不同元素之間的同步。這種低時(shí)延性能對于虛擬電影攝影等應用至關(guān)重要，因為導演需要立即看到效果，以便即時(shí)做出創(chuàng )意決策。

◆ 可擴展性與適應性：自適應計算技術(shù)可輕松進(jìn)行更新和調整，確保設備在研發(fā)過(guò)程中甚至在拍攝現場(chǎng)都能隨著(zhù)技術(shù)的進(jìn)步而演進(jìn)，同時(shí)也能進(jìn)行擴展，以支持更大的系統和像素畫(huà)布尺寸。

提升電影攝影機與攝像機跟蹤器性能

在電影攝影機中，FPGA 與自適應 SoC 可實(shí)現先進(jìn)的圖像處理功能。它們能以最低時(shí)延應對高分辨率圖像和傳感器數據管理，同時(shí)支持 HDR 處理，確保所捕捉的素材在不同光照條件下都能保持高質(zhì)量。它們還能提供實(shí)時(shí)視頻編碼與解碼，使電影制作人能夠通過(guò)遠程監控以出色的清晰度和速度捕捉和處理圖像。

自適應計算也在攝像機跟蹤器中發(fā)揮著(zhù)重要作用，實(shí)現精準且快速的數據處理，這對于無(wú)縫整合實(shí)景鏡頭與虛擬元素至關(guān)重要。這些器件可提供實(shí)時(shí)跟蹤與穩定所需的計算能力，確保流暢準確的動(dòng)作捕捉。當與AI結合時(shí)，FPGA 與自適應 SoC 還能提升目標識別與場(chǎng)景分析能力，從而在拍攝過(guò)程中實(shí)現更精準的跟蹤和自動(dòng)調整。

為 LED 墻提供支持

LED 墻已成為虛擬制作中不可或缺的部分，為實(shí)景拍攝提供了動(dòng)態(tài)和互動(dòng)背景，對于營(yíng)造沉浸式虛擬環(huán)境至關(guān)重要。從 LED 墻控制器和像素處理器到 LED 塊的像素控制，FPGA 在驅動(dòng)這些高分辨率顯示器方面表現出色，可提供實(shí)時(shí)視頻處理與同步。其并行處理能力確保了流暢的性能，即使在應對沉浸式環(huán)境所需的復雜圖形內容時(shí)也是如此。自適應計算技術(shù)能夠動(dòng)態(tài)調整顯示效果，以匹配虛擬場(chǎng)景的照明與視角，確保物理與數字元素的無(wú)縫融合。這一功能對于保持虛擬場(chǎng)景的深度和真實(shí)感至關(guān)重要。此外，LED 墻還能利用 FPGA 與自適應 SoC 進(jìn)行實(shí)時(shí)像素處理與色彩校正。

低時(shí)延監控解決方案

在監控解決方案中，FPGA 提供了處理多個(gè)視頻流所需的高速數據處理能力，并實(shí)現最低時(shí)延。這種低時(shí)延性能對于保持虛擬制作系統中不同元素之間的同步至關(guān)重要。設備制造商可以利用 FPGA 開(kāi)發(fā)提供實(shí)時(shí)反饋的監控系統，使導演、制作團隊和技術(shù)人員能夠立即做出調整，確保制作質(zhì)量。

音視頻接口卡在虛擬制作中的重要性

音視頻接口卡是虛擬制作處理系統中不可或缺的組成部分。要用內容創(chuàng )造奇跡，您首先需要能夠將其輸入和移出您的系統！這些接口卡基于 ST 2110 和 IPMX 等 AV-over-IP 標準以及 SDI 和 HDMI 標準，因此需要具備高速數據處理和低時(shí)延處理能力。FPGA 提供了必要的性能來(lái)高效處理這些任務(wù)，確保媒體流傳輸流暢可靠。這種能力對于保持制作內容的完整性和質(zhì)量至關(guān)重要。FPGA 可處理實(shí)時(shí)數據傳輸與同步的復雜任務(wù)，確保將高質(zhì)量音視頻信號無(wú)縫集成到虛擬制作工作流程中。這確保了跨各種設備和格式的兼容性與互操作性，促進(jìn)了制作流程的順暢與高效。

DELTACAST 是面向 OEM 廠(chǎng)商和開(kāi)發(fā)商設計、開(kāi)發(fā)和制造實(shí)時(shí)視頻傳輸和處理解決方案的領(lǐng)導者。其解決方案可提供高質(zhì)量和低時(shí)延，以滿(mǎn)足電視廣播、專(zhuān)業(yè)音視頻、醫療和眾多其他市場(chǎng)中要求嚴苛的應用。

針對直播視頻應用，該公司提供了一系列 SDI、HDMI、DisplayPort 和 IP ST 2110 視頻卡?，F在，這些視頻卡已完全兼容虛幻引擎 5（ Unreal Engine 5 ），使得媒體服務(wù)器用戶(hù)能夠將虛幻引擎的實(shí)時(shí)渲染能力與 DELTACAST 視頻卡捕捉的實(shí)時(shí)視頻輸入無(wú)縫融合，并將實(shí)時(shí) 3D 渲染作為 SDI、HDMI、DP 或 IP 視頻信號發(fā)送出去。這一功能在基于 LED 墻的虛擬制作工作室中尤為實(shí)用。

為了設計虛擬場(chǎng)景，業(yè)界明智地采用游戲引擎來(lái)實(shí)時(shí)渲染令人驚嘆的逼真內容，并將其投影到 LED 墻上。3D 環(huán)境必須根據拍攝現場(chǎng)攝像機的跟蹤信息進(jìn)行實(shí)時(shí)計算，并以盡可能低的時(shí)延投影到 LED 顯示屏上，從而確保背景與攝像機移動(dòng)保持一致。

DELTACAST I/O 卡和 FLEX 解決方案的特色是將視頻以最低時(shí)延輸入和移出虛幻引擎等游戲引擎。借助免費的 DELTACAST Media Plugin，所有 SDI、HDMI 和 DisplayPort 卡型號均可在虛幻引擎中使用。

ST 2110（以及基于相同協(xié)議的 IPMX ）在虛擬制作中越來(lái)越受歡迎，特別是在 LED 墻控制器領(lǐng)域，因為它具備支持大尺寸像素畫(huà)布作為背景的可擴展性，還實(shí)現了不同音視頻和廣播技術(shù)之間的互操作性。ST 2110 是由 SMPTE 聯(lián)盟定義的開(kāi)放標準系列，旨在為廣播基礎設施中使用的傳統 SDI（串行數字接口）連接提供 IP 流媒體替代方案。由于網(wǎng)絡(luò )帶寬和計算機處理能力的不斷提升，利用 IP 基礎設施進(jìn)行內容制作（其中最佳圖像質(zhì)量至關(guān)重要）現已成為技術(shù)現實(shí)。如今，10、25、100 和 400Gb/s 以太網(wǎng)連接可輕松傳輸多個(gè) 1080p、4K 甚至 8K 的未壓縮饋送。通過(guò)采用 JPEG XS 和高吞吐量 JPEG 2000 等無(wú)損圖像編解碼器，甚至可以進(jìn)一步優(yōu)化網(wǎng)絡(luò )鏈路的使用。

DELTACAST 已推出專(zhuān)門(mén)用于 IP 視頻流的型號。其中，DELTA-ip-ST2110 10 和 DELTA-ip-ST2110 01 是雙 10GbE 接口卡，支持 SMPTE ST 2110 視頻、音頻及輔助數據流的接收和傳輸。DELTACAST ST2110 卡因其互操作性而成功贏(yíng)得了“根據 JT-NM 測試計劃對 SMPTE ST 2110進(jìn)行自我測試”徽章。DELTACAST 產(chǎn)品組合提供了多種 I/O 卡，具備多種輸入和輸出組合，因此您可以根據具體的設置選擇合適的型號。

自 1986 年成立以來(lái)，DELTACAST 一直采用 AMD FPGA。如今，該公司在其視頻 I/O PCIe 板和攝像機控制板中使用了各種 AMD FPGA 與自適應 SoC。AMD 技術(shù)使 DELTACAST 視頻卡能夠為要求嚴苛的工作負載提供快速視頻傳輸和處理。這包括將虛幻引擎的實(shí)時(shí)渲染功能與 DELTACAST 卡捕捉的實(shí)時(shí)視頻輸入相融合的媒體服務(wù)器。

AI 驅動(dòng)的 FPGA 與自適應 SoC在虛擬制作中的應用

AMD 自適應計算技術(shù)在虛擬制作中的應用不斷演進(jìn)，持續的研發(fā)推動(dòng)著(zhù)新的創(chuàng )新。一個(gè)令人興奮的領(lǐng)域是將人工智能（ AI ）和機器學(xué)習算法集成到 FPGA 與自適應 SoC 架構中，在邊緣和拍攝現場(chǎng)直接捕捉和處理數據，最大限度降低時(shí)延。這種組合可以通過(guò)實(shí)時(shí)智能處理視覺(jué)數據來(lái)徹底改變虛擬制作。場(chǎng)景分析和目標檢測可以加速工作流程，自動(dòng)設置并更快地完成拍攝。FPGA 可用于部署 AI，根據場(chǎng)景環(huán)境自動(dòng)調整照明和紋理，進(jìn)一步簡(jiǎn)化制作流程并提高視覺(jué)質(zhì)量。

突破創(chuàng )意邊界

對于專(zhuān)業(yè)音視頻和廣播行業(yè)的設備制造商而言，了解 FPGA 與自適應 SoC 在虛擬影視制作中的價(jià)值至關(guān)重要，因為它們提供了可定制、高性能和低時(shí)延的解決方案。隨著(zhù)對復雜和沉浸式數字內容需求的不斷增長(cháng)，利用自適應硬件平臺將成為推動(dòng)虛擬制作突破創(chuàng )意與技術(shù)卓越邊界的關(guān)鍵。通過(guò)將 FPGA 和自適應 SoC 集成到設備中，制造商可以為制作團隊提供所需的工具，以創(chuàng )造視覺(jué)上令人驚嘆的無(wú)縫虛擬體驗。

隨著(zhù)對更復雜和沉浸式數字內容的需求持續攀升，AMD 自適應計算技術(shù)在虛擬影視制作中的作用也將不斷擴大。借助這些多功能器件，制作團隊可以突破創(chuàng )意與技術(shù)卓越的邊界。FPGA 能夠提升性能、降低成本并適應新的需求，是提升虛擬制作能力的重要資產(chǎn)。隨著(zhù)行業(yè)不斷創(chuàng )新，FPGA 的作用只會(huì )持續增強，推動(dòng)未來(lái)敘事和內容創(chuàng )作的發(fā)展。虛擬制作的未來(lái)之旅才剛剛開(kāi)始，在 FPGA 的助力下，將迎來(lái)無(wú)限可能。

本文由 DELTACAST 產(chǎn)品經(jīng)理 Olivier Antoine 聯(lián)合撰寫(xiě)