基于FFmpeg的高清視頻編輯模塊的設計方案

1 相關(guān)背景

視頻分析在體育領(lǐng)域中的應用非常廣泛，教練員和運動(dòng)員可以通過(guò)控制比賽錄像分割、回放、暫停等操作，仔細研究比賽細節，并對運動(dòng)員的技戰術(shù)特點(diǎn)進(jìn)行分析和總結，作為第一手資料指導運動(dòng)員日常訓練及比賽。隨著(zhù)多媒體技術(shù)以及視頻編解碼技術(shù)的不斷發(fā)展，高清視頻作為一種可以為研究運動(dòng)員技戰術(shù)水平提供強力支持的重要工具，越來(lái)越受到各國教練團隊的重視。

MTS 視頻格式是一種新興的高清視頻格式， 其視頻編碼通常采用H264 格式，音頻編碼采用AC-3 格式，分辨率為全高清標準1920*1080.由于MTS 視頻格式采用的H264 編碼的復雜性，決定了解碼MTS 對硬件的兼容能力的高要求，高清片源在許多現有的播放器上播放會(huì )出現停頓、失幀的現象，因此有必要轉化為兼容性更強的MPEG 格式。使用原來(lái)基于DrectShow 技術(shù)開(kāi)發(fā)的國家擊劍隊視頻管理系統進(jìn)行MTS 格式視頻編碼時(shí)會(huì )出現無(wú)法識別視頻格式的問(wèn)題，并且由于DrectShow 進(jìn)行視頻編碼的效率過(guò)低，導致處理高清視頻時(shí)間過(guò)長(cháng)，影響了系統工作效率。

為解決此問(wèn)題，本文在原視頻管理系統的基礎上，利用在Windows 環(huán)境下編譯FFmpeg 產(chǎn)生的二進(jìn)制庫，對原有的視頻編輯模塊進(jìn)行改進(jìn)，實(shí)現了MTS 格式高清視頻源的剪切和向MPEG 格式的壓縮轉換，并利用XML Parser 組件將剪輯完成視頻的時(shí)間線(xiàn)信息保存到XML 文檔，實(shí)現高清體育視頻的編輯、儲存和管理。

2 FFmpeg 編碼

2.1 FFmpeg 簡(jiǎn)介

FFmpeg 是一款強大的開(kāi)源免費跨平臺音視頻編碼器與解碼器的集合，屬于自由軟件，采用GPL 或LGPL 許可證，支持MPEG、MTS、MPEG4 等40 多種編碼， MPEG、Matroska、OGG 等90 多種解碼，是一個(gè)集錄制、轉換、音/ 視頻編解碼功能為一體的、完整的開(kāi)源解決方案。FFmpeg 的開(kāi)發(fā)基于Linux 操作系統， 也可在大多數操作系統中編譯和使用， 并且編碼效率很高，因此基于以上優(yōu)點(diǎn)，本系統選擇FFmpeg 作為實(shí)現視頻編輯模塊的基礎。

2.2 FFmpeg 在Windows 環(huán)境下的編譯

FFmpeg 是一款基于Linux 系統的跨平臺開(kāi)源項目，采用gcc編譯器，在Windows 環(huán)境下編譯FFmpeg 不能使用BCB 或VC++ 等專(zhuān)用編譯器，需要先下載編譯工具鏈mingw 安裝包，并配置相應的環(huán)境變量。此外還需安裝Msys 來(lái)模擬Linux 環(huán)境，并安裝yasm.

exe 的32.bit 版本(對應自己的操作系統)來(lái)編譯FFmpeg 里面的匯編代碼。

安裝完畢之后編輯C :MinGWmsys1.0msys.bat 文件，在最后一行加入VS2010 的相對路徑，加入這行后編譯FFmpeg 時(shí)會(huì )多出windows 下調用dll 對應的lib,其中常用的有四個(gè)庫文件：libavcodec、libavformat、libavutil 和libswscale.其中libavcodec 庫中存放的是用于音視頻解碼和編碼的decode/encode 模塊，libavformat 庫中存放的是用于合并/ 分離音頻和視頻流的muxer/demuxer 模塊，libavutil 庫中存放的是內存操作等輔助性模塊。

2.3 FFmpeg 編碼的實(shí)現

本視頻編輯模塊主要是調用音頻/ 視頻編解碼庫libavcodec中的相應函數來(lái)實(shí)現格式轉換與剪切功能。在使用FFmpeg 編碼之前， 首先需要初始化libavcodec 庫，注冊所有的編解碼器以及文件格式，導入編碼器碼率、幀速率、編碼像素格式等參數，然后尋找編碼器并打開(kāi)進(jìn)行編碼。通過(guò)用預設的視頻參數為結構體AVCodecContext 中的各個(gè)成員參數來(lái)賦值，實(shí)現編碼參數的設置。編碼的核心函數是avcodec_encode_video( )。系統每采集一幀的數據， 就送給avcodec_encode_video( ) 函數編碼成H.264 視 頻流。編碼過(guò)程中詳細的函數和編碼流程如圖1 所示。

3 基于FFmpeg 的視頻編輯模塊的實(shí)現

改進(jìn)之后的高清視頻編輯模塊的結構如圖2 所示。

FFmpeg 采用了主程序+ 核心庫的編程模式。FFmpeg 核心庫隱藏了其內部各種函數的具體格式的實(shí)現， 對外提供了統一的調用方法。針對此設計模式的特點(diǎn)，本視頻編輯模塊具有以下設計特點(diǎn)：通過(guò)直接調用FFmpeg 核心庫中的函數來(lái)實(shí)現對視頻的編輯操作，同時(shí)還對libavformat 庫中的MPEG 文件格式處理部分的代碼進(jìn)行了修改，使之實(shí)現按固定碼率的輸出。系統的視頻編輯界面采用非線(xiàn)性布局，操作時(shí)間軸上需要記錄的信息有視頻剪輯的入點(diǎn)時(shí)間和出點(diǎn)時(shí)間( 精確到秒)， 每次在進(jìn)行視頻文件處理時(shí)，中間層會(huì )首先判斷用戶(hù)是否時(shí)間線(xiàn)有改動(dòng)，若有改動(dòng)則執行剪切部分代碼，將時(shí)間軸上的入點(diǎn)信息和出點(diǎn)信息作為調用核心庫函數的參數導入結構體AVCodecContext.系統調用avcodec_encode_video() 等相關(guān)函數對視頻進(jìn)行編碼，若用戶(hù)勾選了需要格式轉換則轉換為MPEG 格式，否則按原格式輸出。轉換完成之后還需將生成的新文件的句柄替換到有關(guān)的數據結構之中，最后再將編輯的詳細信息通過(guò)XML Parser 組件生成XML 文檔。具體過(guò)程如圖3所示。

4 高清視頻分析系統

加入高清視頻編輯模塊之后的國家擊劍隊視頻分析系統如圖4 所示。

本文使用了擊劍隊標準高清測試視頻中的一段長(cháng)4 分05秒的片段對視頻編輯模塊進(jìn)行了測試，該片源的圖像分辨率為1920*1080,碼率為12414kbps, 幀率25 幀/ 秒，源文件大小為363MB,使用本系統截取了一段2 分鐘的視頻進(jìn)行格式轉換，編碼系統正確識別了源文件，并輸出了一個(gè)138MB 的MPEG 文件。播放器上實(shí)際的播放效果表明，改視頻編輯模塊能正確的將高清MTS格式源文件按用戶(hù)要求剪切并壓縮轉換為可流暢播放的MPEG 格式，基本符合了設計要求。

5 結束

本文詳細闡述了基于FFmpeg 的高清視頻編輯模塊的設計和實(shí)現，在分析了原有基于DrectShow 技術(shù)開(kāi)發(fā)的編輯模塊存在的不足的基礎上，分析和提出了基于FFMpeg 的改進(jìn)方案，并介紹了該方案的具體實(shí)現，該解決方案在保持了FFmpeg 高效的編碼速率、較好的編碼質(zhì)量的同時(shí)，做到了與原有系統其他模塊的兼容，剪輯出來(lái)的視頻符合國家擊劍隊訓練使用的各項要求。