解析TLD視覺(jué)跟蹤技術(shù)的特點(diǎn)和工作原理

TLD跟蹤系統最大的特點(diǎn)就在于能對鎖定的目標進(jìn)行不斷的學(xué)習，以獲取目標最新的外觀(guān)特征，從而及時(shí)完善跟蹤，以達到最佳的狀態(tài)。也就是說(shuō)，開(kāi)始時(shí)只提供一幀靜止的目標圖像，但隨著(zhù)目標的不斷運動(dòng)，系統能持續不斷地進(jìn)行探測，獲知目標在角度、距離、景深等方面的改變，并實(shí)時(shí)識別，經(jīng)過(guò)一段時(shí)間的學(xué)習之后，目標就再也無(wú)法躲過(guò)。

TLD技術(shù)有三部分組成，即跟蹤器、學(xué)習過(guò)程和檢測器。TLD技術(shù)采用跟蹤和檢測相結合的策略，是一種自適應的、可靠的跟蹤技術(shù)。TLD技術(shù)中，跟蹤器和檢測器并行運行，二者所產(chǎn)生的結果都參與學(xué)習過(guò)程，學(xué)習后的模型又反作用于跟蹤器和檢測器，對其進(jìn)行實(shí)時(shí)更新，從而保證了即使在目標外觀(guān)發(fā)生變化的情況下，也能夠被持續跟蹤。

跟蹤器

TLD跟蹤器采用重疊塊跟蹤策略，單塊跟蹤使用Lucas-Kanade光流法。TLD在跟蹤前需要指定待跟蹤的目標，由一個(gè)矩形框標出。最終整體目標的運動(dòng)取所有局部塊移動(dòng)的中值，這種局部跟蹤策略可以解決局部遮擋的問(wèn)題。

學(xué)習過(guò)程

TLD的學(xué)習過(guò)程是建立在在線(xiàn)模型(onlinemodel)的基礎上。在線(xiàn)模型是一個(gè)大小為15×15的圖像塊的集合，這些圖像塊來(lái)自跟蹤器和檢查器所得的結果，初始的在線(xiàn)模型為起始跟蹤時(shí)指定的待跟蹤的目標圖像。

在線(xiàn)模型是一個(gè)動(dòng)態(tài)模型，它隨視頻序列增長(cháng)或減小。在線(xiàn)模型的發(fā)展有兩個(gè)事件來(lái)驅動(dòng)，分別為增長(cháng)事件和修剪事件。由于在實(shí)際中，來(lái)自環(huán)境和目標本身等多因素的影響，使目標的外觀(guān)不斷發(fā)生變化，這使得由跟蹤器預測產(chǎn)生的目標圖像會(huì )包含更多其它感興趣的因素。如果我們把跟蹤軌跡上所有目標圖像看成一個(gè)特征空間，那么隨著(zhù)視頻序列的推進(jìn)，由跟蹤器所致的特征空間將不斷增大，這就是所說(shuō)的增長(cháng)事件。為了防止增長(cháng)事件帶來(lái)的雜質(zhì)(其他非目標圖像)影響跟蹤效果，采用了與之相對的修剪事件來(lái)平衡。修剪事件就是用來(lái)去除增長(cháng)事件所致的雜質(zhì)。由此，兩事件的相互作用促使在線(xiàn)模型一直保持與當前的跟蹤目標相一致。

由增長(cháng)事件帶來(lái)的特征空間的擴張來(lái)自于跟蹤器，即從處于跟蹤軌跡上的目標圖像中選擇合適的樣本，并以此來(lái)更新在線(xiàn)模型。有三種選擇策略，具體如下。

與起始待跟蹤目標圖像相似的圖像塊，均被加入到在線(xiàn)模型;

如果當前幀的跟蹤目標圖像與前一幀的相似，則將當前的跟蹤結果圖像加入到在線(xiàn)模型;

計算跟蹤軌跡上的目標圖像到在線(xiàn)模型間的距離，選擇具有特定模式的目標圖像，即起初目標圖像與在線(xiàn)模型的距離較小，隨之距離逐漸增大，而后距離又恢復成較小狀態(tài)。循環(huán)檢驗是否存在這種模式，并將該模式內的目標圖像加入到在線(xiàn)模型。

增長(cháng)事件的特征選擇方式，保證了在線(xiàn)模型始終緊隨跟蹤目標的最新?tīng)顟B(tài)，避免因模型更新不實(shí)時(shí)所導致的跟蹤丟失。其中最后一種選擇策略也是TLD技術(shù)的特色之一，它體現了自適應跟蹤的特性。當跟蹤發(fā)生漂移時(shí)，跟蹤器會(huì )自動(dòng)適應背景，而不會(huì )很突然地轉移到跟蹤目標上。

修剪事件假設每幀只有一個(gè)目標，當跟蹤器和檢測器都認可目標位置時(shí)，剩余的檢測圖像就被認為是錯誤樣本，從在線(xiàn)模型中刪除。

在線(xiàn)模型中的樣本為T(mén)LD的學(xué)習過(guò)程提供了素材。另外，TLD在訓練生成分類(lèi)器(隨機森林)的過(guò)程中，采用了兩種約束：P約束和N約束。P約束規定與跟蹤軌跡上的目標圖像距離近的圖像塊為正樣本;反之，為負樣本，即為N約束。PN約束降低了分類(lèi)器的錯誤率，在一定的范圍內，其錯誤率趨近于零。

檢測器

TLD技術(shù)設計了一個(gè)快速、可靠的檢測器，它為跟蹤器提供了必要的支持。當跟蹤器所得的結果失效時(shí)，需要用檢測器的結果來(lái)補充糾正，并且對跟蹤器重新初始化。具體做法如下。

對于每幀同時(shí)運行跟蹤器、檢測器，跟蹤器預測出一個(gè)目標位置信息，而檢測器則可能檢出多幅圖像;

決定目標的最終位置時(shí)，優(yōu)先考慮跟蹤器所得的結果，即如果跟蹤到的圖像與最初的目標圖像相似度大于某閾值，就接受該跟蹤結果;否則，將從檢測器的結果中，選用與最初目標相似度最大的圖像作為跟蹤結果;

如果為第二步驟中的后者，那么此時(shí)更新跟蹤器的最初目標模型，用現選用的跟蹤結果替換原有的目標模型，同時(shí)，刪除以前模型中的樣本，以新樣本重新開(kāi)始。

檢測器是由在線(xiàn)模型中的樣本經(jīng)訓練學(xué)習生成的隨機森林分類(lèi)器。其選取的特征為區域的邊緣方向，稱(chēng)之為2bitBP特征，它具有不受光線(xiàn)干擾的特性。特征通過(guò)量化，共有4種可能的編碼。對于給定的區域，其特征編碼是唯一的。多尺度的特征計算可以采用積分圖像的方法。

將每一個(gè)圖形塊都用眾多的2bitBP特征來(lái)表示，并把這些特征分成同大小的不同的組，每一組代表了圖像塊外觀(guān)的不同表示。用于檢測的分類(lèi)器采用隨機森林的形式。隨機森林由樹(shù)組成，而每棵樹(shù)是由一個(gè)特征組構造而成。樹(shù)的每個(gè)特征都作為一個(gè)決策結點(diǎn)。

隨機森林通過(guò)增長(cháng)事件和修剪事件完成在線(xiàn)更新和演化。開(kāi)始時(shí)，每棵樹(shù)由最初目標模板的特征組構建，都只有一個(gè)“枝”。隨著(zhù)增長(cháng)事件對正樣本的選取，隨機森林也不斷加入新的“枝”;修剪事件則相反，它會(huì )去掉隨機森林中不用的“枝”。這種實(shí)時(shí)的檢測器采用掃描窗口的策略：按照位置和尺度掃描輸入幀，對每個(gè)子窗口應用分類(lèi)器判斷是否屬于目標圖像。

TLD技術(shù)巧妙地把跟蹤器、檢測器和學(xué)習過(guò)程結合在一起，共同實(shí)現目標的跟蹤。