挑戰傳統！首個(gè)數據驅動(dòng)的事件相機特征追蹤框架橫空出世?。?）

分辨率、增強的運動(dòng)模糊恢復能力以及稀疏的輸出。這些特點(diǎn)使其成為低延遲和低帶寬特征跟蹤的理想選擇，即使在具有挑戰性的場(chǎng)景中也能表現出色。目前的事件相機特征跟蹤方法通常由手工制作，或由第一原理衍生。這些方法都需要進(jìn)行大量的參數調整，并且對噪聲非常敏感。另外，由于未能完全考慮所有影響因素，這些方法無(wú)法推廣到不同的場(chǎng)景中。為了解決事件相機特征跟蹤方法存在的缺陷，本文針對事件相機提出了一種全新數據驅動(dòng)的特征跟蹤模型（First）。該方法利用低延遲事件數據，對灰度幀中檢測到的特征進(jìn)行跟蹤。通過(guò)使用幀注意力模塊，實(shí)現跨特征通道的信息共享，并提供更魯棒的性能表現。通過(guò)直接將合成數據的零樣本遷移到真實(shí)數據上，數據驅動(dòng)跟蹤模型在相對 Feature Age 的表現超過(guò)現有方法（最高達到了120％），同時(shí)實(shí)現了最低的延遲。通過(guò)采用新穎的自監督策略使我們的跟蹤模型適應真實(shí)數據，這種性能差距進(jìn)一步擴大到 130%。

盡管目前有許多成功的方法進(jìn)行特征跟蹤，但現有的特征跟蹤器仍受到標準相機硬件性能的限制。首先，標準相機面臨帶寬延遲權衡，這明顯限制了它們在快速移動(dòng)下的性能：在低幀速率下，它們具有最小的帶寬，但代價(jià)是延遲增加；此外，低幀率會(huì )導致連續幀之間出現較大的外觀(guān)變化，從而顯著(zhù)增加跟蹤特征的難度。在高幀速率下，延遲會(huì )減少，但代價(jià)是增加帶寬開(kāi)銷(xiāo)與下游系統的功耗。標準相機的另一個(gè)問(wèn)題是運動(dòng)模糊，這在高速低照度場(chǎng)景中尤為突出。隨著(zhù)當前AR/VR設備的商品化，這些問(wèn)題變得更加突出。事件攝像機已被證明是標準相機的理想替代品，可以解決帶寬延遲權衡問(wèn)題。事件相機是仿生視覺(jué)傳感器，只要單個(gè)像素的亮度變化超過(guò)預定義的閾值，就會(huì )異步觸發(fā)信息。由于這種獨特的工作原理，事件攝像機輸出時(shí)間分辨率為微秒級的稀疏事件流，并具有高動(dòng)態(tài)范圍和低功耗的特點(diǎn)。由于事件主要是根據邊緣對應觸發(fā)的，因此事件相機呈現最小的帶寬。這使得它們非常適合克服標準相機存在的缺點(diǎn)。為了解決這些缺陷，本文提出了第一個(gè)用于事件相機的數據驅動(dòng)特征跟蹤模型，它利用事件相機的高時(shí)間分辨率與標準幀相結合來(lái)最大限度地提高跟蹤性能?；谏窠?jīng)網(wǎng)絡(luò )模型，在后續事件流中定位來(lái)自灰度圖像的模板圖像來(lái)跟蹤特征。為了提高跟蹤性能，引入了一種新穎的幀注意模塊，該模塊可以在一個(gè)圖像中的特征跟蹤之間共享信息。首先在合成光流數據集上進(jìn)行訓練，然后使用基于使用相機姿勢的 3D 點(diǎn)三角測量的新穎自我監督方案對其進(jìn)行微調。本文的跟蹤模型在事件相機數據集基準 EC 和最近發(fā)布的 EDS 數據集上分別比最先進(jìn)的方法高出 5.5% 和 130.2%。無(wú)需大量手動(dòng)手動(dòng)調整參數即可實(shí)現此性能。此外，在不優(yōu)化部署代碼的情況下，本文的方法比現有方法實(shí)現了更快的推理速度。最后，將本文的方法與成熟的基于幀的跟蹤器 KLT 進(jìn)行結合，在高速場(chǎng)景中充分利用兩種數據的優(yōu)點(diǎn)。

在高速和高動(dòng)態(tài)范圍場(chǎng)景中，現有事件相機特征跟蹤方法的延遲和跟蹤魯棒性具有極好的效果。但是，到目前為止，基于事件的跟蹤方法仍是基于經(jīng)典模型假設設計的，這會(huì )導致在存在噪聲的情況下跟蹤性能較差。它們要么依賴(lài)于運動(dòng)參數的迭代優(yōu)化，要么對特征可能的變換進(jìn)行簡(jiǎn)單的分類(lèi)。因此，由于未建模因素的影響，不能推廣到不同的場(chǎng)景中去。此外，它們通常具有復雜的模型參數，需要大量的手動(dòng)調整以適應不同的事件相機和不同的場(chǎng)景。

特征跟蹤算法旨在在后續時(shí)間步中跟蹤參考系中的給定點(diǎn)。通常通過(guò)提取參考幀中特征位置周?chē)耐庥^(guān)信息，然后在后續幀中進(jìn)行匹配和定位。遵循此流程，本文在時(shí)間步處對給定位置提取灰度幀中的圖像，并使用異步事件流跟蹤該特征。時(shí)間步和之間的事件流由事件組成，每個(gè)事件編碼像素坐標、微秒級分辨率的時(shí)間戳和極性。給定參考圖像，本文的網(wǎng)絡(luò )使用前一時(shí)間步的特征位置的局部鄰域中的相應事件流來(lái)預測和期間的相對特征位移。本地窗口內的事件被轉換為密集事件表示，具體來(lái)講使用 SBT 的最大時(shí)間戳版本進(jìn)行數據預處理，其中每個(gè)像素都分配有最近事件的時(shí)間戳。一旦網(wǎng)絡(luò )將參考補丁定位在當前事件補丁內，就會(huì )更新特征軌跡，并在新預測的特征位置提取新的事件流，同時(shí)保留參考圖像塊。然后重復這一過(guò)程，同時(shí)累積相對位移以構建一個(gè)連續的特征軌跡。本文方法和幀注意力模塊的概述如圖 2 所示。

為了在當前事件流內定位模板圖像中的特征，特征網(wǎng)絡(luò )首先基于FPN編碼器對兩個(gè)圖片進(jìn)行編碼。生成的輸出是兩個(gè)圖像的逐像素特征圖，其中包含上下文信息，同時(shí)保留空間信息。為了計算事件圖片和模板圖片中每個(gè)像素之間的相似性，本文基于模板圖片編碼器的瓶頸特征向量和事件補丁的特征圖構建了一個(gè)相關(guān)圖，如下圖所示。隨后，將兩個(gè)特征圖與相關(guān)圖組合作為后續特征編碼器的輸入，以細化相關(guān)圖。該特征編碼器由標準卷積和一個(gè)具有時(shí)間狀態(tài)的 ConvLSTM 塊組成。時(shí)間信息對于預測隨時(shí)間變化的特征軌跡至關(guān)重要。此外，它還可以集成事件提供的運動(dòng)信息。特征網(wǎng)絡(luò )的輸出是空間維度為1×1的單個(gè)特征向量。到目前為止，每個(gè)特征都是相互獨立處理的。

為了在同一圖像不同特征之間進(jìn)行共享信息，本文引入了一種新穎的幀注意模塊，如下圖所示。由于剛體上的點(diǎn)在圖像平面中表現出相關(guān)運動(dòng)，因此在圖像上的特征之間共享信息有很大的好處。為了實(shí)現這一點(diǎn)，本文的幀注意力模塊將當前時(shí)間步處所有圖像塊的特征向量作為輸入，并基于所有特征向量的自注意力加權融合計算每個(gè)圖像塊的最終位移。具體來(lái)說(shuō)，在一段時(shí)間內為每個(gè)特征設定一個(gè)狀態(tài)，以便利用注意力模塊融合中先前時(shí)間步中的位移預測。時(shí)間信息有助于與過(guò)去具有相似運動(dòng)的特征之間的信息共享。這樣，通過(guò)在相似的特征軌跡上自適應地調節它們，可以在具有挑戰性的情況下維護易受攻擊的特征軌跡。每個(gè)輸入特征向量首先使用兩個(gè)具有 Leaky ReLU 激活函數的線(xiàn)性層(MLP) 與當前狀態(tài)融合（每個(gè)特征向量單獨進(jìn)行）。然后，圖像中產(chǎn)生的所有融合特征都將用作多頭注意力（MHA）的 key、query 和 value，增強圖像每個(gè)特征自身信息的提取。為了促進(jìn)訓練，在每個(gè)特征的多頭注意力周?chē)肓艘粋€(gè)跳躍連接，該連接在訓練過(guò)程中通過(guò) Layerscale 層  (LS) 進(jìn)行自適應加權。然后，在門(mén)控層中使用所得的特征向量，根據先前的狀態(tài)(GL) 計算更新的狀態(tài)，具體的公式如下所示。

最終，更新后的狀態(tài)通過(guò)單個(gè)線(xiàn)性層進(jìn)行處理用來(lái)預測最終位移。

跟蹤網(wǎng)絡(luò )、提取網(wǎng)絡(luò )甚至流網(wǎng)絡(luò )的監督仍然是一個(gè)開(kāi)放的研究領(lǐng)域，因為包含像素級對應作為真值的數據集很少見(jiàn)。更糟糕的是，基于事件的精確像素對應的數據集更少。為了克服這個(gè)限制，本文首先使用來(lái)自 Multiflow 數據集的合成數據來(lái)訓練本文的網(wǎng)絡(luò )，其中包含幀、合成生成的事件和真實(shí)像素流。然而，由于沒(méi)有對噪聲進(jìn)行建模，因此合成事件與真實(shí)事件攝像機記錄的事件有很大不同。因此，在第二步中，使用新穎的姿勢監督損失來(lái)微調本文的網(wǎng)絡(luò )，以縮小合成事件和真實(shí)事件之間的差距。

合成數據的好處在于它提供了真實(shí)的特征軌跡。因此，基于L1距離損失可以直接應用于預測和真實(shí)值之間的每一個(gè)預測步驟的預測和真是位移之間的相對位位移，如圖3所示。有可能預測的特征軌跡發(fā)散到模板塊之外，使得下一個(gè)特征位置不在當前搜索中。因此，如果預測位移和真實(shí)位移的差值| | Δf ( j-Δfj | | 1 )超過(guò)了塊半徑r，我們不將L1距離加到最終損失中，以避免在監督中引入噪聲。我們的截斷損失函數的定義如下所示：

為了使網(wǎng)絡(luò )適應真實(shí)場(chǎng)景，引入了一種新穎的僅基于已標定相機真實(shí)姿態(tài)的姿態(tài)監督損失函數。利用運動(dòng)結構回復（SFM）算法，例如COLMAP，或者通過(guò)外部運動(dòng)捕捉系統，可以很容易地獲得稀疏時(shí)間步的真實(shí)姿態(tài)。由于本文的監督策略依賴(lài)基于位姿的3D點(diǎn)的三角剖分，因此只能應用在靜態(tài)場(chǎng)景中。在微調的第一步，跟蹤模型預測一個(gè)事件序列的多個(gè)特征軌跡。對于每個(gè)預測軌跡，直接使用Direct Linear Transform(DLT)算法計算相應3D點(diǎn)。具體來(lái)說(shuō)，對于每個(gè)特征位置，可以使用相機位姿假設針孔相機模型的投影方程，表示為時(shí)間步的旋轉矩陣、平移向量與標定矩陣，具體計算如下述公式。由此得到的投影矩陣可以表示為由列向量組成的矩陣，其中。

利用DLT算法，可以將投影方程轉化為如下述公式的齊次線(xiàn)性方程組。通過(guò)SVD，得到使方程的最小二乘誤差最小的三維點(diǎn)。一旦計算出的三維位置，就可以利用透射投影公式來(lái)找到每個(gè)事件步相對應的重投影像素點(diǎn)。。最終的位姿監督損失函數根據預測的特征和在時(shí)刻每個(gè)可用的相機位姿的重投影特征構建。如圖4所示。本文使用如下的截斷損失函數，當重投影的特征不在事件塊之內時(shí)， 排除該部分損失函數的值。