NeurIPS'22｜Hinton團隊開(kāi)源：用一個(gè)統一的接口處理四大視覺(jué)任務(wù)
發(fā)布人：AI科技大本營(yíng)
時(shí)間：2023-02-21
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
論文鏈接：https://arxiv.org/pdf/2206.07669v2.pdf源碼鏈接：https://github.com/google-research/pix2seq
簡(jiǎn)介
本文提出了一種將四個(gè)看似不同的視覺(jué)任務(wù)（目標檢測，實(shí)例分割，關(guān)鍵點(diǎn)檢測，圖像描述）統一在單個(gè)像素到序列界面中的方法。本文方法是對在目標檢測任務(wù)中使用的Pix2Seq模型到一系列任務(wù)的擴展。
本文框架
本文方法提出一種對于四個(gè)關(guān)注任務(wù)的序列接口，即所有任務(wù)的描述和輸出都表示為若干離散令牌組成的序列。
- 目標檢測：一個(gè)物體由五個(gè)離散令牌表示，。每次訓練樣本時(shí)多個(gè)物體隨機采樣序列化后形成最終令牌。
- 實(shí)例分割：這里預測實(shí)例掩碼的多邊形描述，并將多邊形描述為一序列的坐標，并將坐標轉為離散令牌。這里每次采樣訓練圖片對應的開(kāi)始點(diǎn)的開(kāi)始令牌是隨機的。如果存在相同實(shí)例的多個(gè)多邊形，通過(guò)一個(gè)分割令牌聚集每個(gè)多邊形的表示序列。
- 關(guān)鍵點(diǎn)檢測：類(lèi)似地，這里也是用一系列坐標表示關(guān)鍵點(diǎn)檢測結果，。這里為了簡(jiǎn)潔省略了關(guān)鍵點(diǎn)類(lèi)別標簽。如果某個(gè)關(guān)鍵點(diǎn)被遮擋，相應的坐標令牌被一個(gè)特別的令牌取代。
- 圖像描述：直接預測離散的文本令牌。
統一的架構和損失函數
與Pix2Seq方法只關(guān)注單一任務(wù)不同的是，****以一個(gè)任務(wù)的prompt為條件，直接為單個(gè)目標檢測任務(wù)產(chǎn)生輸出token，以便模型可以產(chǎn)生適應于關(guān)注任務(wù)的輸出。在訓練期間，模型將prompt和期望的輸出連接到單個(gè)序列中，利用token加權方案確保****只被訓練來(lái)預測期望的輸出，而不是prompt令牌。在推理過(guò)程中，prompt是給定的，并且是固定的，所以****只需要產(chǎn)生序列的其余部分。類(lèi)似于Pix2Seq方法，訓練目標是最大化基于圖像的令牌和之前的令牌的似然性。
多個(gè)任務(wù)的訓練
- 數據混合。合并不同任務(wù)的圖像和相應輸出序列。優(yōu)點(diǎn)是構建很簡(jiǎn)單，但很難加入圖像增廣。
- 批混合。采樣不同任務(wù)的圖像，經(jīng)適合當前任務(wù)的增廣處理，合并令牌化的輸出序列得到圖像-序列對。這種方法可以獨立地為了一個(gè)任務(wù)計算損失和梯度，并以合適的權重融合不同任務(wù)的梯度。
本文方法考慮使用批混合策略。
推斷
實(shí)驗
圖4給出了如何選擇合適的各任務(wù)損失函數加權系數。這里使用貪心策略。圖4（a）給出了搜素目標檢測與實(shí)例分割間權重比例的搜索結果?？梢钥闯鲈谝粋€(gè)較廣的范圍內，兩個(gè)任務(wù)的性能都接近峰值。之后實(shí)驗簡(jiǎn)單選擇2：8的權重比例。加入圖像描述任務(wù)后，在9：1的權重比例下是對當前任務(wù)是較合適的。加入關(guān)鍵點(diǎn)檢測后發(fā)現權重能設置的較小，這里選擇為0.01。
部分圖片可視化結果：
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
