做時(shí)間序列預測有必要用深度學(xué)習嗎？事實(shí)證明，梯度提升回歸樹(shù)媲美甚至超越多個(gè)DNN模型

在深度學(xué)習方法應用廣泛的今天，所有領(lǐng)域是不是非它不可呢？其實(shí)未必，在時(shí)間序列預測任務(wù)上，簡(jiǎn)單的機器學(xué)習方法能夠媲美甚至超越很多 DNN 模型。

過(guò)去幾年，時(shí)間序列領(lǐng)域的經(jīng)典參數方法（自回歸）已經(jīng)在很大程度上被復雜的深度學(xué)習框架（如 DeepGIO 或 LSTNet 等）更新替代。這是因為傳統方法可能無(wú)法捕獲長(cháng)期和短期序列混合傳遞的信息，而深度學(xué)習方法的思路是掌握數據中的跨時(shí)非線(xiàn)性依賴(lài)。從結果來(lái)看，這些深度學(xué)習方法不僅優(yōu)于 ARIMA 等傳統方法和梯度提升回歸樹(shù)（Gradient Boosting Regression Tree, GBRT）等簡(jiǎn)單機器學(xué)習模型，而且增強了這樣一種預期，即機器學(xué)習領(lǐng)域的時(shí)間序列預測模型需要以深度學(xué)習工作為基礎，才能得到 SOTA 結果。
但是，推薦系列領(lǐng)域的最新啟示表明，深度學(xué)習方法在機器學(xué)習各種研究分支取得的成就需要對簡(jiǎn)單高效模型定期確認和評估，以保持各自研究領(lǐng)域進(jìn)展的真實(shí)性。除了時(shí)間序列預測模型越來(lái)越復雜之外，另一個(gè)動(dòng)機包括文獻中正在完善的深度學(xué)習模型在處理時(shí)間序列預測問(wèn)題上的片面性，因此限制了現有解決方案方法的多樣性。
在前段時(shí)間的一篇論文《Do We Really Need Deep Learning Models for Time Series Forecasting?》中，來(lái)自德國希爾德斯海姆大學(xué)計算機科學(xué)系的研究者展示了通過(guò)精心配置的輸入處理結構，GBRT 等簡(jiǎn)單但強大的集成模型在時(shí)間序列預測領(lǐng)域能夠媲美甚至超越很多 DNN 模型。

論文地址：https://arxiv.org/pdf/2101.02118.pdf
研究者對特征工程多輸出 GBRT 模型進(jìn)行了評估，并提出了以下兩個(gè)研究問(wèn)題：

• 對于用于時(shí)間序列預測的基于窗口的學(xué)習框架來(lái)說(shuō)，精心配置 GBRT 模型的輸入和輸出結構有什么效果？

• 一個(gè)雖簡(jiǎn)單但配置良好的 GBRT 模型與 SOTA 深度學(xué)習時(shí)間序列預測框架相比如何？

為了回答這兩個(gè)問(wèn)題，研究者選擇了雙重實(shí)驗設置，分別解決兩類(lèi)預測任務(wù)，即系統化方式中的單變量和多變量預測。目的是評估 GBRT 模型以及在頂會(huì )（NeurIPS、KDD、SIGIR、ECML、ICML、CIKM、IJCAI、ICLR 等）中出現的 SOTA 深度學(xué)習方法。這項研究的整體貢獻可以總結如下：
一，研究者將一個(gè)簡(jiǎn)單的機器學(xué)習方法 GBRT 提升了競品 DNN 時(shí)間序列預測模型的標準。首先將 GBRT 轉換成一個(gè)基于窗口的回歸框架，接著(zhù)對它的輸入和輸出結構進(jìn)行特征工程，如此便能從額外上下文信息中獲益最多；二，為了突出輸入處理對時(shí)間序列預測模型的重要性，研究者通過(guò)實(shí)證證明了為什么基于窗口的 GBRT 輸入設置可以在時(shí)間序列預測領(lǐng)域提高 ARIMA 和原版 GBRT 等精心配置的模型所產(chǎn)生的預測性能；三，研究者比較了 GBRT 與各種 SOTA 深度學(xué)習時(shí)間序列預測模型的性能，并驗證了它在單變量和雙變量時(shí)間序列預測任務(wù)中的競爭力。
這項研究也引起了不少人的共鳴。有人認為，時(shí)間序列分類(lèi)任務(wù)同樣也沒(méi)有必要用深度學(xué)習方法。在一些情況下，SVMs 或邏輯回歸方法表現更好，速度也更快。

研究設計
選擇基線(xiàn)。研究者系統地過(guò)濾了 2016 年至 2020 年在 NeurIPS、KDD、SIGIR、SDM、ECML、ICML、CIKM、IJCAI、ICLR 等會(huì )議表現較好的論文集。論文需滿(mǎn)足以下要求：

• 主題：只考慮時(shí)間序列預測領(lǐng)域的研究；

• 數據結構：專(zhuān)用數據類(lèi)型，但如異步時(shí)間序列和概念化為圖形的數據被排除在外；

• 可復現：數據、源代碼應公開(kāi)。如果源代碼不可用，但實(shí)驗設置有清晰的文檔，研究也可以從實(shí)驗中復制結果；

• 計算的可行性：研究中得出的結果能夠以易于處理的方式復現，并在合理的時(shí)間內可計算。

評估。該研究在兩個(gè)層次上對時(shí)間序列預測 GBRT 模型進(jìn)行評估：一個(gè)單變量和一個(gè)多變量。為了使所選的深度學(xué)習基線(xiàn)和 GBRT 之間具有顯著(zhù)的可比性，該研究在相同的數據集上評估了所有模型，數據集如下表 1 所示：左邊提供了關(guān)于用來(lái)評估模型數據集，而右邊則列出了各自的實(shí)驗規范：

問(wèn)題公式化。時(shí)間序列預測問(wèn)題，就監督學(xué)習而言，時(shí)間序列預測可以表述為：給定一個(gè)集合和一個(gè)集合，經(jīng)過(guò)一系列假設后，得到如下期望損失最小化模型：

GBRT
GBRT 模型，特別是 XGBoost 實(shí)現，其優(yōu)點(diǎn)是易于應用，而且在結構化數據上特別成功。但是當涉及時(shí)間序列預測的初始（naive）實(shí)現時(shí)，GBRT 模型失去了很大一部分靈活性，因為它們沒(méi)有被投射到基于窗口的回歸問(wèn)題中，而是被配置為適合大部分時(shí)間序列作為完整且連續的數據點(diǎn)序列來(lái)預測時(shí)間序列的后續和剩余測試部分。
與上述初始實(shí)現不同，該研究通過(guò)將時(shí)間序列重新配置為窗口輸入，并在多個(gè)訓練實(shí)例（窗口）上進(jìn)行訓練，以模擬成功的時(shí)間序列預測模型中使用的輸入處理行為，為此該研究定義了一個(gè)可調窗口，。這種基于窗口的 GBRT 模型輸入設置如圖 1 所示：

第一步是使用變換函數將典型的 2D 訓練實(shí)例（時(shí)間序列輸入窗口）變換為適合 GBRT 的 1D 形狀向量（扁平窗口）。該函數將所有 w 實(shí)例的目標值 y_i 連接起來(lái)，然后將最后一個(gè)時(shí)間點(diǎn)實(shí)例 t 的協(xié)變量向量附加到輸入窗口 w 中，表示為 。
基于窗口的 GBRT 輸入設置極大地提高了其預測性能，因為 GBRT 模型現在能夠掌握數據的底層時(shí)間序列結構，并且現在可以被認為是先進(jìn) DNN 時(shí)間序列預測模型的適當機器學(xué)習基線(xiàn)。另一方面，簡(jiǎn)單配置的 GBRT 模型是一個(gè)簡(jiǎn)單的逐點(diǎn)回歸模型，將時(shí)間點(diǎn) 的協(xié)變量作為輸入，預測單一目標值 Y_i、j 為同一時(shí)間點(diǎn)訓練損失如下：

實(shí)驗結果
單變量時(shí)間序列的結果
下表 2 總體結果表明，除了 traffic 預測外，基于窗口的 GBRT 具有較強的競爭力。另一方面，具有傳統配置的預測模型（例如 ARIMA 和 GBRT（Naive））的表現遠遠優(yōu)于預期。

而在 electricity 預測方面，基于窗口的 GBRT 在所有模型中均顯示出最佳的 RMSE 性能，其在 WAPE 和 MAE 方面的性能僅優(yōu)于 2016 年推出的 TRMF，基于注意力的 DARNN 模型表現較差。關(guān)于 exchange rate 任務(wù)，LSTNet（以 w = 24 重新實(shí)現）和 TMRF 顯示出相當強的結果，優(yōu)于基于窗口的 GBRT 基線(xiàn)。
在不考慮時(shí)間預測器的情況下，traffic 預測的結果是混合的，因此 DARNN 和 LSTNet 實(shí)現了 traffic 數據集的最佳結果，而對于 PeMSD7 數據集，基于窗口的 GBRT 基線(xiàn)在兩個(gè)方面優(yōu)于 DNN 模型三個(gè)指標。然而，時(shí)間協(xié)變量的包含顯著(zhù)提高了 GBRT 的性能（下表 3），因此，對于 traffic 預測，所有 DNN 方法，包括 DeepGlo [18] 和 STGCN（spatio-temporal traffic forecasting model ） [19]，其在 PeMSD7 上實(shí)現了 6.77 的 RMSE，優(yōu)于重新配置的 GBRT 基線(xiàn)。

下表 4 顯示了 LSTNet 與 GBRT(W-b) 的結果：

下表 5 中的結果表明 GBRT 的競爭力，但也表明基于 transformer 的模型相當強大，例如 TFT 超過(guò)了提升回歸樹(shù)性能。然而，作為一個(gè)例外，TFT 構成了本研究中唯一一個(gè)始終優(yōu)于 GBRT 的 DNN 模型，而 DeepAR 和 DeepState 等概率模型在這些單變量數據集上的表現優(yōu)于其他模型。

多元數據集
下表 6 中為 DARNN 與基于窗口 GBRT 比較：簡(jiǎn)單、配置良好的 GBRT 基線(xiàn)可以超越 DNN 框架。

從下表 7 可以看出，即使是專(zhuān)門(mén)為某一預測任務(wù)設計的 DNN 模型，也沒(méi)有達到預期效果。相反，DAQFF 的性能比簡(jiǎn)單的基于窗口、特征工程的梯度提升回歸樹(shù)模型更差。在本實(shí)驗中，值得注意的是，即使是傳統應用預測意義上的 GBRT 模型也能在 air quality 數據集上提供更好的結果。