使用自變分原理改進(jìn)正則化核回歸：通過(guò)變分法推導和推廣Nadaraya-Watson估計

來(lái)源：Deephub Imba

核回歸技術(shù)是一組非參數方法，用于通過(guò)一組數據點(diǎn)擬合平滑的曲線(xiàn)。Nadaraya-Watson 估計就是這樣一種方法。它通常是在自變量分布的核密度估計以及因變量和自變量聯(lián)合分布的基礎上，通過(guò)計算因變量的條件期望得到的。

在本文中，我將介紹推導 Nadaraya-Watson 估計（本篇文章中將其簡(jiǎn)稱(chēng)為“核回歸”）的另一種基本原理。這個(gè)基本原理激發(fā)了一個(gè)變分原理，這將使我們能夠制定一個(gè)可以稱(chēng)為“正則化核回歸”的修改。

許多回歸技術(shù)可以通過(guò)最小化關(guān)于二次損失函數的經(jīng)驗風(fēng)險或關(guān)于 N 個(gè)數據點(diǎn) (x?, y?) 的殘差平方和 R[f] 推導出來(lái)，...：

相對于未知回歸函數 f 最小化問(wèn)題，該表達式是不適定的，所以需要對 f 進(jìn)行進(jìn)一步的假設。在參數化建模中，我們將 f 限制在某個(gè)假設空間中以使問(wèn)題成為適定的。例如，在線(xiàn)性回歸中，我們將 f 限制在仿射線(xiàn)性函數的空間，f(x) = m? x + c。確定斜率 m 和截距 c 使得上述殘差平方和最小，將產(chǎn)生最佳擬合曲線(xiàn)?，F在讓我們對上述公式應用一些數學(xué)變換，并逐步解釋這些：

第一個(gè)等式就是把平方展開(kāi)，把y的平方展開(kāi)作為它們自己的和。對于第二個(gè)等式，y的平方和對我們以后要應用的最小化過(guò)程沒(méi)有幫助因為它不依賴(lài)于我們想要最小化的函數f。因此，我們可以稱(chēng)它為“const”。我們就不用管它了。

下一步至關(guān)重要。我們可以通過(guò)狄拉克δ函數來(lái)計算f在一個(gè)固定位置的值，就像這樣:

這將允許我們將整體損失 R[f] 寫(xiě)成一個(gè)積分，并且經(jīng)驗風(fēng)險最小化變得可以通過(guò)變分計算的標準工具進(jìn)行。

δ（delta）的正確定義需要對泛函分析有一定的了解，更準確地說(shuō)是分布理論或“廣義函數”的理解。但是根據我們的最終目標，可以將狄拉克δ函數想象為以原點(diǎn)為中心的非常窄的峰。我們可以通過(guò)新生 delta 函數的極限來(lái)近似狄拉克 δ 函數（新生成函數的度量在原點(diǎn)附近變得越來(lái)越集中）。

一般情況下這個(gè)名字就出現了 - 高斯：

這個(gè)函數族消失在 > 0的極限下，并在適當的意義上收斂于狄拉克函數。

最后，在用上述近似代替狄拉克函數之后，我們可以給出積分下的公式的名稱(chēng):L代表拉格朗日。(這個(gè)特定的拉格朗日函數實(shí)際上并不依賴(lài)于f '的導數，但我們稍后會(huì )用到它的通用性)

找到像這樣一個(gè)函數的平穩點(diǎn)——即一個(gè)用拉格朗日函數的積分表示的點(diǎn)——在數學(xué)和理論物理中有許多應用。例如，經(jīng)典力學(xué)可以被重新表述為基于最小作用量原理的拉格朗日力學(xué)。另一個(gè)應用是對光線(xiàn)路徑的描述，它遵循費馬原理，也就是最小時(shí)間原理。

因此，這個(gè)問(wèn)題有一個(gè)眾所周知的通解。但在這里我們感興趣的是最小化以下形式的函數:

函數f是當且僅當滿(mǎn)足以下歐拉-拉格朗日方程時(shí)的平穩點(diǎn):

對于我們到目前為止導出的拉格朗日函數，通過(guò)最小二乘法 R[f] 的“抹去”和，所以右側消失了，因為導數 f ' 沒(méi)有依賴(lài)關(guān)系。

在這種情況下，歐拉-拉格朗日方程可以簡(jiǎn)單地用代數方法求解f(x):

這正是 Nadaraya 和 Watson 提出的核回歸公式。

到目前為止，我們能夠推導出經(jīng)過(guò)驗證的回歸技術(shù)?，F在可以進(jìn)行更多的研究了，我們對變分原理進(jìn)行一些修改。例如，可以添加一個(gè)使模型正則化的項，并懲罰大導數：

λ > 0是一個(gè)正則化參數。我們還引入了常數因子“1 / N”，因此我們實(shí)際上是將平均經(jīng)驗風(fēng)險與正則化項進(jìn)行比較。計算相應的歐拉-拉格朗日方程是一項簡(jiǎn)單的任務(wù):

當然，對于λ = 0，這個(gè)公式可以簡(jiǎn)化為傳統的核回歸。這是一個(gè)二階線(xiàn)性微分方程一旦給出邊界條件或初始條件它就有唯一解。在R中，solve和bvpSolve包可以用于數值求解常微分方程。

讓我們模擬一些真實(shí)的數據。下圖顯示了Berkeley Earth (http://berkeleyearth.org/data/):)的1850年至2019年全球平均氣溫的時(shí)間序列

虛線(xiàn)是bandwidth  h = 10.0的常規核回歸，實(shí)線(xiàn)是相同bandwidth 和正則化參數λ = 0.5的正則化核回歸的結果。歐拉-拉格朗日方程是通過(guò)施加一個(gè)邊界值問(wèn)題來(lái)求解的，該邊界值是由前五年/最近五年的溫度中值給出的最早/最近的溫度。

本文提出的正則化核回歸有一些明顯的缺陷，例如:

邊界條件需要被指定，這看起來(lái)像是一個(gè)特別的過(guò)程，

嘗試應用初始條件似乎并不實(shí)際，而且會(huì )導致荒謬解決方案，

在λ很小的情況下，數值可能不穩定。

但是該模型似乎也有一些理想的功能。例如，對于不同的bandwidth 選擇，它似乎相當健壯。下圖顯示了h = 1.0時(shí)使用相同的數據和回歸的函數，但bandwidth 更小:

傳統的核回歸似乎在很大程度上過(guò)度擬合了數據，但正則化版本“保持在正確的軌道上”。

該模型的另一個(gè)特點(diǎn)是:它可能更擅長(cháng)處理丟失的數據。這里有一個(gè)圖表，說(shuō)明了同樣的回歸技術(shù)，但缺失1920年和1970年之間的數據:

我們可以利用這種健壯性來(lái)處理丟失的數據，并嘗試推斷出未來(lái)場(chǎng)景的時(shí)間序列。雖然傳統的核回歸在插值中肯定是有用的，但我們可以預期傳統的技術(shù)在這項任務(wù)中會(huì )失敗。

然而，正則化的核回歸可能會(huì )成功，因為增加了“慣性”λ。以下圖表顯示了對未來(lái)情景的先驗預測，即2040年全球平均氣溫將分別上升到15.2攝氏度、15.8攝氏度和16.4攝氏度:

對于每個(gè)外推，使用相同的模型超參數h = 10.0， λ = 0.5。盡管在擬合最終模型之前給出了先驗，但 2040 年 15.8 °C 的選擇并不是臨時(shí)的：推算到 2040 年的 15.8 °C 實(shí)際上是最好的預測，因為有了這個(gè)參數，（傳統的） 殘差平方和被最小化，這可以通過(guò)簡(jiǎn)單的網(wǎng)格搜索來(lái)驗證。

核回歸是一種技術(shù)，可以通過(guò)最小化與二次損失函數相關(guān)的經(jīng)驗風(fēng)險的“平滑”或“涂抹”推導出來(lái)。這種方法導致可以擴展的變分原理，例如通過(guò)添加正則化項。

對結果模型的一些實(shí)驗顯示了一些理想的特性，它可能會(huì )在預測時(shí)間序列中找到有用的應用。