線(xiàn)性回歸：不能忽視的三個(gè)問(wèn)題

前言

線(xiàn)性回歸是比較簡(jiǎn)單的機器學(xué)習算法，很多書(shū)籍介紹的第一種機器學(xué)習算法就是線(xiàn)性回歸算法，筆者查閱的中文書(shū)籍都是給出線(xiàn)性回歸的表達式，然后告訴你怎么求參數最優(yōu)化，可能部分同學(xué)會(huì )忽視一些問(wèn)題，至少筆者忽視了。因此，本文重點(diǎn)介紹了平常容易忽視的三類(lèi)問(wèn)題，（1）線(xiàn)性回歸的理論依據是什么（2）過(guò)擬合意味著(zhù)什么（3）模型優(yōu)化的方向。

目錄

1、線(xiàn)性回歸的理論依據是什么

2、過(guò)擬合意味著(zhù)什么

3、模型優(yōu)化的方向

4、總結

線(xiàn)性回歸的理論依據

泰勒公式

若函數f(x)在包含x0的某個(gè)閉區間[a,b]上具有n階導數，且在開(kāi)區間(a,b)上具有(n+1)階導數，則對閉區間[a,b]上任意一點(diǎn)x，成立下式：

結論：對于區間[a,b]上任意一點(diǎn)，函數值都可以用兩個(gè)向量?jì)确e的表達式近似，其中

是基函數（basis function），是相應的系數。

高階表達式表示兩者值的誤差（請回想您學(xué)過(guò)的線(xiàn)性回歸表達式）。

傅里葉級數

周期函數f(x)可以用向量?jì)确e近似，表示基函數，表示相應的系數，表示誤差。

線(xiàn)性回歸

由泰勒公式和傅里葉級數可知，當基函數的數量足夠多時(shí)，向量?jì)确e無(wú)限接近于函數值。線(xiàn)性回歸的向量?jì)确e表達式如下：

過(guò)擬合問(wèn)題

過(guò)擬合定義

構建模型的訓練誤差很小或為0，測試誤差很大，這一現象稱(chēng)為過(guò)擬合。

高斯噪聲數據模型

我們采集的樣本數據其實(shí)包含了噪聲，假設該噪聲的高斯噪聲模型，均值為0，方差為。

若樣本數據的標記為y1，理論標記為y，噪聲為η，則有：

y1 = y + η，（其中，η是高斯分布的抽樣）

上節的線(xiàn)性回歸表達式的方差表示的意義是噪聲高斯分布的隨機抽樣，書(shū)本的線(xiàn)性回歸表達式把方差也包含進(jìn)去了。

過(guò)擬合原因

數學(xué)術(shù)語(yǔ)：當基函數的個(gè)數足夠大時(shí)，線(xiàn)性回歸表達式的方程恒相等。

如下圖：

機器學(xué)習術(shù)語(yǔ)：模型太過(guò)復雜以致于把無(wú)關(guān)緊要的噪聲也學(xué)進(jìn)去了。

當線(xiàn)性回歸的系數向量間差異比較大時(shí)，則大概率設計的模型處于過(guò)擬合了。用數學(xué)角度去考慮，若某個(gè)系數很大，對于相差很近的x值，結果會(huì )有較大的差異，這是較明顯的過(guò)擬合現象。

過(guò)擬合的解決辦法是降低復雜度，后期會(huì )有相應的公眾號文章，請繼續關(guān)注。

模型的優(yōu)化方向

模型的不同主要是體現在參數個(gè)數，參數大小以及正則化參數λ，優(yōu)化模型的方法是調節上面三個(gè)參數（但不僅限于此，如核函數），目的是找到最優(yōu)模型。

總結

本文通過(guò)泰勒公式和傅里葉級數的例子說(shuō)明線(xiàn)性回歸的合理性，線(xiàn)性回歸表達式包含了方差項，該方差是高斯噪聲模型的隨機采樣，若訓練數據在線(xiàn)性回歸的表達式恒相等，那么就要考慮過(guò)擬合問(wèn)題了，回歸系數間差異比較大也是判斷過(guò)擬合的一種方式。模型優(yōu)化的方法有很多種，比較常見(jiàn)的方法是調節參數個(gè)數，參數大小以及正則化參數λ。