數據偏度介紹和處理方法

有時(shí)，正態(tài)分布傾向于向一邊傾斜。這是因為數據大于或小于平均值的概率更高，因此使得分布不對稱(chēng)。這也意味著(zhù)數據不是均勻分布的。
偏度可以與其他描述性統計一起描述變量的分布。通過(guò)偏度也可以判斷變量是否為正態(tài)分布。因為正態(tài)分布的偏度為零，是許多統計過(guò)程的假設。

分布可以有右偏度(或正偏度)、左偏度(或負偏度)或零偏度。右偏態(tài)分布在其峰值的右側較長(cháng)，而左偏態(tài)分布在其峰值的左側較長(cháng)。
1、零偏度
—當一個(gè)分布的偏度為零時(shí)，它是對稱(chēng)的。它的左右兩邊是鏡像。正態(tài)分布的偏度為零，但不是只有正態(tài)分布的偏度為零。任何對稱(chēng)分布，如均勻分布或某些雙峰分布，偏度都是零。
檢查變量是否具有傾斜分布的最簡(jiǎn)單方法是將其繪制成直方圖。

分布近似對稱(chēng)，觀(guān)測值在峰值的左右兩側分布相似。因此分布的偏度近似為零。在零偏度的分布中，平均值和中位數是相等的，也就是說(shuō)：

mean = median

mean > median

mean < median

有幾個(gè)公式可以用來(lái)測量偏度。其中最簡(jiǎn)單的是皮爾遜中值偏度。它就是利用了上面我們說(shuō)的偏態(tài)分布中均值和中位數不相等來(lái)計算的。

皮爾遜中位數偏度是計算均值和中位數之間有多少個(gè)標準差。
真實(shí)的觀(guān)測很少有剛好為0的皮爾遜偏中值。因為如果數據的值接近于0，則可以認為它具有零偏度，但是在實(shí)際數據中很少有沒(méi)有零偏度的分布數據。
例如，我們每年觀(guān)測到的太陽(yáng)黑子數量的Pearson中位數偏度：平均值= 48.6，中位數= 39，標準差= 39.5。那么公式如下：

如果該值介于：

• -0.5和0.5，值的分布幾乎對稱(chēng)
• -1和-0.5之間為負偏斜，0.5到1之間為正偏斜。偏度適中。
• 如果偏度小于-1(負偏)或大于1(正偏)，則數據是高度偏斜。

如果你的統計過(guò)程需要正態(tài)分布并且你的數據是傾斜的，你通常有三個(gè)選擇：

• 什么也不做：許多統計檢驗，包括t檢驗、方差分析和線(xiàn)性回歸，對偏斜數據不太敏感。特別是如果偏斜是輕微或中度的，最好的辦法就是忽略它。
• 數據轉換：通過(guò)對數據應用某種變換，可以調整數據的分布形狀，使其更接近對稱(chēng)分布。常見(jiàn)的數據轉換方法包括取對數、開(kāi)方、平方根等。這些轉換可以減小或消除數據的偏度。
• 使用不同的模型：你可能想選擇一個(gè)不假設正態(tài)分布的模型，非參數測試或廣義線(xiàn)性模型可能更適合您的數據。比如說(shuō)非參數方法：如果數據的偏度較大，而且無(wú)法通過(guò)簡(jiǎn)單的轉換來(lái)糾正，可以考慮使用非參數統計方法。非參數方法不依賴(lài)于分布的假設，而是直接對數據進(jìn)行分析，例如使用中位數作為代表性的位置測度，而不是平均值。
• 分組分析：如果數據集中存在明顯的子群體，可以考慮對數據進(jìn)行分組分析。通過(guò)將數據分成多個(gè)子群體，并對每個(gè)子群體進(jìn)行單獨的分析，可以更好地了解數據的特征和偏度情況。
• 針對特定問(wèn)題采取相應的方法：根據具體的數據和分析目的，可以采用特定的方法來(lái)處理偏度數據。例如，在回歸分析中，可以使用偏度穩定轉換（skewness-stabilizing transformation）來(lái)調整數據的偏度，以滿(mǎn)足回歸模型的假設。

下表總結了一些常用數據變換：

數據的偏度是用來(lái)衡量概率分布或數據集中不對稱(chēng)程度的統計量。它描述了數據分布的尾部在平均值的哪一側更重或更長(cháng)。通過(guò)計算偏度，可以更好地了解數據的分布特征，并在需要時(shí)采取適當的數據處理或分析方法。但是需要注意的是，偏度只是數據分布的一種度量，不能完全代表數據的整體特征，因此在分析數據時(shí)需要綜合考慮其他統計指標和可視化方法。
作者：Dhaval Raval