基于特征選擇改進(jìn)LR-Bagging算法的電力欠費風(fēng)險居民客戶(hù)預測

3 應用與結果

　　本應用以“電費回收風(fēng)險”為主題，要求根據2015年8月至2015年9月貴州貴陽(yáng)電網(wǎng)欠費居民樣本客戶(hù)的行為分析和特征擬合，以及與全量居民客戶(hù)的特征匹配，采用分群管理理論和數據挖掘算法建立數學(xué)模型，計算出全量居民客戶(hù)的電費回收風(fēng)險程度，自動(dòng)分析識別出欠費高風(fēng)險居民客戶(hù)群。

　　本部分主要通過(guò)改進(jìn)的LR-Bagging算法與單一逐步邏輯回歸算法在電力欠費高風(fēng)險居民客戶(hù)的預測的應用效果的比較來(lái)展開(kāi)。借助的分析工具為R語(yǔ)言。

3.1 基于本文改進(jìn)算法的模型流程圖

　　針對本應用的實(shí)際情況，結合改進(jìn)算法的數據需求，整體實(shí)際操作過(guò)程的流程可以表述如圖3。

3.2 模型與結果

　　綜上所述，有如下處理過(guò)程：

　　3.2.1 定義風(fēng)險客戶(hù)樣本

　　業(yè)務(wù)經(jīng)驗告訴我們，并非所有的欠費居民客戶(hù)都是存在欠費風(fēng)險的客戶(hù)，因為我們并不排除多數欠費居民客戶(hù)因為忘記繳費日期而出現欠費的可能性。一般情況下，存在欠費風(fēng)險的居民客戶(hù)占全量客戶(hù)的比例不超過(guò)25%。因此，考慮通過(guò)所有欠費居民客戶(hù)在2015年8月至9月的累計欠費金額的四分之三分位點(diǎn)作為定義欠費風(fēng)險居民客戶(hù)的標準。

　　圖4為全部居民客戶(hù)在2015年8月至9月累計欠費金額的概率直方圖，可以發(fā)現，大約75%的居民客戶(hù)的累計欠費金額在140元以下。經(jīng)過(guò)與電網(wǎng)專(zhuān)家的商討，認為可選定該數據為是否為欠費風(fēng)險客戶(hù)的閾值。

　　綜上所述，我們定義“壞客戶(hù)”樣本，即欠費風(fēng)險客戶(hù)樣本的標準為：在2015年8月至9月期內，累計欠費金額超過(guò)140元的居民客戶(hù)。

　　3.2.2 變量的構造與篩選

　　原始居民客戶(hù)數據包含包括年齡、用電性質(zhì)、合同容量等基本屬性以及總用電量、電費實(shí)際金額等歷史行為屬性在內的25個(gè)字段，顯然，變量個(gè)數過(guò)多，需要進(jìn)行篩選，具體操作為：

　　對于連續型變量，計算其與因變量“是否為壞客戶(hù)”的spearman相關(guān)系數，大于0.5的情況下保留;對于離散型變量，對其與因變量做卡方檢驗，保留在0.05顯著(zhù)性水平下的顯著(zhù)變量，最終確定的用于建模的變量為：平均用電量、平均電費、平均繳費時(shí)長(cháng)、信譽(yù)分數、用電類(lèi)別、行業(yè)代碼、合同容量、城鄉標志，對應地設置為X₁~X₈。

　　同時(shí)，考慮到離散變量對于邏輯回歸的效果影響，基于目標變量對WEO其做編碼處理。WEO叫做證據權重(Weight of Evidence)，表示的其實(shí)是自變量取某個(gè)值的時(shí)候對欠費比例的一種影響。若WEO_i表示離散變量的第i個(gè)類(lèi)值的證據權重，則有：

(8)

　　其中，P_bi和P_gi分別表示離散變量取第i個(gè)類(lèi)值時(shí)，欠費風(fēng)險客戶(hù)占比和非欠費風(fēng)險客戶(hù)的占比。

　　最后，隨機抽取已完成前述處理的居民客戶(hù)樣本的10%，共條記錄作為構建模型的初始數據 。

3.3 建模

　　3.3.1 本文改進(jìn)算法模型

　　基于特征選擇改進(jìn)的LR-Bagging組合模型雖然增加了分類(lèi)結果的精度，但特征選擇的隨機性也不可避免的增加了模型的偶然性。顯然，每一次特征變量個(gè)數發(fā)生改變。在其他條件不變的狀態(tài)下，隨著(zhù)循環(huán)次數的增加，至于特征變量的個(gè)數對模型結果的影響規律，我們甚至無(wú)法預知。對此，本處采用了實(shí)證比較的方法來(lái)初步確定上述兩影響因素的最優(yōu)數值，即通過(guò)不斷改變特征變量探究模型效果的變化。模型的效果的好壞仍采用采用AUC值來(lái)衡量。即令特征變量個(gè)數k滿(mǎn)足：，同時(shí)，基于經(jīng)驗，我們設置訓練集與測試集的樣本比例為7：3，ε的值為0.05，則利用本文算法可以得到不同的組合模型。

　　觀(guān)察圖5不難發(fā)現，在其他條件不變的情況下，隨著(zhù)特征變量個(gè)數的增加，AUC總體呈現先增長(cháng)后下降的的變化趨勢，且當k取值為4時(shí)，AUC最大，因此大致可以認為4為其最佳特征個(gè)數，選取 時(shí)的組合模型為本文改進(jìn)算法得到的最終模型。

　　3.3.2 單一逐步邏輯回歸模型

　　對初始數據S通過(guò)逐步篩選建立邏輯回歸模型，結果為：

　　各系數均通過(guò)了0.05顯著(zhù)性水平下的公式(6)的正態(tài)分布檢驗。因此，該模型是顯著(zhù)有效的。

4 模型評估

　　分別采用本文基于特征選擇改進(jìn)的LR-Bagging算法的組合模型與單一LR模型對全量居民客戶(hù)的風(fēng)險概率預測，并借助預測結果對兩者的準確性與有效性做出評估。

4.1 準確性—ROC曲線(xiàn)

　　圖6表明，基于本文算法模型的預測電力欠費風(fēng)險客戶(hù)的ROC曲線(xiàn)一直位于單一LR模型預測結果的ROC曲線(xiàn)上方，因此，可以認為，前者的準確性?xún)?yōu)于后者。

4.2 有效性—提升度

　　提升度(Lift)是評估一個(gè)預測模型是否有效的一個(gè)度量。這個(gè)比值由運用和不運用這個(gè)模型所得來(lái)的結果計算而來(lái)。一般來(lái)說(shuō)提升度越大，效果明顯。

　　圖7表明，基于本文算法模型的預測電力欠費風(fēng)險客戶(hù)的提升度曲線(xiàn)一直位于單一LR模型預測結果的提升度曲線(xiàn)上方，因此，可以認為，前者的提升度較大，有效性?xún)?yōu)于后者。

5 結論

　　本文從電力欠費風(fēng)險預測的角度出發(fā)，提出了一種基于特征選擇改進(jìn)的LR-Bagging(即以邏輯回歸為基分類(lèi)器的Bagging集成學(xué)習)算法，其精髓在于每一個(gè)訓練的LR基分類(lèi)器的記錄和字段均通過(guò)隨機抽樣得到。且算法的終止迭代準則由AUC統計量的變化率決定。該改進(jìn)算法充分考慮了LR的強泛化能力、bagging的高精確度以及特征選擇帶來(lái)的LR基分類(lèi)器的多樣性、弱化的多重共線(xiàn)性與“過(guò)擬合”度，效果優(yōu)于單一LR模型。且最終的實(shí)驗表明，該改進(jìn)算法得到的電力欠費居民客戶(hù)風(fēng)險預測模型的準確定性與有效性得到提升。而下一步，可針對改進(jìn)算法中最優(yōu)變量個(gè)數的確定問(wèn)題展開(kāi)探討，或考慮將其推廣至其他應用領(lǐng)域。

　　參考文獻：

　　[1]顧曦華.濟南供電公司電力大客戶(hù)欠費風(fēng)險預警研究[D].保定:華北電力大學(xué),2007.

　　[2]田慧欣,王安娜.基于增量學(xué)習思想的改進(jìn)AdaBoost建模方法[J].控制與決策,2012,27(9):1433-1436.

　　[3]李亞林,王茜.對電力營(yíng)銷(xiāo)中全過(guò)程電費風(fēng)險管理的探究[J].電力技術(shù),2016,1(148):165-165.

　　[4]張宇獻,李松,董曉.基于特征聚類(lèi)數據劃分的多神經(jīng)網(wǎng)絡(luò )模型[J].信息與控制,2013,42(6):693-699.

　　[5]朱志華.電力客戶(hù)信用評價(jià)與欠費風(fēng)險預警系統的總體設計[J].現代計算機(專(zhuān)業(yè)版).2009(01):188-190.

　　[6]周暉等.基于Logistic回歸模型的電力客戶(hù)欠費違約概率的預測[J]. 電網(wǎng)技術(shù),2007,31(17):85-88.

　　[7]黃文思.基于決策樹(shù)算法的電力客戶(hù)欠費風(fēng)險預測[J].電力信息與通信技術(shù),2016,14(3):20-22.

　　[8]馬新宇.基于Bagging集成學(xué)習的水華預測方法研究[J].計算機應用化學(xué),2014,31(2):140-144.

　　[9]Ma Ranran. Research of Ensemble Learning Algorithm. Shandong:Shandong Univerity of Science and Technology,2010.

　　[10]朱紹文,胡宏銀,王泉德,等.決策樹(shù)采掘技術(shù)及發(fā)展趨勢[J].計算機工程,2000,26(10):1-3.

　　[11]李海波,柴天佑,岳恒.浮選工藝指標KPCA-ELM軟測量模型及應用[J].化工學(xué)報,2012,63(9):2892-2898.

　　[12]馬冉冉.集成學(xué)習算法研究[D].濟南:山東科技大學(xué),2010.

　　[13]施彥.物流中心選址的神經(jīng)網(wǎng)絡(luò )集成模型研究[J].計算機工程,2009,45(16):211-214.

　　[14]劉淑蓮,王真,趙建衛.基于因子分析的上市公司信用評級應用研究[J].財經(jīng)問(wèn)題研究,2008,15(7):53-60.

　　[15]張克盡,陸開(kāi)宏,朱津永,等.基于神經(jīng)網(wǎng)絡(luò )的藻類(lèi)水華預測模型研究[J].中國環(huán)境監測,2012,28(3):53-57.

　　本文來(lái)源于《電子產(chǎn)品世界》2017年第4期第70頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。