關(guān)于如何使用機器學(xué)習來(lái)做異常檢測的7個(gè)問(wèn)題

導讀

異常檢測的一些入門(mén)問(wèn)題。

問(wèn)問(wèn)題是學(xué)習的最好方法之一。但有時(shí)你不知道從哪里開(kāi)始，或者該問(wèn)什么 —— 尤其是在你還比較熟悉的異常檢測之類(lèi)的話(huà)題上。在這種情況下，最好傾聽(tīng)別人的問(wèn)題，讓他們的思路來(lái)指導你的學(xué)習。以下是我們在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”網(wǎng)絡(luò )研討會(huì )上收到的一些問(wèn)題，可以幫助你入門(mén)。

離群點(diǎn)和異常值的區別是什么？

離群值是遠離分布的位置或者平均值的觀(guān)測值。然而，它們并不一定代表異常行為或由不同過(guò)程產(chǎn)生的行為。另一方面，異常是由不同的過(guò)程生成的數據模式。

異常檢測在藥品中有什么應用嗎？

異常檢測在藥物生命科學(xué)領(lǐng)域有許多應用。包括在制藥生產(chǎn)中使用統計過(guò)程控制(SPC)或質(zhì)量控制(QC)和多元過(guò)程控制(MSPC)圖表進(jìn)行過(guò)程監控和質(zhì)量控制。及時(shí)發(fā)現異常是避免異常事件發(fā)生，遵守安全標準的關(guān)鍵。發(fā)現柜臺交易中的異常情況，可以用來(lái)打擊醫藥零售數據中的處方濫用。實(shí)時(shí)檢測多參數臨床試驗數據中的異常，有助于保證臨床試驗的成功。

GANs也用于異常檢測嗎？如果是的話(huà)，能否提供一個(gè)行業(yè)用例

生成對抗網(wǎng)絡(luò )(GANs)是一種新的無(wú)監督學(xué)習方法，在識別異常方面非常有效。由于GANs是設計成迭代的，并且對抗性訓練的目的是利用重構樣本來(lái)優(yōu)化減少殘差損失，因此它們在半結構化和非結構化數據中工作得很好。它們在醫學(xué)圖像分析(幫助放射學(xué)家發(fā)現難以識別的腫瘤)、面部識別、文本圖像轉換等方面非常有用。

數據相關(guān)性會(huì )影響異常檢測嗎？我們可以用什么方法，怎樣減少這些影響？是否最好在開(kāi)始異常檢測之前清除和刪除關(guān)聯(lián)數據？

正如在網(wǎng)絡(luò )研討會(huì )上提到的，我們不認為相關(guān)性會(huì )影響異常檢測，但我們有許多可用的技術(shù)來(lái)幫助確定如何處理相關(guān)變量。一個(gè)建議是使用主成分分析(PCA)這樣的技術(shù)來(lái)減少維數。

建議使用什么樣的算法適合于檢測與識別網(wǎng)絡(luò )活動(dòng)或數據中的不尋?；顒?dòng)有關(guān)的異常？

正如在網(wǎng)絡(luò )研討會(huì )上提到的，有許多方法和算法可以很好地用于異常檢測的各種應用和用例。其中有遞歸神經(jīng)網(wǎng)絡(luò )(RNN)、生成對抗網(wǎng)絡(luò )(GAN)、隔離森林、深度自編碼器等。如果你對網(wǎng)絡(luò )/圖分析特別感興趣，用來(lái)識別網(wǎng)絡(luò )圖異常的兩種主要方法是直接鄰居離群點(diǎn)檢測算法(DNODA)和社區鄰居算法(CNA)。

在我目前的工作中，“新穎性”是我們努力去發(fā)現的主要東西。質(zhì)量控制圖對于已知的模式很有效，但是自動(dòng)識別新模式比較困難。我希望能得到一些在這方面有所幫助的工具的想法。

對于單變量質(zhì)量控制圖，西方的電氣規則可以用于檢測少數常見(jiàn)的模式。經(jīng)典的多元方法，如偏最小二乘(PLS)，會(huì )捕獲到涉及不止一個(gè)變量的模式，但不能被單變量方法檢測。自動(dòng)編碼器是最全面的工具，將涵蓋最廣泛的不同模式。它可以捕獲多變量、循環(huán)、非線(xiàn)性和交互的模式。你使用一組正常數據訓練autoencoder，在訓練集中沒(méi)有出現的新數據中出現的任何模式都將被標記。

通過(guò)做PCA來(lái)減少維度會(huì )影響數據集中的異常嗎？它會(huì )導致異?，F象的消失嗎？如果是這樣，如何預防呢？

做PCA將會(huì )在原始數據集中捕獲一些百分比的方差。因此，我們使用PCA進(jìn)行異常檢測的方法是計算原始點(diǎn)到低維空間中表示的點(diǎn)的“距離”。距離越大(即在將觀(guān)測結果映射到低維空間時(shí)“丟失”的越多)，我們就越認為它是一種異常。

英文原文：https://www.tibco.com/blog/2020/01/27/7-questions-on-how-to-use-machine-learning-for-anomaly-detection/