預測熱門(mén)歌曲成功率 97%？這份清單前來(lái)「打假」

單看數據結果是不夠的，要仔細判斷這些數據的可靠性。

預測風(fēng)口、潮流是每個(gè)行業(yè)都熱衷的事情。這可以讓從業(yè)人員第一時(shí)間掌握行業(yè)的最新動(dòng)向，成為行業(yè)某一時(shí)段的領(lǐng)軍者。

音樂(lè )行業(yè)也同樣如此。音樂(lè )公司都希望自己能夠預測到下一次的音樂(lè )潮流，準確地挑選出下一首熱門(mén)歌曲，賺個(gè)盆滿(mǎn)缽滿(mǎn)。那實(shí)現這種預測是可能的嗎？

據《 Scientific American》與 《Axios》報道，這樣的模型真的出現了，介紹它的論文甚至被稱(chēng)為可以改變音樂(lè )產(chǎn)業(yè)的文章。97% 的超高預測成功概率，能夠讓音樂(lè )公司不必再層層篩選，耗時(shí)耗力，而是通過(guò)模型就能夠高效地預測出下個(gè)音樂(lè )「時(shí)尚單品」。這樣的好辦法何樂(lè )而不為呢？

事實(shí)真的如此嗎？

在這篇論文發(fā)出前，已經(jīng)有一些研究表示，音樂(lè )欣賞作為主觀(guān)性極強的事情，任何結果都是有可能的：最好的歌曲很少表現不佳，最差的歌曲很少表現良好，但不代表這些情況全然不會(huì )出現。

甚至有文章直接表示「本文認為，音樂(lè )預測還不是一項數據科學(xué)活動(dòng)」。

那么 97% 的預測成功概率如何實(shí)現的？是我們高估了預測難度還是低估了模型的能力？

有人指出，實(shí)際上并非如此。其實(shí)，人們現在還是無(wú)法用機器學(xué)習的方法來(lái)預測熱門(mén)音樂(lè )。

文章地址：https://reproducible.cs.princeton.edu/predicting-hits.html

文中指出了這個(gè)預測熱門(mén)音樂(lè )高準確率論文的紕漏：

論文作者使用了 33 位聽(tīng)眾對 24 首歌曲的反應數據。他們的初始數據集由 24 個(gè)樣本組成，每首歌曲一個(gè)樣本。對于每首歌，模型只依賴(lài)三個(gè)特征來(lái)預測它是否會(huì )成為熱門(mén)歌曲，這些特征的值取所有聽(tīng)眾的平均值。他們利用這個(gè)數據集，通過(guò)一種叫做 「過(guò)度采樣 」的方法，創(chuàng )建了一個(gè)包含 10000 個(gè)樣本的合成（假）數據集。測試機器學(xué)習模型的主要考慮因素之一是，其訓練數據應與評估數據應該完全分開(kāi)。而本文的關(guān)鍵錯誤就在于，這種訓練 - 測試分離是在數據已經(jīng)過(guò)采樣之后進(jìn)行的。因此，訓練數據和測試數據之間的相似度遠遠高于包含其他歌曲的新數據集。換句話(huà)說(shuō)，論文沒(méi)有提供模型在新歌曲上表現如何的證據。

當我們在作者發(fā)布的原始數據上修正這個(gè)誤差后測試模型時(shí)，模型的準確性比隨機好不了多少。我們還發(fā)現，使用作者的合成數據集，準確率實(shí)際上可以達到 100%。這并不奇怪：由于超采樣程度如此之高，使用訓練或測試分集都有可能重建原始數據。換句話(huà)說(shuō)，他們是在基本相同的數據上進(jìn)行訓練和測試。

可見(jiàn)，97% 這個(gè)數據雖然看著(zhù)不錯，但可信度非常低，它并不能代表一個(gè)模型的能力，也并不證明音樂(lè )可以真正被預測。

這篇論文中介紹的模型存在機器學(xué)習中最常見(jiàn)的缺陷之一：數據泄漏。這意味著(zhù)，模型是在與訓練數據相同或相似的數據上進(jìn)行評估的，這就夸大了對準確性的估計。在實(shí)際應用中，效果就會(huì )大打折扣。這相當于開(kāi)卷考試 97 分的同學(xué)突然要閉卷考試，那么 97 分就不能作為衡量這位同學(xué)的成績(jì)了。

其實(shí)數據泄漏這樣的錯誤不僅僅出現在這一篇文章里。很多文章，甚至很多領(lǐng)域都出現了這種錯誤。

例如就在上個(gè)月， 2020 年的一篇著(zhù)名腫瘤學(xué)論文中發(fā)現滲漏。而這篇文章發(fā)表在最負盛名的科學(xué)期刊之一《自然》上，而在發(fā)現錯誤之前已經(jīng)積累了上百次的引用。

論文地址：https://www.biorxiv.org/content/10.1101/2023.07.28.550993v1.full.pdf

該研究報告了微生物與 33 種不同癌癥類(lèi)型之間的強相關(guān)性，并創(chuàng )建了機器學(xué)習預測器，其區分癌癥的準確性接近完美。我們發(fā)現報告的數據和方法至少存在兩個(gè)根本性的缺陷：

（1）基因組數據庫和相關(guān)計算方法的錯誤導致所有樣本中出現了數百萬(wàn)個(gè)細菌讀數的假陽(yáng)性結果，這主要是因為大多數被鑒定為細菌的序列實(shí)際上是人類(lèi)的

（2）原始數據轉換中的錯誤產(chǎn)生了一種人工特征，即使是對沒(méi)有檢測到讀數的微生物也是如此，它為每種腫瘤類(lèi)型標記了一個(gè)獨特的信號，機器學(xué)習程序隨后利用這個(gè)信號創(chuàng )建了一個(gè)表面上準確的分類(lèi)器。

這些問(wèn)題都使結果無(wú)效，從而得出結論：研究中提出的基于微生物組的癌癥識別分類(lèi)器是完全錯誤的。這些問(wèn)題隨后又影響了其他十幾項已發(fā)表的研究。這些研究使用了相同的數據，其結果很可能也是無(wú)效的。

機器學(xué)習中常出現的問(wèn)題

泄漏是基于 ml 的科學(xué)中的許多錯誤之一。這樣的錯誤很常見(jiàn)的一個(gè)原因是，機器學(xué)習在各個(gè)科學(xué)領(lǐng)域中被隨意采用，論文中報告機器學(xué)習結果的標準沒(méi)有跟上步伐。過(guò)去在其他領(lǐng)域的研究發(fā)現，報告標準有助于提高研究的質(zhì)量，但在少數領(lǐng)域以外的基于機器學(xué)習的科學(xué)中，這種標準并不存在。

除了泄漏外，解釋錯誤同樣也是一個(gè)常見(jiàn)的錯誤，這與論文中如何描述研究結果以及他人如何理解研究結果有很大關(guān)系。

一篇系統性綜述發(fā)現，提出臨床預測模型的論文通常會(huì )對其研究結果進(jìn)行編造 — 例如，聲稱(chēng)某個(gè)模型適合臨床使用，但卻沒(méi)有證據表明該模型在其測試的特定條件之外也有效。這些錯誤并不一定夸大了模型的準確性。相反，它們夸大了模型可以在何時(shí)何地有效使用。

綜述地址 https://www.sciencedirect.com/science/article/pii/S0895435623000756

另一個(gè)經(jīng)常出現的疏忽是沒(méi)有明確模型輸出的不確定性水平。錯誤判斷會(huì )導致對模型的錯誤信任。許多研究沒(méi)有精確定義被建模的現象，導致研究結果的含義不明確。

相關(guān)論文地址：https://arxiv.org/abs/2206.12179

清單 REFORMS

既然這些錯誤這么常見(jiàn)，有沒(méi)有什么辦法可以避免呢？

有團隊做出了清單 REFORMS（(Reporting standards for Machine Learning Based Science) ，供大家參考，并能夠最大限度地減少基于機器學(xué)習的科學(xué)研究中的錯誤，以及在錯誤悄然出現時(shí)使其更加明顯?，F在公開(kāi)的是預印本。

文章地址：https://reforms.cs.princeton.edu/

這是一份包含 8 個(gè)模塊、32 個(gè)項目的核對表，對開(kāi)展機器學(xué)習科學(xué)研究的研究人員、審閱科學(xué)研究的裁判員以及提交和發(fā)表科學(xué)研究的期刊都有幫助。該清單由計算機科學(xué)、數據科學(xué)、社會(huì )科學(xué)、數學(xué)和生物醫學(xué)研究領(lǐng)域的 19 位研究人員共同制定。作者的學(xué)科多樣性對于確保這些標準在多個(gè)領(lǐng)域都有用至關(guān)重要。

這 8 個(gè)板塊及 32 個(gè)項目如下所示，如果你也正在進(jìn)行著(zhù)相關(guān)研究，可以作為參考。

當然要解決基于計算機科學(xué)研究的所有缺陷，僅靠一份檢查清單是遠遠不夠的。但是考慮到錯誤的普遍性和缺乏系統的解決方案，該團隊這樣的一份清單是被迫切需要的。

參與清單制作的成員指出，如果基于計算機科學(xué)的研究都使用這份清單自查，那他們就不會(huì )費力給豬涂口紅了（比喻想要把丑陋的事物變美好而做的無(wú)用功）。