網(wǎng)易云音樂(lè )的個(gè)性化推薦漫談

　　用過(guò)蝦米、酷狗、QQ音樂(lè )、網(wǎng)易云音樂(lè )，個(gè)人感受網(wǎng)易云音樂(lè )在音樂(lè )推薦這塊做的真心不錯，特別是以“人”為角度的推薦，沒(méi)有像蝦米、酷狗推的那么亂。蝦米還可以，但更多的是以歌搜歌的形式。剛注冊了一個(gè)新的賬號，避免有歷史數據的干擾，聽(tīng)了一首周杰倫的《一路向北》和陳奕迅的《淘汰》，然后去個(gè)性化推薦里看到了蔡健雅的《紅色高跟鞋》和曲婉婷的《承認》，給我的感覺(jué)還是比較驚喜，像蔡健雅一般聽(tīng)的人比較少，還能推薦到體驗不錯。當然也有很多不一定特別準，當然聽(tīng)歌這東西就不需要完全準確。

　　網(wǎng)易云音樂(lè )關(guān)于個(gè)性化推薦這塊在公司外部介紹的比較少，但應該推薦的算法和機制和大部分的音樂(lè )素材的公司做的類(lèi)似。以item為核心的協(xié)同過(guò)濾(CF)，通過(guò)打分機制來(lái)推薦最適合的歌曲。

　　、

　　印象中早期網(wǎng)易云音樂(lè )還可以將自己聽(tīng)的歌曲分享到微信朋友圈等，通過(guò)跳轉關(guān)聯(lián)到的賬戶(hù)ID識別出朋友關(guān)系。這個(gè)想法的確很贊，包括我第一次聽(tīng)《一路向北》的時(shí)候也是一個(gè)朋友推薦給我的，這首歌不僅是個(gè)人喜歡的風(fēng)格，再加上有朋友推薦所以留下很好的印象。但是很可惜，現在朋友圈不能分享了。微博還可以分享，只是現在微博的數據很多水分。

　　現在主流的方式都是人工+智能推薦，人工的方式就不過(guò)多介紹，費時(shí)費力。出不了幾張有限的專(zhuān)輯?，F在主流都是通過(guò)機器學(xué)習的方式，通過(guò)同類(lèi)人類(lèi)的偏好給相似的人群推薦他們都喜歡的歌曲。也有根據以歌的item推薦相似的歌曲，但體驗就是聽(tīng)來(lái)聽(tīng)去就是那個(gè)風(fēng)格，很快就乏味了。

　　算法部分：

　　1.相似人群的推薦

　　引用：著(zhù)作權歸作者所有。

　　作者：邰原朗

　　鏈接：網(wǎng)易云音樂(lè )的歌單推薦算法是怎樣的? – 邰原朗的回答

　　來(lái)源：知乎

　　有3首歌放在那里，《最炫民族風(fēng)》，《晴天》，《Hero》。

　　A君，收藏了《最炫民族風(fēng)》，而遇到《晴天》，《Hero》則總是跳過(guò);

　　B君，經(jīng)常單曲循環(huán)《最炫民族風(fēng)》，《晴天》會(huì )播放完，《Hero》則拉黑了

　　C君，拉黑了《最炫民族風(fēng)》，而《晴天》《Hero》都收藏了。

　　我們都看出來(lái)了，A,B二位品味接近，C和他們很不一樣。

　　那么問(wèn)題來(lái)了，說(shuō)A，B相似，到底有多相似，如何量化?

　　我們把三首歌想象成三維空間的三個(gè)維度，《最炫民族風(fēng)》是x軸，《晴天》是y軸，《Hero》是z軸，對每首歌的喜歡程度即該維度上的坐標，

　　并且對喜歡程度做量化(比如： 單曲循環(huán)=5, 分享=4, 收藏=3, 主動(dòng)播放=2 , 聽(tīng)完=1, 跳過(guò)=-1 , 拉黑=-5 )。

　　那么每個(gè)人的總體口味就是一個(gè)向量，A君是 (3,-1,-1)，B君是(5,1,-5)，C君是(-5,3,3)。 (抱歉我不會(huì )畫(huà)立體圖)

　　我們可以用向量夾角的余弦值來(lái)表示兩個(gè)向量的相似程度， 0度角(表示兩人完全一致)的余弦是1， 180%角(表示兩人截然相反)的余弦是-1。

　　根據余弦公式, 夾角余弦 = 向量點(diǎn)積/ (向量長(cháng)度的叉積) = ( x1x2 + y1y2 + z1z2) / ( 跟號(x1平方+y1平方+z1平方 ) x 跟號(x2平方+y2平方+z2平方 ) )

　　可見(jiàn) A君B君夾角的余弦是0.81 ， A君C君夾角的余弦是 -0.97 ，公式誠不欺我也。

　　以上是三維(三首歌)的情況，如法炮制N維N首歌的情況都是一樣的。

　　假設我們選取一百首種子歌曲，算出了各君之間的相似值，那么當我們發(fā)現A君還喜歡聽(tīng)的《小蘋(píng)果》B君居然沒(méi)聽(tīng)過(guò)，相信大家都知道該怎么和B君推薦了吧。

　　第一類(lèi)以人為本推薦算法的好處我想已經(jīng)很清楚了，那就是精準!

　　代價(jià)是運算量很大，而且對于新來(lái)的人(聽(tīng)得少，動(dòng)作少)，也不太好使，

　　所以人們又發(fā)明了第二類(lèi)算法。

　　假設我們對新來(lái)的D君，只知道她喜歡最炫民族風(fēng)，那么問(wèn)題來(lái)了，給她推薦啥好咯?

　　如圖，推薦《晴天》!

　　以及nick lee分享的一種矩陣計算得分的方式：

　　作者：nick lee

　　鏈接：網(wǎng)易云音樂(lè )的歌單推薦算法是怎樣的? – nick lee 的回答

　　來(lái)源：知乎

　　這里我想給大家介紹另外一種推薦系統，這種算法叫做潛在因子(Latent Factor)算法。這種算法是在NetFlix(沒(méi)錯，就是用大數據捧火《紙牌屋》的那家公司)的推薦算法競賽中獲獎的算法，最早被應用于電影推薦中。這種算法在實(shí)際應用中比現在排名第一的 @邰原朗 所介紹的算法誤差(RMSE)會(huì )小不少，效率更高。我下面僅利用基礎的矩陣知識來(lái)介紹下這種算法。

　　這種算法的思想是這樣：每個(gè)用戶(hù)(user)都有自己的偏好，比如A喜歡帶有小清新的、吉他伴奏的、王菲等元素(latent factor)，如果一首歌(item)帶有這些元素，那么就將這首歌推薦給該用戶(hù)，也就是用元素去連接用戶(hù)和音樂(lè )。每個(gè)人對不同的元素偏好不同，而每首歌包含的元素也不一樣。我們希望能找到這樣兩個(gè)矩陣：

　　一，用戶(hù)-潛在因子矩陣Q，表示不同的用戶(hù)對于不用元素的偏好程度，1代表很喜歡，0代表不喜歡。比如下面這樣：

　　二，潛在因子-音樂(lè )矩陣P，表示每種音樂(lè )含有各種元素的成分，比如下表中，音樂(lè )A是一個(gè)偏小清新的音樂(lè )，含有小清新這個(gè)Latent Factor的成分是0.9，重口味的成分是0.1，優(yōu)雅的成分是0.2……

　　利用這兩個(gè)矩陣，我們能得出張三對音樂(lè )A的喜歡程度是：張三對小清新的偏好*音樂(lè )A含有小清新的成分+對重口味的偏好*音樂(lè )A含有重口味的成分+對優(yōu)雅的偏好*音樂(lè )A含有優(yōu)雅的成分+……

　　即：0.6*0.9+0.8*0.1+0.1*0.2+0.1*0.4+0.7*0=0.69

　　每個(gè)用戶(hù)對每首歌都這樣計算可以得到不同用戶(hù)對不同歌曲的評分矩陣

　　。(注，這里的破浪線(xiàn)表示的是估計的評分，接下來(lái)我們還會(huì )用到不帶波浪線(xiàn)的R表示實(shí)際的評分)：

　　因此我們隊張三推薦四首歌中得分最高的B，對李四推薦得分最高的C，王五推薦B。

　　如果用矩陣表示即為：

　　下面問(wèn)題來(lái)了，這個(gè)潛在因子(latent factor)是怎么得到的呢?

　　由于面對海量的讓用戶(hù)自己給音樂(lè )分類(lèi)并告訴我們自己的偏好系數顯然是不現實(shí)的，事實(shí)上我們能獲得的數據只有用戶(hù)行為數據。我們沿用 @邰原朗的量化標準：?jiǎn)吻h(huán)=5, 分享=4, 收藏=3, 主動(dòng)播放=2 , 聽(tīng)完=1, 跳過(guò)=-2 , 拉黑=-5，在分析時(shí)能獲得的實(shí)際評分矩陣R，也就是輸入矩陣大概是這個(gè)樣子：

　　事實(shí)上這是個(gè)非常非常稀疏的矩陣，因為大部分用戶(hù)只聽(tīng)過(guò)全部音樂(lè )中很少一部分。如何利用這個(gè)矩陣去找潛在因子呢?這里主要應用到的是矩陣的UV分解。也就是將上面的評分矩陣分解為兩個(gè)低維度的矩陣，用Q和P兩個(gè)矩陣的乘積去估計實(shí)際的評分矩陣，而且我們希望估計的評分矩陣

　　事實(shí)上這是個(gè)非常非常稀疏的矩陣，因為大部分用戶(hù)只聽(tīng)過(guò)全部音樂(lè )中很少一部分。如何利用這個(gè)矩陣去找潛在因子呢?這里主要應用到的是矩陣的UV分解。也就是將上面的評分矩陣分解為兩個(gè)低維度的矩陣，用Q和P兩個(gè)矩陣的乘積去估計實(shí)際的評分矩陣，而且我們希望估計的評分矩陣

　　和實(shí)際的評分矩陣不要相差太多，也就是求解下面的目標函數：

　　這里涉及到最優(yōu)化理論，在實(shí)際應用中，往往還要在后面加上2范數的罰項，然后利用梯度下降法就可以求得這P,Q兩個(gè)矩陣的估計值。這里我們就不展開(kāi)說(shuō)了。例如我們上面給出的那個(gè)例子可以分解成為這樣兩個(gè)矩陣：

　　這兩個(gè)矩陣相乘就可以得到估計的得分矩陣：

　　這兩個(gè)矩陣相乘就可以得到估計的得分矩陣：

　　將用戶(hù)已經(jīng)聽(tīng)過(guò)的音樂(lè )剔除后，選擇分數最高音樂(lè )的推薦給用戶(hù)即可(紅體字)。

　　將用戶(hù)已經(jīng)聽(tīng)過(guò)的音樂(lè )剔除后，選擇分數最高音樂(lè )的推薦給用戶(hù)即可(紅體字)。

　　在這個(gè)例子里面用戶(hù)7和用戶(hù)8有強的相似性：

　　從推薦的結果來(lái)看，正好推薦的是對方評分較高的音樂(lè )：

　　從推薦的結果來(lái)看，正好推薦的是對方評分較高的音樂(lè )：

　　本質(zhì)上應該都類(lèi)似，都是從Amazon那條路子下來(lái)的。但是這種方式也會(huì )遇到問(wèn)題：

　　A)冷啟動(dòng)的問(wèn)題，在沒(méi)有用戶(hù)數據的情況下要推哪些歌曲，目前網(wǎng)易云音樂(lè )搞了個(gè)比較Q的調查問(wèn)卷，還是挺有趣的。

　　B)同質(zhì)化嚴重問(wèn)題，怎么加入新的元素，比如熱門(mén)+新歌來(lái)補充這塊;

　　C)人群變化問(wèn)題，光靠推薦很明顯不代表每個(gè)個(gè)體的情況，特別是一些小眾群體，數據比較稀疏。這些就需要用戶(hù)自己主動(dòng)搜索和添加、喜歡、下載的方式。

　　2.相似歌的推薦

　　蝦米、酷狗上都是這樣的歌曲漫游推薦的形式，個(gè)人不太提倡這樣的方式，簡(jiǎn)單認為聽(tīng)過(guò)A歌的人也可能喜歡B，這個(gè)差異還是比較大的。而且還是要維護一堆歌曲的tag標簽。

　　整體來(lái)說(shuō)，網(wǎng)易云音樂(lè )在個(gè)性化推薦這塊算法還是花了不少真功夫，所以要給個(gè)贊?？吹剿麄冊谒惴ㄕ衅?、并發(fā)計算這些實(shí)時(shí)場(chǎng)景的介紹比較少，還是希望能夠有機會(huì )在線(xiàn)下能夠有這塊的交流。