WWW 2023 | 自動(dòng)長(cháng)度選擇的長(cháng)短期興趣建模模型

論文標題：

AutoMLP: Automated MLP for Sequential Recommendations

論文鏈接：

https://arxiv.org/pdf/2303.06337.pdf

盡管存在上述問(wèn)題，但最近基于 transformer 的高級模型可以實(shí)現最先進(jìn)的性能，但它們對輸入序列的長(cháng)度具有二次計算復雜度。為此，本文提出了一種新穎的順序推薦系統 AutoMLP，旨在根據用戶(hù)的歷史交互更好地建模用戶(hù)的長(cháng)期/短期興趣。此外，我們通過(guò)端到端優(yōu)化設計了一種自動(dòng)自適應搜索算法，以獲得更可取的短期興趣長(cháng)度。通過(guò)廣泛的實(shí)驗，我們表明 AutoMLP 與最先進(jìn)的方法相比具有競爭力的性能，同時(shí)保持線(xiàn)性計算復雜性。

如下圖所示，一個(gè)用戶(hù)的行為，可能收到長(cháng)期行為的影響（user1），也可能收到短期行為的影響（user2），也有可能 both（user3）。

序列推薦的三個(gè)重要信息：
1. 相對靜態(tài)的長(cháng)期興趣；2. 相對獨立、動(dòng)態(tài)的短期興趣；3. item 的屬性特征。
現有的方法有：1. 基于 RNN 的方法，難以捕獲長(cháng)期依賴(lài)；2. 基于 transformer 的方法，位置不敏感，難以區分異構的長(cháng)短期行為，并且由于 2 次復雜度，也不能應用在太長(cháng)的序列上；3. 因此出現了長(cháng)短期興趣分開(kāi)建模的方法，但這種方法往往利用經(jīng)驗選擇固定長(cháng)度的短期興趣，顯然無(wú)法自適應不同的場(chǎng)景與任務(wù)。
因此提出了 AutoMLP 模型，全稱(chēng)為：Automated Long-term Short-term Multi-Layer Perceptron for sequential recommendation。AutoMLP 僅包含 MLP 塊，因此保持線(xiàn)性時(shí)間和空間復雜度。autoMLP 設計了一個(gè)長(cháng)期興趣模塊和一個(gè)短期興趣模塊來(lái)分別捕捉長(cháng)期和短期的依賴(lài)關(guān)系。為了自動(dòng)適應不同任務(wù)的短期興趣窗口，利用連續松弛將離散序列長(cháng)度通過(guò) AutoML 技術(shù)轉換為連續且可微分的表示，這可以通過(guò)梯度下降進(jìn)行優(yōu)化。
02 方法

現在我們介紹 AutoMLP 的概述——一種完全基于 MLP 架構的順序推薦系統，它可以自動(dòng)學(xué)習適合不同順序推薦應用的短期用戶(hù)興趣長(cháng)度。AutoMLP 的主體由兩個(gè)獨立的基于 MLP 的網(wǎng)絡(luò )組成，即長(cháng)期用戶(hù)興趣模塊和短期興趣模塊，如下圖所示。
具體來(lái)說(shuō)，長(cháng)期用戶(hù)興趣模塊占據了整個(gè)用于預測的用戶(hù)歷史行為序列，因此更傾向于長(cháng)期的順序依賴(lài)。另一方面，短期用戶(hù)興趣模塊在 time 之前獲取一定數量的最新交互，傾向于對短期順序依賴(lài)性進(jìn)行建模。最近交互的數量將由神經(jīng)架構搜索（NAS）算法 DARTS 確定，該算法利用連續松弛使神經(jīng)架構搜索空間可微，因此可以通過(guò)梯度下降進(jìn)行優(yōu)化。最后，分離模塊的輸出將由全連接層融合以預測下一個(gè)交互項。

長(cháng)期興趣模塊的輸入是全部序列，過(guò)幾個(gè) SRSMLP 層得到用戶(hù)的長(cháng)期興趣表示。SRSMLP 層就是一個(gè) mlp-mixer，包括一個(gè) Sequence-mixer 和 Channel-mixer，具體結構如下：
SRSMLP
這個(gè)結構也非常簡(jiǎn)單，Sequence-mixer 就是在序列維度（embedding 層的 T）做 MLP，公式如下：

Channel-mixer 就是在特征維度（embedding 層的 D）做 MLP，公式如下：

短期興趣模塊也是過(guò)幾個(gè) SRSMLP 層，關(guān)鍵在于能用數據驅動(dòng)的方式自動(dòng)選擇 k 個(gè)短期行為，即：Session Length Search。

實(shí)現參考了 DARTS 的網(wǎng)絡(luò )架構搜索算法，先設置 M 個(gè)短期行為的候選長(cháng)度：，對每個(gè)候選 k 都過(guò)一個(gè) SRSMLP 層，并為每個(gè) k 分配一個(gè)可學(xué)習的架構權重：，之后應用 softmax 將權重轉換為連續且可微的近似值。

p.s. 讀者問(wèn)：softmax 的結果仍是一個(gè)連續值，雖然訓練時(shí)可微，但推理時(shí)并非是 ont-hot 那樣的選擇，而是加權融合，那么 Session Length Search 的選擇體現在哪里？
Discussion：由于短期興趣長(cháng)度的值與模型性能之間的影響不是單調的，因此要確定局部最優(yōu)值必須應用窮舉搜索，這對于長(cháng)用戶(hù)-項目交互序列來(lái)說(shuō)計算量極大，因為有更多可能的候選人。因此，這種方法的主要優(yōu)點(diǎn)是在不枚舉所有可能的模型架構的情況下學(xué)習局部最優(yōu)用戶(hù)短期興趣長(cháng)度并重復訓練它們，從而使選擇短期興趣長(cháng)度的決策過(guò)程高效且自適應。

將長(cháng)短期興趣拼接或相加（文中沒(méi)有明確說(shuō)明）后過(guò)一個(gè) mlp。

訓練過(guò)程包含兩個(gè)階段。第一階段是搜索階段，旨在找到代表優(yōu)選短期長(cháng)度的局部最優(yōu)A*（長(cháng)度權重）。第二階段是再訓練階段，在找到 A? 后，我們用最佳短期長(cháng)度重新訓練 AutoMLP 框架。（回答了前面的讀者問(wèn)）

雖然 是 AutoMLP 可學(xué)習參數的一個(gè)子集，但文獻表明，簡(jiǎn)單地更新 W和A 完全會(huì )導致訓練過(guò)程中的過(guò)度擬合問(wèn)題，因為它們彼此高度依賴(lài)。因此，本文按照慣例使用訓練數據集優(yōu)化W，同時(shí)使用驗證數據集優(yōu)化A。具體來(lái)說(shuō)，本文將其表述為雙層優(yōu)化，其中上層變量和下層變量 。形式上，將其表示為：

上式是一個(gè)嚴格的等式，很難優(yōu)化，因此替換為下式近似：

完整的訓練過(guò)程為：

這一階段就是固定短期興趣長(cháng)度后，再訓練 W。