KDD 2021 | Transformer、知識圖譜等熱點(diǎn)話(huà)題，微軟亞洲研究院論文精選，速看！

編者按：第27屆國際數據挖掘與知識發(fā)現大會(huì ) KDD 2021 于8月14日-18日在線(xiàn)上正式開(kāi)幕。本次大會(huì )共收到1541篇投稿，其中238篇論文被接收，接收率為15.44%。今天我們精選了微軟亞洲研究院在此次大會(huì )上發(fā)表的多篇論文中的5篇，來(lái)為大家進(jìn)行簡(jiǎn)要介紹，論文主題涵蓋：Transformer、云系統、神經(jīng)網(wǎng)絡(luò )、最優(yōu)運輸、知識圖譜、表格數據理解、Table2Charts 模型等。歡迎大家積極參與文末的投****活動(dòng)，我們將邀請大家最感興趣的論文的作者進(jìn)行深度講解，與大家線(xiàn)上交流！

01HALO：云系統中基于層級關(guān)系感知的故障定位方法

論文鏈接：

https://www.microsoft.com/en-us/research/publication/halo-hierarchy-aware-fault-localization-for-cloud-systems/

在大規模工業(yè)云平臺中，故障診斷對于維持系統的高可靠性至關(guān)重要。當云平臺中發(fā)生故障報警時(shí)，快速縮小問(wèn)題范圍并找到根本原因是頭等要務(wù)。本文主要聚焦于利用多維度監控數據（見(jiàn)表1）進(jìn)行故障診斷。其旨在通過(guò)大量的監控數據，找出故障集中的一組屬性值組合，進(jìn)而圈定根因范圍，以實(shí)現加速故障解決的目標。

表1：多維度監控數據

事實(shí)上，面對復雜的云系統環(huán)境和高維度、大規模的監控數據，傳統的人工分析十分低效且難以推廣。針對這個(gè)問(wèn)題，學(xué)術(shù)界近幾年提出了很多種數據驅動(dòng)的故障診斷方法。然而，由于待搜索的屬性值組合空間呈指數量級，所以其中大多數方法的效率遠達不到實(shí)時(shí)診斷的要求。而且在大部分的現有工作中，監控數據中各維度之間的層級關(guān)系都沒(méi)有被考慮到。（如數據中心由若干集群組成，一個(gè)集群又包含多個(gè)節點(diǎn)，如圖1）因此，相關(guān)工作很難將故障精確地定位到適當的層級粒度，以引導正確的診斷方向。

圖1：云系統中的層級關(guān)系

針對上述問(wèn)題，微軟亞洲研究院的研究員們提出了基于層級關(guān)系感知的故障定位方法：HALO（見(jiàn)圖2）。與以往的方法不同，HALO 將定位過(guò)程分為兩個(gè)階段：屬性列搜索階段和屬性值搜索階段。在屬性列搜索階段，HALO 首先可以自動(dòng)識別監控數據中不同維度之間的層次關(guān)系，以構建 Attribute Hierarchy Graph（AHG）；然后，HALO 在 AHG 上采用概率隨機游走的方式來(lái)生成屬性列搜索路徑。在屬性值搜索階段，HALO 沿屬性列搜索路徑，通過(guò)寬度自適應 Beam Search 技術(shù)實(shí)現自頂向下的搜索，以得到屬性值組合；最后，HALO 將采用反向截斷策略，進(jìn)一步精簡(jiǎn)搜索結果。

圖2：HALO 示意圖

通過(guò)在真實(shí)數據集上將 HALO 與其他方法進(jìn)行對比（見(jiàn)表2），可以看出 HALO 能明顯提高故障定位的準確率。并且通過(guò)對比運行時(shí)間（見(jiàn)圖3），也可以看出 HALO 的運行效率遠超同類(lèi)別的其他方法。目前 HALO 已經(jīng)成功地應用在微軟多個(gè)產(chǎn)品的不同場(chǎng)景中，如 Microsoft Azure 云計算平臺中的虛擬機故障診斷和 Microsoft 365 中的 Exchange Online 安全部署等。實(shí)際的應用效果都充分表明 HALO 具有很好的通用性和實(shí)用價(jià)值。

表2：真實(shí)數據集中 HALO 與其他方法的對比

圖3：HALO 與其他方法運行時(shí)間的對比

02基于 TRA 和最優(yōu)運輸學(xué)習多種股****交易模式

論文鏈接：

https://arxiv.org/pdf/2106.12950.pdf

代碼鏈接：

https://github.com/microsoft/qlib/tree/main/examples/benchmarks/TRA

股****預測是量化投資中最為關(guān)鍵的任務(wù)。近年來(lái)，深度神經(jīng)網(wǎng)絡(luò )因其強大的表征學(xué)習能力和非線(xiàn)性建模能力，逐漸成為股****預測的主流方法?，F有的預測方法均假設股****數據符合獨立同分布（IID）且采用單一模型有監督地對股****數據建模。但實(shí)際上，股****數據通常會(huì )包含多種不同甚至對立的分布（Non-IID），比如動(dòng)量（歷史收益率高的股****未來(lái)收益率會(huì )高）和反轉（歷史收益率低的股****未來(lái)收益率會(huì )高）這兩種分布形式同時(shí)存在于股****數據中，但是已有的模型并不具備同時(shí)學(xué)習股****數據中多種分布的能力。

因此，微軟亞洲研究院的研究員們提出了 Temporal Routing Adaptor (TRA)，來(lái)賦予已有模型學(xué)習多種分布的能力。具體而言，TRA 在給定骨干模型的基礎上，引入了一組 Predictors 來(lái)建模不同分布，和一個(gè) Router 來(lái)根據樣本的規律 p(y_t│X_t) 將其分配到所屬的 Predictor 上進(jìn)行訓練和推理。為了保證 Router 能夠預測出樣本的規律，研究員們設計并利用了兩種與 p(y_t│X_t) 關(guān)聯(lián)的信息作為其輸入：1) 利用骨干模型的隱層來(lái)表征 p(y ?_t |X_t)，2) 利用Predictor的歷史預測偏差來(lái)表征 p(y_(<t)│X_(<t))。實(shí)驗表明，這兩種信息對 Router 有能力預測出樣本規律起到了重要作用。TRA 的兩個(gè)主要模塊和基于骨干模型的具體實(shí)現可以參考圖4。

圖4：TRA 結構示意圖

為了有效地訓練 TRA 模型，另一個(gè)需要解決的問(wèn)題是，如何保證分配到不同 Predictor 的樣本是屬于不同規律的。因此，研究員們基于最優(yōu)運輸 (Optimal Transport) 設計了一個(gè)迭代優(yōu)化的算法。最優(yōu)運輸被用來(lái)求解在分配的樣本滿(mǎn)足特定比例約束下，如何分配樣本能夠最小化整體預測偏差。求解得到的分配方案會(huì )用來(lái)更新對應的 Predictor，并繼續下一輪迭代，直至收斂。

圖5：基于最優(yōu)運輸將樣本分配到一組 Predictors

實(shí)驗表明，TRA 可以穩定提升之前在股****預測中表現最強的基準模型如 Attention LSTM 和Transformer 的預測性能，并取得更高的投資收益（結果見(jiàn)表3）。

表3：TRA 模型相比于其他基準模型在股****排序預測任務(wù)下的性能

03 錨點(diǎn)知識圖生成：一種為新聞推薦提供推理的新范式

論文鏈接：

https://www.microsoft.com/en-us/research/uploads/prod/2021/05/KDD2021-anchorkg.pdf 

知識圖譜不僅可以用于提高推薦算法的準確性，還可以為推薦提供推理（reasoning）的能力。然而在新聞場(chǎng)景中，現有的推薦推理方法存在一定的缺陷，例如計算成本高，只能用于排序；只能尋找單一路徑，不能很好的結合新聞文本信息等。 

在本文中，微軟亞洲研究院的研究員們提出了一種新的基于知識圖譜的推理范式 AnchorKG，它的優(yōu)點(diǎn)有以下幾點(diǎn)： 

（1）可拓展性強，支持大規模的通用知識圖譜；

（2）能夠結合知識圖譜和文本內容；

（3）不局限于只提供單一解釋路徑；

（4）能夠靈活地應用于推薦的不同階段：召回和排序。

對于每篇新聞文章，研究員們從知識圖譜中生成一個(gè)和這篇新聞內容緊密相關(guān)的小規模子圖（Anchor KG）。這個(gè)子圖包含了出現在新聞中的重要實(shí)體，以及在知識圖譜中與這篇新聞緊密相關(guān)的信息。當在進(jìn)行新聞間的推薦推理時(shí)，研究員們利用兩篇新聞 Anchor KG 的重合關(guān)系，就可以找出兩篇相關(guān)新聞間的推理路徑。

為了得到 Anchor KG 的生成器，研究員們還提出了一種基于強化學(xué)習的框架，并用經(jīng)典的演員-評論家（actor-critic）算法進(jìn)行優(yōu)化，如圖7所示。生成器（即演員）學(xué)習動(dòng)作策略函數 ，它以狀態(tài)和可能的動(dòng)作空間為條件，來(lái)計算動(dòng)作的概率分布，同時(shí)使用多層感知器來(lái)建模演員網(wǎng)絡(luò )。評論家則通過(guò)估計 MDP 環(huán)境中的動(dòng)作價(jià)值函數，來(lái)評估動(dòng)作好壞，并使用時(shí)間差異方法進(jìn)行訓練。此外，為了更好地學(xué)習模型，研究員們設計了幾種訓練技巧，包括：1）熱啟動(dòng)訓練；2）基于知識圖譜的負采樣；3）多任務(wù)學(xué)習。

圖6：基于強化學(xué)習的學(xué)習框架

研究員們在兩個(gè)新聞數據集上驗證了本文提出模型的效果（如圖8所示），與多種基線(xiàn)方法相比，AnchorKG 不僅準確率更高，而且還能提供高質(zhì)量的解釋路徑（見(jiàn)表4和表5）。

表4：不同模型的推薦準確性比較 

表5：不同模型的推薦可解釋性比較

圖7：利用兩篇新聞的 AnchorKG 進(jìn)行推薦推理的樣例

04 Table2Charts: 基于共享表格表征的圖表推薦

論文鏈接：

https://arxiv.org/abs/2008.11015

表格（table）是由一系列具有相同或相似屬性的多維數據組成的半結構化數據。制作圖表（charts）是人們對表格內容進(jìn)行理解和交流的一種重要方式。在制圖的過(guò)程中，人們常常會(huì )遇到不同的問(wèn)題。一方面，從表格數據中抽取有意義的關(guān)系和模式需要一定的專(zhuān)業(yè)知識，想要更好地展現數據的特征，還需要挑選合適的圖表類(lèi)型。另一方面，在辦公軟件中制作圖表，要經(jīng)過(guò)框選數據、類(lèi)型選擇、參數選擇等一系列復雜的操作，不利于辦公效率的提升。因此，本文提出了 Table2Charts 模型，通過(guò)學(xué)習共享表格表征，以實(shí)現多種類(lèi)型的圖表推薦。

圖8：Table2Charts 能推薦的多種圖表類(lèi)型

在現實(shí)生活中，由于圖表類(lèi)型的多樣性以及表格內容的豐富性，圖表推薦面臨著(zhù)以下幾個(gè)挑戰：1）分散模型成本高昂，為每種類(lèi)型的圖表分別提供推薦模型，會(huì )降低推薦效率并成倍增加內存開(kāi)銷(xiāo)；2）數據不平衡，絕大部分表格都屬于四種主要類(lèi)型，其它類(lèi)型的數據非常稀少；3）表格整體理解，數據列的語(yǔ)義受到表頭、數值組合乃至其余數據列的共同影響，而正確理解數據列對于推薦決策至關(guān)重要。

針對這些挑戰，本文設計了共享的表格表征以及統一的圖表抽象方式。對于給定的表格，每個(gè)數據列被分別編碼成特征向量，并抽象為一個(gè) field token。特征向量包含表頭文本的 embedding、數值的統計特征以及數據列類(lèi)型和角色等多方面信息，以幫助編碼器準確地理解數據列。同時(shí)，本文為不同的圖表類(lèi)型設計了一套語(yǔ)法模板，使用固定的 command tokens 和可變的 field tokens 將圖表抽象為序列，將圖表推薦轉化為 table2sequence 形式的任務(wù)。

圖9：Table2Charts 框架

在 Encoder-Decoder 框架的基礎上，本文采用了深度 Q 值網(wǎng)絡(luò )的思想，使用 next-token estimation 任務(wù)進(jìn)行訓練。在推薦時(shí)，使用語(yǔ)法約束的 beam search 得到有序的圖表推薦結果。表格理解部分是一個(gè)統一的共享編碼器。對于不同類(lèi)型的圖表推薦，模型分別訓練不同的小型****，以應對不同的需求場(chǎng)景。每個(gè)****由一個(gè)獨立的帶有 copy 機制的序列生成模塊構成。

圖10：深度 Q 值網(wǎng)絡(luò )結構

本文使用不同的圖表數據進(jìn)行了兩類(lèi)****的訓練：1）采用所有數據訓練得到 multi-type ****，能夠根據輸入的表格推薦合適類(lèi)型的圖表，適用于從零開(kāi)始的推薦場(chǎng)景；2）在共享編碼器的基礎上，采用單類(lèi)型數據訓練得到 single-type ****，適用于特定類(lèi)型的圖表推薦場(chǎng)景。后者受益于從其他類(lèi)型數據中遷移過(guò)來(lái)的表格理解知識，同時(shí)也保證了特定類(lèi)型的圖表生成質(zhì)量。

在實(shí)驗中，本文提出的 Table2Charts 在數據選擇與制圖設計兩個(gè)步驟的表現，均大幅優(yōu)于現有的圖表推薦模型或工具。共享表格表征的遷移為所有類(lèi)型的圖表推薦帶來(lái)了一致的提升，對于數據稀少的類(lèi)型，提升效果尤為顯著(zhù)。同時(shí)這也表明，共享編碼器確實(shí)學(xué)習到了通用的模式和特征。

表6：Multi-type 圖表推薦任務(wù)效果對比

表7：各模型推薦圖表人類(lèi)評分

表8：Single-type 圖表推薦任務(wù)效果對比

05 TUTA: 通用表格預訓練的樹(shù)結構Transformer

論文地址：

https://arxiv.org/abs/2010.12537

表格是一種非常重要和常見(jiàn)的半結構化數據，廣泛使用在文檔和網(wǎng)頁(yè)中。在收集的六千萬(wàn)個(gè)文檔和網(wǎng)頁(yè)表格（包括超過(guò)二十億單元格）中，微軟亞洲研究院的研究員們首次對通用結構的表格進(jìn)行了大規模的預訓練。并且在表格結構理解的六個(gè)下游數據集上，也都取得 SOTA 的效果。

理解表格面臨著(zhù)各種挑戰，需要綜合理解語(yǔ)義、空間和結構，如：需要在簡(jiǎn)短的單元格文本里來(lái)捕捉表格里的語(yǔ)義；需要在二維的表格空間中進(jìn)行理解；需要對表格的層級信息理解。

圖11：表格結構示例

Transformer 在自然語(yǔ)言的預訓練上已經(jīng)取得了較好的效果。但是，針對通用表格位置、結構建模困難等一系列問(wèn)題，本文相應地提出了 Tree-based Transformer。同時(shí)，研究員們還設計了二維樹(shù)來(lái)建模單元格的空間和層級，并對單元格的二維樹(shù)坐標和單元格間的二維樹(shù)距離進(jìn)行了量化，進(jìn)一步設計了基于二維樹(shù)結構的注意力機制。

圖12：基于二維樹(shù)結構的位置編碼和距離度量

在表格預訓練任務(wù)上，為了可以學(xué)習到不同層級的表征，且更好的應用到不同級別的下游任務(wù)上，本文除了使用經(jīng)典的 token MLM 任務(wù)，還進(jìn)一步設計了 cell-level cloze 的任務(wù)和 table-level 的 context retrieval 任務(wù)。

圖13：token、cell 和 table 粒度上的表格預訓練任務(wù)

實(shí)驗表明，模型在表格結構理解（表格類(lèi)型識別和單元格類(lèi)型識別）的六個(gè)下游數據集上均取得了最好的效果。消融實(shí)驗也證明了利用樹(shù)結構對理解通用結構表格的有效性。同時(shí)，結合三個(gè)預訓練任務(wù)，也有助于提高下游任務(wù)的表現。