如何向大模型注入知識？達摩院通義對話(huà)模型SPACE系列探索（2）

最終 SPACE-1 借助半監督注入策略知識的能力，在這些經(jīng)典的對話(huà)榜單上均大幅超過(guò)了之前的 SOTA 模型，端到端混合分數在 In-Car，MultiWOZ2.0 和 MultiWOZ2.1 分別提升 2.5、5.3 和 5.5 個(gè)點(diǎn)：

圖 13 SPACE-1 在 MultiWoz 2.0 等數據集上帶來(lái)顯著(zhù)提升
以上的結果充分證明了半監督預訓練的效果。進(jìn)一步詳細分析如下圖所示，Success 是對話(huà)完成率指標，BLEU 是對話(huà)生成指標，對話(huà)策略對于這兩個(gè)指標有重要影響，注入對話(huà)策略知識后的大模型，在這兩個(gè)這兩個(gè)指標上帶來(lái)了顯著(zhù)提升。

圖 14 SPACE-1 效果詳細分析
3. SPACE-2：從封閉集知識到開(kāi)放集知識
3.1. 開(kāi)放集知識
SAPCE-1 主要將對話(huà)策略知識注入到預訓練模型的過(guò)程中，但是仍然存在一些局限，首先 DA 標簽體系比較簡(jiǎn)單，因為只有 20 個(gè)類(lèi)別；其次，DA 的標簽體系是一個(gè)封閉集，雖然對于人機對話(huà)是非常重要的，但從知識的角度來(lái)看，仍然是比較簡(jiǎn)單。對于整個(gè)對話(huà)系統來(lái)說(shuō)，語(yǔ)言理解所涉及的知識會(huì )更加復雜，比如一個(gè) query “市中心有什么好吃的嗎？”，首先這句話(huà)有意圖信息（找餐館），其次對于餐館位置等屬性一般作為是槽位信息。在廣泛的對話(huà)場(chǎng)景下，對于意圖和槽位的人類(lèi)標注，其實(shí)也可以看做知識的一種形態(tài)。所以我們希望 SPACE-2 能完成從簡(jiǎn)單封閉集知識到復雜開(kāi)放集知識的躍遷，很好的利用已有的標注數據。

圖 15 兩種知識形態(tài)：簡(jiǎn)單的封閉集知識和復雜的開(kāi)放集知識
3.2. 語(yǔ)義樹(shù)標簽
沿著(zhù)這個(gè)思路，我們首先要解決一個(gè)難點(diǎn)，已有的復雜開(kāi)放集知識不是一個(gè)簡(jiǎn)單的封閉集合的分類(lèi)任務(wù)，不同數據集的體系更加復雜不一致。我們通過(guò)提出語(yǔ)義樹(shù)結構對所有任務(wù)型對話(huà)數據集的用戶(hù)側理解標簽進(jìn)行統一，從 domaim、intent、slot、value 等四個(gè)層次進(jìn)行樹(shù)狀標簽的構建。比如對于 query “附近有好吃的川菜館嗎”，其 domain 為 restaurant，intent 是查找餐廳，slot 是菜系，value 是川菜，就可以完成一顆語(yǔ)義樹(shù)的構建。利用這個(gè)思路，我們整合學(xué)術(shù)界已有的 32 個(gè)有標對話(huà)數據，提出 AnPreDial（300 萬(wàn)） ，同時(shí)整合已有的 19 個(gè)無(wú)標對話(huà)數據，提出 UnPreDial（1900 萬(wàn)），作為 SPACE-2 的預訓練數據。

圖 16 語(yǔ)義樹(shù)標簽
3.3. 半監督對比學(xué)習
與 SPACE-1 類(lèi)似，我們仍然采用半監督對比學(xué)習的思路進(jìn)行知識注入，有標注樣本采用有監督對比學(xué)習，無(wú)標注樣本采用自監督對比學(xué)習。而對于有監督對比學(xué)習，當前的語(yǔ)義樹(shù)知識不是獨熱（one-hot）的，而是可度量的相似度標簽。比如 query A 表達的是“能不能幫我在城東找一家比較便宜的賓館”，而 query B 表達的是“你能不能在城西幫忙找一家便宜的賓館”，這兩句話(huà)的語(yǔ)義樹(shù)標簽之間的相似度是可度量的，具體的度量方式我們通過(guò)兩個(gè) query 標簽解析出的語(yǔ)義樹(shù)進(jìn)行計算，將語(yǔ)義數按照節點(diǎn)和路徑的組合，拆分為 10 種不同的情況 {D, I, S, V, DI, IS, SV, DIS, ISV, DISV} 其中 D 表示 domain，I 表示 intent，S 表示 slot，V 表示 value。最終按照路徑和節點(diǎn)的重合程度，計算 Jaccard 距離作為 soft label 值，最終作為半監督學(xué)習的標簽。

圖 17 語(yǔ)義樹(shù)相似度度量
因為兩個(gè)樣本之間，可能只有部分是相似的，所以根據語(yǔ)義樹(shù)的特點(diǎn)，我們進(jìn)一步提出了 Multi-view scoring 的學(xué)習策略，在最后預測的過(guò)程中加入不同子空間的映射矩陣，用不同子空間對部分相似的樣本進(jìn)行顯式建模。

 圖 18 采用多視角（Multi-View）分別對不同的子結構進(jìn)行顯式建模
通過(guò)這種策略，可以通過(guò) soft label 度量 batch 內任意兩個(gè)樣本的相似度，最后通過(guò) weighted 對比學(xué)習的方式進(jìn)行優(yōu)化。下圖可以看出，相比于自監督的對比學(xué)習（自己和自己作為正例，batch 內其他樣本作為負例）和全監督的對比學(xué)習（正負標簽作為對比學(xué)習標簽），SPACE-2 基于樹(shù)結構的半監督對比學(xué)習方式，既能有效的利用標注信息，又能很彈性的退化為自監督對比學(xué)習，非常適合對話(huà)理解任務(wù)。

圖 19 基于樹(shù)結構的半監督對比學(xué)習
3.4. SPACE-2 結果
SPACE-2 在面向對話(huà)理解的榜單 DialoGLUE 上（意圖識別、填槽、對話(huà)跟蹤）全量測試和小樣本測試總分均為第一，其中在全量測試上，SPACE-2 相比之前的 SOTA 提升 1.1%，在小樣本測試上，SPACE-2 相比之前的 SOTA 提升 3.41，由此可以證明開(kāi)放集知識對于對話(huà)理解的增益。

圖 20 SPACE-2 注入了對話(huà)理解知識，在對話(huà)理解榜單 DialoGLUE 取得 full-data 和 few-shot 雙榜單第一名
4. SPACE-3: 從單模塊建模到一體化建模
面向單模塊的預訓練模型存在幾個(gè)問(wèn)題：

1. 首先，模型的泛化性有限，無(wú)法很好的泛化到其他對話(huà)任務(wù)中，比如面向對話(huà)理解的模型很難再對話(huà)策略上有很好的效果；
2. 對話(huà)任務(wù)具有流程型和時(shí)序性，理解 -> 策略 -> 生成是有先后順序及相輔相成的，同時(shí)建模多個(gè)任務(wù)將能更充分的挖掘數據特征；
3. 不同任務(wù)的標簽知識如果能夠同時(shí)以半監督的方式注入到預訓練模型中 ，標注信息的增多，對于模型的優(yōu)化也更有幫助。

為了克服這些問(wèn)題，所以我們提出了 SPACE-3，希望將對話(huà)理解、對話(huà)策略、對話(huà)生成都統一到一個(gè)預訓練對話(huà)模型中。
4.1. 一體化模型
我們換個(gè)角度來(lái)看人機對話(huà)，首先多輪對話(huà)是流動(dòng)的，是對話(huà)雙方不停地進(jìn)行交互，但之前的預訓練對話(huà)模型都是從單側（用戶(hù)側 or 系統側）進(jìn)行建模，沒(méi)有考慮他們之間相互的影響。另外，語(yǔ)義樹(shù)是對用戶(hù)側的語(yǔ)言（utterance）進(jìn)行理解的，DA 是對系統側的語(yǔ)言（response）進(jìn)行理解的，那么就可以將理解知識和策略知識進(jìn)行雙側理解統一建模。

圖 21 換個(gè)角度看人機對話(huà)
基于這個(gè)思路，我們希望能夠模擬人類(lèi)對話(huà)的思考路徑，通過(guò)三個(gè) Decoder 依次做理解、策略和生成，中間的結果可以用在各類(lèi)對話(huà)下游任務(wù)上。在模型技術(shù)選型上，我們采取 UniLM 作為 backbone，將 1 Encoder + 1 Decoder 擴展為 1 Encoder + 3 Decoder 的結構，其中 Dialog Encoder 作為基礎編碼器通過(guò) MLM loss 完成基礎語(yǔ)言理解，而三個(gè) Decoder 各司其職，Understanding Decoder 通過(guò)半監督對比學(xué)習進(jìn)行對話(huà)理解，Policy Deocder 通過(guò)語(yǔ)義策略正則 loss 進(jìn)行對話(huà)策略建模，最后 Response Decoder 通過(guò)傳統的生成 loss 進(jìn)行對話(huà)生成。

圖 22 SPACE-3 模型架構
4.2. 雙側理解建模
策略 loss 的設計體現了我們對雙側理解的思想，首先在用戶(hù)側時(shí)刻，根據上下文和用戶(hù) utterance，經(jīng)過(guò) Policy Decoder 的預測的結果，和直接利用 Understanding Decoder 對下一輪 response 理解的結果，二者具有一致性。比如在下面的例子中，當模型接受 U1 + R1 + U2 為 context 的輸入時(shí) Policy Decoder 模塊的結果，需要與 U1 + R1 + U2 + R2 為 context 的輸入時(shí) Understanding Decoder 模塊的結果進(jìn)行一致性約束，來(lái)引導模型對策略進(jìn)行建模。 

圖 23 策略 LOSS 建模示例
同樣的，在用戶(hù)側時(shí)刻，根據上下文和系統 response，經(jīng)過(guò) Policy Decoder 的預測的結果，和直接利用 Understanding Decoder 對用戶(hù) utterance 理解的結果，二者具有一致性。當模型接受 U1 + R1 + U2 + R2 為 context 的輸入時(shí) Policy Decoder 模塊的結果，需要與 U1 + R1 + U2 + R2 + U3 為 context 的輸入時(shí) Understanding Decoder 模塊的結果進(jìn)行一致性約束，來(lái)引導模型對策略進(jìn)行建模。

圖 24 策略 LOSS 建模示例
4.3. SPACE-3 結果
最后，我們同時(shí)在對話(huà)理解任務(wù)、對話(huà)策略任務(wù)和對話(huà)生成任務(wù)上同時(shí)評測了 SPACE-3 的效果，在包含理解、策略和生成的 8 個(gè)數據集的綜合評價(jià)上，取得當前最好效果。

圖 25 SPACE-3 模型結果
5. SPACE-1/2/3 系列模型總結
這一年多來(lái)，我們通過(guò)提出半監督預訓練新范式，向預訓練對話(huà)模型中注入人類(lèi)標注知識，打造了 SPACE 系列模型，共在 11 個(gè)國際對話(huà)數據集取得 SOTA，并且三個(gè)工作分別側重對話(huà)策略、對話(huà)理解及統一建模。相關(guān)的論文已經(jīng)被頂級會(huì )議接收。其中，SPACE-1 融合對話(huà)策略知識，被 AAAI 2020 錄用；SPACE-2 融合對話(huà)理解知識，被 COLING 2022 錄用；SPACE-3 集理解、策略、生成一體，被 SIGIR 2022 錄用。

圖 26 SPACE 1/2/3 系列模型
6. 未來(lái)展望

1. 拓展更多任務(wù)：半監督預訓練作為一個(gè)通用的預訓練技術(shù)， 不僅可以用于對話(huà)任務(wù)，對于更多的 NLP 任務(wù), 甚至其他模態(tài)的任務(wù)都有應用的潛力；
2. 融入更多知識：本文中我們對分類(lèi)標注知識和樹(shù)形語(yǔ)義知識做了探索，除此之外還有很多其他知識形態(tài)，如何進(jìn)行更好的形式化表示，統一地融入到一個(gè)預訓練模型中也是一個(gè)開(kāi)放問(wèn)題；
3. 設計更好算法：目前的探索是基于一致性正則化的半監督預訓練方案，但整個(gè)半監督領(lǐng)域還有 self-taught, co-training, deep generative modeling 等諸多方法，如何綜合利用或設計更優(yōu)的算法是一個(gè)重要研究課題；
4. 放松數據約束：半監督學(xué)習要求標注數據和無(wú)標數據具有類(lèi)似的數據分布，這一要求在真實(shí)場(chǎng)景中具有局限性，如何設計泛化性更強的半監督學(xué)習方法，放松對于無(wú)標數據分布的假設，是未來(lái)的一個(gè)發(fā)展方向。

特別鳴謝
靈駿為本項目提供智能算力支持，顯著(zhù)性加速了 SPACE 大規模預訓練過(guò)程。靈駿是阿里云自主研發(fā)的新一代智能計算服務(wù)，以軟硬件一體的系統性創(chuàng )新優(yōu)化，使端到端計算效率得到飛躍式升級。支持自然語(yǔ)言處理、圖形圖像識別、搜索廣告推薦等多種應用場(chǎng)景，具備高性能、高效率、高資源利用率等核心優(yōu)勢，可為大模型等前沿 AI 技術(shù)提供高拓展可預期的計算服務(wù)。
參考文獻
[1] Devlin J, Chang M W, Lee K, et al.  BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.[2] Brown T, Mann B, Ryder N, et al. Language Models are Few-Shot Learners. NeurIPS 2020.[3] Raffel et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.  JMLR 2020.[4] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need.  NeurIPS 2017.[5] Henderson M, Casanueva I, Mrk?i? N, et al. Convert: Efficient and accurate conversational representations from transformers. EMNLP-findings 2019.[6] Wu C S, Hoi S, Socher R, et al. TOD-BERT: pre-trained natural language understanding for task-oriented dialogue. EMNLP 2020.[7] Zihang Jiang, Weihao Yu, Daquan Zhou, et al. ConvBERT: Improving BERT with Span-based Dynamic Convolution. NeurIPS 2020.[8] Zhang Y, Sun S, Galley M, et al. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. ACL system demonstration 2020.[9] Adiwardana D, Luong M T, So D R, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.[10] Roller S, Dinan E, Goyal N, et al. Recipes for building an open-domain chatbot. arXiv preprint arXiv:2004.13637, 2020.[11] Xiaojin Jerry Zhu. Semi-supervised learning literature survey. 2005.[12] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks. NeurIPS 2021.[13] He W, Dai Y, Zheng Y, et al. SPACE: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection. AAAI 2022.[14] He W, Dai Y, Hui B, et al. SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding. COLING 2022.[15] He W, Dai Y, Yang M, SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation. SIGIR 2022.[16] Xu H, Zhengyan Z, Ning D, et al. Pre-Trained Models: Past, Present and Future [J]. arXiv preprint arXiv:2106.07139, 2021.