登頂對話(huà)式語(yǔ)義解析國際權威榜單SParC和CoSQL，全新多輪對話(huà)表格知識預訓練模型STAR解讀

阿里巴巴達摩院聯(lián)合中國科學(xué)院深圳先進(jìn)技術(shù)研究院提出面向多輪 Text-to-SQL 語(yǔ)義解析的 SQL 查詢(xún)語(yǔ)句導向型預訓練模型 STAR。

目前高速發(fā)展的互聯(lián)網(wǎng)時(shí)代中，各種類(lèi)型的數據不斷涌現，其中，我們較為常用的就有表格數據，表格作為一種通用的結構化數據，我們可以根據需求設計 SQL 查詢(xún)語(yǔ)句來(lái)獲得表格中的知識，但是往往需要較高的設計成本以及學(xué)習成本。此時(shí)，Text-to-SQL 解析任務(wù)顯得格外重要，而根據對話(huà)場(chǎng)景的不同，還分為單輪 Text-to-SQL 解析和多輪 Text-to-SQL 解析，本文主要研究更加困難且更接近現實(shí)應用的多輪 Text-to-SQL 解析任務(wù)。

近期，阿里巴巴達摩院聯(lián)合中國科學(xué)院深圳先進(jìn)技術(shù)研究院提出面向多輪 Text-to-SQL 語(yǔ)義解析的 SQL 查詢(xún)語(yǔ)句導向型預訓練模型 STAR。截至目前，STAR 已連續 10 個(gè)月占據 SParC 和 CoSQL 兩大榜單的第一名。研究論文已被自然語(yǔ)言處理領(lǐng)域國際會(huì )議 EMNLP 2022 Findings 接收。

• 論文地址：https://arxiv.org/abs/2210.11888

• 代碼地址：https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star

STAR 是一種新穎且有效的多輪對話(huà)表格知識預訓練語(yǔ)言模型，該模型主要通過(guò)兩個(gè)預訓練目標對多輪對話(huà)中的復雜上下文語(yǔ)義追蹤和數據庫模式狀態(tài)追蹤進(jìn)行建模，目的是增強自然語(yǔ)言查詢(xún)和數據庫模式在對話(huà)流中的編碼表示。

該研究在對話(huà)式語(yǔ)義解析的權威榜單 SParC 和 CoSQL 上進(jìn)行了評估，在公平的下游模型對比下，STAR 相比之前最好的多輪表格預訓練模型 SCoRe，在 SParC 數據集上 QM/IM 提升了 4.6%/3.3%，在 CoSQL 數據集上 QM/IM 顯著(zhù)提升 7.4%/8.5%。特別地，CoSQL 相比 SParC 數據集，擁有更多的上下文變化，這驗證了該研究提出的預訓練任務(wù)的有效性。

背景介紹

為了使得用戶(hù)在不熟悉 SQL 語(yǔ)法的情況下也能夠通過(guò)自然語(yǔ)言對話(huà)與數據庫進(jìn)行交互，多輪 Text-to-SQL 解析任務(wù)應運而生，該任務(wù)作為用戶(hù)與數據庫之間的橋梁，將交互內的自然語(yǔ)言問(wèn)題轉換為可執行的 SQL 查詢(xún)語(yǔ)句。

預訓練模型最近幾年在 NLP 的各種任務(wù)上大放異彩，但由于表格和自然語(yǔ)言之間內在的差異性，普通的預訓練語(yǔ)言模型（例如 BERT，RoBERTa) 在該任務(wù)上無(wú)法達到最優(yōu)的性能，所以預訓練表格模型（TaLM）[1-5] 應運而生。通常，預訓練表格模型（TaLM）需要處理兩個(gè)核心問(wèn)題，包括如何建模上下文查詢(xún)之間的復雜依賴(lài)（指代、意圖偏移）及如何有效利用歷史生成的 SQL 結果。針對上述兩個(gè)核心問(wèn)題，現有的預訓練表格模型存在以下缺陷：

圖 1. 一個(gè)上下文依賴(lài)的多輪 Text-to-SQL 解析例子。

第一，現有的表格預訓練模型僅僅探索了自然語(yǔ)言查詢(xún)的上下文信息，而不考慮歷史 SQL 查詢(xún)語(yǔ)句中所蘊含的交互狀態(tài)信息，這種信息往往能以一種更加準確而緊湊的形式概括用戶(hù)的意圖。因此，對歷史 SQL 信息進(jìn)行建模和追蹤能夠更好地捕獲當前輪查詢(xún)的意圖，從而更加準確地生成對應的 SQL 查詢(xún)語(yǔ)句。如圖 1 所示，由于第一輪 SQL 查詢(xún)中提到了表名 “Compuses”，在第二輪 SQL 查詢(xún)中很大可能會(huì )再次選擇該表，因此對表名 “Compuses” 的狀態(tài)進(jìn)行追蹤顯得格外重要。

第二，由于用戶(hù)可能忽略對話(huà)歷史中提及的實(shí)體或者引入一些指代，導致當前輪對話(huà)信息缺失，因此多輪 Text-to-SQL 解析任務(wù)需要有效地建模上下文信息以便更好地解析當前輪自然語(yǔ)言對話(huà)。如圖 1 所示，第二輪對話(huà)省了第一輪對話(huà)中提到的 “campuses in year 2000”。然而大部分已有預訓練表格模型并沒(méi)有考慮上下文信息，而是對每輪自然語(yǔ)言對話(huà)單獨進(jìn)行建模。盡管 SCoRe [1] 通過(guò)預測相鄰兩輪對話(huà)之間的上下文切換標簽來(lái)建模上下文切換信息，但是忽略了更復雜的上下文信息，并且不能追蹤遠距離對話(huà)之間的依存信息。例如，圖 1 中，由于第二輪對話(huà)和第三輪對話(huà)發(fā)生了上下文切換，而 SCoRe 并不能捕獲第一輪對話(huà)和第四輪對話(huà)之間長(cháng)距離依賴(lài)信息。

受到多輪對話(huà)中對話(huà)狀態(tài)追蹤任務(wù)的啟發(fā)，該研究提出了一種基于模式狀態(tài)追蹤預訓練目標來(lái)隊上下文 SQL 的模式狀態(tài)進(jìn)行追蹤；針對多輪對話(huà)中問(wèn)題間復雜語(yǔ)義依賴(lài)問(wèn)題，該研究提出了對話(huà)依賴(lài)追蹤方法，捕捉多輪對話(huà)之間的復雜語(yǔ)義依存關(guān)系，并提出基于權重的對比學(xué)習方法來(lái)更好地建模對話(huà)之間的正例和負例關(guān)系。

問(wèn)題定義

該研究首先給出多輪 Text-to-SQL 解析任務(wù)涉及的符號和問(wèn)題定義。表示 T 輪自然語(yǔ)言查詢(xún)，查詢(xún)的多輪 Text-to-SQL 對話(huà)交互，其中表示第 i 輪自然語(yǔ)言問(wèn)題，每輪自然語(yǔ)言對話(huà)包含個(gè) tokens。此外，還有一個(gè)與交互的數據庫 s，其中包含了 N 個(gè)表格，并且所有表格包含 m 個(gè)表名和列名，表示數據庫模式 s 中的第 i 個(gè)表名或列名。假設當前輪為第 t 輪，Text-to-SQL 解析任務(wù)的目的是根據當前輪自然語(yǔ)言查詢(xún)，歷史查詢(xún)，數據庫模式 s 和上一輪預測的 SQL 查詢(xún)語(yǔ)句，生成當前輪自然語(yǔ)言查詢(xún)對應的 SQL 查詢(xún)語(yǔ)句。

方法描述

如圖 2 所示，該研究提出了一個(gè)基于 SQL 引導的多輪表格預訓練框架，充分利用了歷史 SQL 的結構化信息來(lái)豐富對話(huà)表示，進(jìn)而對復雜的上下文信息進(jìn)行更加有效地建模。

圖 2. STAR 的模型框架。

具體來(lái)說(shuō)，該研究提出基于模式狀態(tài)追蹤和基于對話(huà)依賴(lài)追蹤的表格預訓練目標，分別對多輪交互中的 SQL 查詢(xún)語(yǔ)句和自然語(yǔ)言問(wèn)題的意圖進(jìn)行追蹤。(1) 在多輪對話(huà)情境中，當前對話(huà)的 SQL 查詢(xún)依賴(lài)于上下文的 SQL 信息，因此受到多輪對話(huà)中對話(huà)狀態(tài)追蹤任務(wù)的啟發(fā)，該研究提出了一種基于模式狀態(tài)追蹤（Schema State Tracking，SST）的表格預訓練目標，以自監督的方式跟蹤上下文相關(guān) SQL 查詢(xún)語(yǔ)句的模式狀態(tài) (或用戶(hù)請求)。(2) 對針對多輪對話(huà)中自然語(yǔ)言問(wèn)題之間的復雜語(yǔ)義依賴(lài)問(wèn)題，提出了基于對話(huà)依賴(lài)追蹤（Utterance Dependency Tracking，UDT）的表格預訓練目標，利用基于權重的對比學(xué)習方法更好地學(xué)習自然語(yǔ)言查詢(xún)的特征表示。下面詳細介紹這兩個(gè)表格預訓練目標。

基于模式狀態(tài)追蹤的表格預訓練目標

該研究提出了一種基于模式狀態(tài)追蹤的表格預訓練目標，以自監督的方式跟蹤上下文相關(guān) SQL 查詢(xún)語(yǔ)句的模式狀態(tài) (或用戶(hù)請求)，目的是預測模式槽的值。具體來(lái)說(shuō)，該研究以模式狀態(tài)的形式追蹤 Text-to-SQL 會(huì )話(huà)的交互狀態(tài)，其中槽是數據庫模式（即所有表的列名），對應的槽值是 SQL 關(guān)鍵字。以圖 3 中的 SQL 查詢(xún)?yōu)槔?，模式?“[car_data]” 的值是 SQL 關(guān)鍵字 “[SELECT]”。首先，該研究將第 t - 1 輪預測的 SQL 查詢(xún)語(yǔ)句轉換為一組模式狀態(tài)的形式。由于模式狀態(tài)的槽是數據庫的所有表的列名，那些沒(méi)有出現在 SQL 查詢(xún)語(yǔ)句對應的模式狀態(tài)中的值被設置為 [NONE]。如圖 3 所示，該研究用 m 個(gè)模式狀態(tài)表示 SQL 查詢(xún)語(yǔ)句，其中表示第 i 個(gè)模式狀態(tài)的槽，表示該模式狀態(tài)的值。對于第 t 輪，模式狀態(tài)追蹤的目標是在給定所有歷史自然語(yǔ)言問(wèn)題，當前問(wèn)題和上一輪 SQL 查詢(xún)語(yǔ)句的模式狀態(tài)的情況下，預測第 t 輪的 SQL 查詢(xún)語(yǔ)句的每個(gè)模式狀態(tài)槽的值。也就是說(shuō)，在第 t 輪，模式狀態(tài)追蹤預訓練目標的輸入為:

由于每個(gè)模式狀態(tài)包含多個(gè)單詞，因此應用注意力層來(lái)獲得的表示。具體來(lái)說(shuō)，給定輸出上下文化表示 ( l 是的起始下標)。對于每個(gè)模式狀態(tài)，模式狀態(tài)的注意力感知的表示可以計算為:

進(jìn)而預測當前問(wèn)題的模式狀態(tài)：

最后，將模式狀態(tài)追蹤的預訓練損失函數可以被定義為：

基于對話(huà)依賴(lài)追蹤的表格預訓練目標

該研究提出了一個(gè)話(huà)語(yǔ)依賴(lài)跟蹤的預訓練目標，利用基于權重的對比學(xué)習方法，以捕獲每個(gè) Text-to-SQL 話(huà)中自然語(yǔ)言問(wèn)題之間的復雜語(yǔ)義依賴(lài)關(guān)系?；跈嘀氐膶Ρ葘W(xué)習中的一個(gè)關(guān)鍵挑戰是如何通過(guò)自監督的方式構建適當的正例和負例標簽，直覺(jué)上可以通過(guò)從不同的會(huì )話(huà)中選擇自然語(yǔ)言問(wèn)題來(lái)構建負例對。然而，構建正例問(wèn)題對并非易事，因為當前的問(wèn)題可能與那些發(fā)生了話(huà)題轉移的歷史問(wèn)題無(wú)關(guān)，如圖 1 所示的第二和第三個(gè)話(huà)語(yǔ)。因此，該研究將同一會(huì )話(huà)中的自然語(yǔ)言問(wèn)題視為正例對，并且給它們分配了不同的相似度分數。SQL 是一種高度結構化的用戶(hù)話(huà)語(yǔ)指示，因此通過(guò)測量當前 SQL 與歷史 SQL 的相似性，可以獲得自然語(yǔ)言問(wèn)題的語(yǔ)義依賴(lài)的偽標簽，以獲得不同語(yǔ)句建的相似度分數，從而指導上下文建模。該研究從語(yǔ)義和結構兩個(gè)角度出發(fā)提出了一種度量 SQL 相似性的方法。如圖 3 所示：

圖 3. 兩種計算 SQL 語(yǔ)句相似度的方法。

基于語(yǔ)義的 SQL 相似度計算  該研究通過(guò)計算兩個(gè) SQL 查詢(xún)語(yǔ)句對應的模式狀態(tài)相似度來(lái)衡量它們之間的語(yǔ)義相似度。具體來(lái)說(shuō)，如圖 3 所示，該方法會(huì )分別獲取兩個(gè) SQL 查詢(xún)語(yǔ)句，的模式狀態(tài)和。然后，該研究采用 Jaccard 相似度來(lái)計算它們之間的語(yǔ)義相似度：

其中表示和對應模式狀態(tài)的值不是 [NONE] 的非重復模式狀態(tài)的數量。

基于結構的 SQL 相似度計算  為了利用 SQL 查詢(xún)語(yǔ)句的樹(shù)形結構，該研究首先將每個(gè) SQL 查詢(xún)解析為 SQL 樹(shù)，如圖 3 所示。給定 SQL 查詢(xún)和的兩棵 SQL 樹(shù)和，該研究利用 Weisfeiler-Lehman 算法來(lái)計算的結構相似度分數，公式如下:

總的來(lái)說(shuō)，該研究定義兩個(gè) SQL 查詢(xún)語(yǔ)句和的相似度分數如下:

基于權重的對比損失  在獲得 SQL 相似度后，該研究使用加權對比學(xué)習將會(huì )話(huà)中語(yǔ)義相似的自然語(yǔ)言問(wèn)題的表示拉近，將語(yǔ)義不相似的自然語(yǔ)言問(wèn)題的表示推遠。具體來(lái)說(shuō)，首先該研究利用一個(gè)注意機制來(lái)學(xué)習輸入表示:

然后，該研究將加權對比損失函數最小化以?xún)?yōu)化整體網(wǎng)絡(luò ):

最后，為了學(xué)習基于上下文語(yǔ)境的自然語(yǔ)言查詢(xún)和數據庫模式表示，該研究也采用了基于掩碼語(yǔ)義建模的預訓練目標，損失函數表示為?；谏鲜龅娜齻€(gè)訓練目標，該研究定義了基于同方差的聯(lián)合損失函數：

其中，為可訓練的參數。

實(shí)驗效果

數據集  該研究在兩個(gè)對話(huà)式語(yǔ)義解析權威數據集 SParC 和 CoSQL 對 STAR 模型的有效性進(jìn)行了驗證。其中，SParC 是一個(gè)跨領(lǐng)域的多輪 Text-to-SQL 解析數據集，包含了大約 4300 次多輪交互和超過(guò) 12000 條自然語(yǔ)言問(wèn)題 - SQL 查詢(xún)語(yǔ)句對；CoSQL 是一個(gè)跨領(lǐng)域的對話(huà)式 Text-to-SQL 解析數據集，包含了大約 3000 次對話(huà)交互和超過(guò) 10000 條自然語(yǔ)言問(wèn)題 - SQL 查詢(xún)語(yǔ)句對。相比于 SParC，CoSQL 的對話(huà)上下文語(yǔ)義相關(guān)性更高，并且 SQL 查詢(xún)語(yǔ)句的語(yǔ)法更加復雜。

基準模型  在基準模型方面，該研究比較了以下方法：（1）GAZP [6]，通過(guò)結合一個(gè)前向語(yǔ)義解析模型和一個(gè)后向對話(huà)生成模型合成自然語(yǔ)言對話(huà) - SQL 查詢(xún)語(yǔ)句對的訓練數據，最后選擇具有循環(huán)一致性的數據擬合前向語(yǔ)義解析模型。（2）EditSQL [7]，考慮了交互歷史信息，通過(guò)編輯前時(shí)刻預測的 SQL 查詢(xún)語(yǔ)句來(lái)提升當前輪對話(huà)的 SQL 生成質(zhì)量。（3）IGSQL [8]，提出了一個(gè)數據庫模式交互圖編碼模型，該模型使用數據庫模式的歷史信息來(lái)捕獲自然語(yǔ)言輸入歷史信息，并且在解碼階段引入門(mén)控機制。（4）IST-SQL [9]，受到對話(huà)狀態(tài)追蹤任務(wù)的啟發(fā)，定義了模式狀態(tài)和 SQL 狀態(tài)兩種交互狀態(tài)，并在每一輪中根據上一個(gè)預測的 SQL 查詢(xún)語(yǔ)句進(jìn)行狀態(tài)更新。（5）R2SQL [10]，提出了一個(gè)動(dòng)態(tài)圖框架，針對對話(huà)流中的對話(huà)、數據庫模式之間的復雜交互進(jìn)行建模，通過(guò)一種動(dòng)態(tài)記憶衰退機制豐富對話(huà)和數據庫模式的上下文表示。（6）PICARD [11]，提出一種增量式的語(yǔ)義解析，對語(yǔ)言模型的自回歸解碼模型進(jìn)行約束，在每個(gè)解碼步驟中，通過(guò)約束解碼結果的可接受性來(lái)尋找合法的輸出序列。（7）DELTA [12]，首先使用一個(gè)對話(huà)重寫(xiě)模型解決對話(huà)上下文的完整性問(wèn)題，然后將完整的對話(huà)輸入一個(gè)單輪 Text-to-SQL 語(yǔ)義解析模型，得到最終 SQL 查詢(xún)語(yǔ)句。（8）HIE-SQL [13]，從多模態(tài)的角度出發(fā)，將自然語(yǔ)言和 SQL 看作兩種模態(tài)，探索所有歷史對話(huà)和上一句預測的 SQL 查詢(xún)語(yǔ)句之間上下文依賴(lài)信息，提出了一個(gè)雙模態(tài)預訓練模型并且設計了一個(gè)對話(huà)和 SQL 查詢(xún)語(yǔ)句之間的模式鏈接圖。

整體實(shí)驗結果  如圖 4 所示，從實(shí)驗結果可以看出，STAR 模型在 SParC 和 CoSQL 兩個(gè)數據集上的效果遠勝于其他對比方法。在預訓練模型對比方面，STAR 模型都遠超于其他預訓練模型（如 BERT，RoBERTa，GRAPPA，SCoRe），在 CoSQL dev 數據集上，對比 SCoRE 模型，QM 分數提升 7.4%，IM 分數提升 7.5%。在下游 Text-to-SQL 模型對比方面，以 STAR 為預訓練模型底座的 LGESQL 模型，效果遠勝于將其他預訓練語(yǔ)言模型當作底座的下游方法，例如目前效果最好的以 GRAPPA 為底座的 HIE-SQL 模型。

圖 4. 在 SParC 和 CoSQL 數據集上的實(shí)驗結果

消融實(shí)驗結果  本文還補充了完整的消融實(shí)驗來(lái)說(shuō)明 STAR 模型中每個(gè)模塊的有效性。消融實(shí)驗結果如圖 5 所示，當去掉 SST 或者 UDT 預訓練目標時(shí)，效果會(huì )大幅下降，而結合所有預訓練目標的實(shí)驗結果在所有數據集上都達到了最好的效果，這說(shuō)明了 SST 和 UDT 的有效性。另外，該研究針對 UDT 中的兩種 SQL 相似度計算方法進(jìn)行了進(jìn)一步的實(shí)驗，從圖 6 可以看出，兩種 SQL 相似度計算方法都能提升 STAR 模型的效果，并且結合后的效果最佳。

圖 5. 針對預訓練目標的消融實(shí)驗結果。

圖 6. 針對 SQL 相似度計算方法的消融實(shí)驗結果。

不同難度樣本的模型效果  如圖 7 所示，從 SParC 和 CoSQL 兩個(gè)數據集上的不同難度樣本的實(shí)驗結果可以看出，STAR 模型針對各種難度樣本的預測效果都遠勝于其他對比方法，即使是在難度最大的 extra hard 樣本中也效果顯著(zhù)。

圖 7. 在 SParC 和 CoSQL 數據集上不同難度樣本的實(shí)驗結果。

不同輪次樣本的模型效果  如圖 8 所示，從 SParC 和 CoSQL 兩個(gè)數據集上的不同輪次樣本的實(shí)驗結果可以看出，隨著(zhù)對話(huà)輪次的增加，基準模型的 QM 指標在急劇下降，而 STAR 模型即使在第三輪和第四輪也能表現出更穩定的性能。這表明 STAR 模型可以更好地追蹤和探索對話(huà)歷史中的交互狀態(tài)，以幫助模型更好地解析當前對話(huà)。

圖 8. 在 SParC 和 CoSQL 數據集上不同輪次樣本的實(shí)驗結果。

實(shí)例分析  為了評估 STAR 模型的實(shí)際效果，該研究從 CoSQL 驗證集中選擇了兩個(gè)樣本，并在圖 9 中對比了 SCoRe 模型和 STAR 模型生成的 SQL 查詢(xún)語(yǔ)句。從第一個(gè)例子我們可以看到 STAR 模型能夠很好地使用歷史 SQL 的模式狀態(tài)信息（例如，[car_names.Model]），從而正確生成了第三輪對話(huà)的 SQL 查詢(xún)語(yǔ)句，而 SCoRe 模型則無(wú)法跟蹤這種模式狀態(tài)信息。在第二個(gè)例子中，STAR 模型有效地跟蹤了第一輪和第四輪話(huà)語(yǔ)之間的長(cháng)期對話(huà)依賴(lài)關(guān)系，并通過(guò)跟蹤和引用第二輪對話(huà)中的 “the number of” 信息，在第四輪 SQL 查詢(xún)語(yǔ)句中正確地生成了 SQL 關(guān)鍵字 [SELECT COUNT (*)]。然而，SCoRe 模型無(wú)法跟蹤這種長(cháng)期依賴(lài)關(guān)系，并受到第三輪話(huà)語(yǔ)的干擾生成了錯誤的 SQL 查詢(xún)語(yǔ)句。

圖 9. 實(shí)例分析。

ModelScope 模型開(kāi)源社區

本文在 CoSQL 數據集上訓練得到的模型，目前已集成到 ModelScope 模型開(kāi)源社區。讀者可以直接在 notebook 中選擇 V100 GPU 環(huán)境，通過(guò)一個(gè)簡(jiǎn)單 pipeline 即可使用 demo 模型用于多輪 Text-to-SQL 語(yǔ)義解析任務(wù)。

總結

本文中，研究團隊提出了一個(gè)新穎且有效的多輪表格知識預訓練模型（STAR 模型）。針對多輪 Text-to-SQL 語(yǔ)義解析任務(wù)，STAR 模型提出基于模式狀態(tài)追蹤和基于對話(huà)依賴(lài)追蹤的表格預訓練目標，分別對多輪交互中的 SQL 查詢(xún)語(yǔ)句和自然語(yǔ)言問(wèn)題的意圖進(jìn)行追蹤。STAR 模型在兩個(gè)權威多輪語(yǔ)義解析榜單很好的結果，連續 10 個(gè)月占據榜單第一名的成績(jì)。

最后，歡迎對中國科學(xué)院深圳先進(jìn)技術(shù)研究院SIAT-NLP組感興趣的同學(xué)申請博后/博士/碩士/實(shí)習等職位，簡(jiǎn)歷請發(fā)至min.yang@siat.ac.cn。

參考文獻

[1] Tao Yu, Rui Zhang, Alex Polozov, Christopher Meek, Ahmed Hassan Awadallah. SCoRe: Pre-Training for Context Representation in Conversational Semantic Parsing. In NeurIPS, 2020.

[2] Tao Yu, Chien-Sheng Wu, Xi Victoria Lin, Bailin Wang, Yi Chern Tan, Xinyi Yang, Dragomir R.Radev, Richard Socher, and Caiming Xiong. Grappa: Grammar-augmented pre-training for table semantic parsing. In ICLR，2021.

[3] Peng Shi, Patrick Ng, Zhi guo Wang, Henghui Zhu, Alexander Hanbo Li, J. Wang, C. D. Santos, and Bing Xiang. Learning contextual representations for semantic parsing with generationaugmented pre-training. In AAAI，2021.

[4] Xiang Deng, Ahmed Hassan Awadallah, Christopher Meek, Oleksandr Polozov, Huan Sun, and Matthew Richardson. Structure-grounded pretraining for text-to-SQL. In NAACL，2021.

[5] Qian Liu, Bei Chen, Jiaqi Guo, Zeqi Lin, and JianGuang Lou. 2021a. TAPEX: table pre-trainin via learning a neural SQL executor. In arxiv，2021.

[6] Victor Zhong, Mike Lewis, Sida I. Wang, Luke Zettlemoyer. Grounded Adaptation for Zero-shot Executable Semantic Parsing. In EMNLP, 2020.

[7] Rui Zhang, Tao Yu, He Yang Er, Sungrok Shim, Eric Xue, Xi Victoria Lin, Tianze Shi, Caiming Xiong, Richard Socher, Dragomir Radev. Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions. In EMNLP, 2019.

[8] Cai, Yitao, and Xiaojun Wan. IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation. In EMNLP, 2020.

[9] Runze Wang, Zhenhua Ling, Jingbo Zhou, Yu Hu. Tracking interaction states for multi-turn text-to-sql semantic parsing. In AAAI, 2021.

[10] Binyuan Hui, Ruiying Geng, Qiyu Ren, Binhua Li, Yongbin Li, Jian Sun, Fei Huang, Luo Si, Pengfei Zhu, Xiaodan Zhu. Dynamic hybrid relation exploration network for cross-domain context-dependent semantic parsing. In AAAI, 2021.

[11] Scholak, Torsten, Nathan Schucher, and Dzmitry Bahdanau. PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models. In EMNLP, 2021.

[12] Zhi Chen, Lu Chen, Hanqi Li, Ruisheng Cao, Da Ma, Mengyue Wu, Kai Yu. Decoupled Dialogue Modeling and Semantic Parsing for Multi-Turn Text-to-SQL. In ACL, 2021.

[13] Yanzhao Zheng, Haibin Wang, Baohua Dong, Xingjun Wang, Changshan Li. HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing. In ACL, 2022.