智能語(yǔ)義理解搜索引擎中漢語(yǔ)虛詞的形態(tài)特征略析

　　繆天鵬 ¹ ，韓建軍 ¹ ，王振江 ¹

　?。ㄈA中科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢 430074）

　　摘要：語(yǔ)義智能化發(fā)展是大數據技術(shù)國家重大戰略需求，也是統計學(xué)、數據科學(xué)、信息科學(xué)和管理科學(xué)等學(xué)科的國際前沿。在大數據環(huán)境下，數據的規模、類(lèi)型、結構和增長(cháng)速度發(fā)生了質(zhì)的變化，傳統數據分析和處理的統計學(xué)理論和分析方法已不能滿(mǎn)足大數據時(shí)代下的種種需求。本研究擬圍繞大數據分析與處理的統計學(xué)基礎理論與分析方法的核心問(wèn)題和難點(diǎn)問(wèn)題，略析語(yǔ)言大數據處理虛詞形態(tài)新方法， 為大數據技術(shù)發(fā)展和未來(lái)智能搜索引擎等應用提供新基礎理論和方法支撐。

　　關(guān)鍵詞： 語(yǔ)義理解；搜索引擎；古漢語(yǔ)；虛詞；形態(tài)特征

　　* 本文得到國家自然科學(xué)基金項目（61872411）資助。

　　1 認知、互動(dòng)的智能需求

　　Internet互聯(lián)網(wǎng)廣泛應用，人們對信息查詢(xún)的要求越來(lái)越高，目前搜索引擎中全文檢索都是基于關(guān)鍵詞匹配的，在不斷膨脹的用戶(hù)需求面前，中文搜索所展現出的局限性越來(lái)越不可忽視，其中之一就是它不能區分同形異義，岐義現象的產(chǎn)生是沒(méi)有建立完整的語(yǔ)義理解支撐，完整的語(yǔ)義理解是智能化搜索引擎的基礎核心。西方語(yǔ)言是粘連型語(yǔ)言，而漢語(yǔ)是分析型語(yǔ)言，依據漢字的三要素音、形、義進(jìn)行解析，解“義”而言漢字（詞）分為實(shí)詞和虛詞，在現有的搜索引擎中，往往通過(guò)實(shí)詞及關(guān)鍵詞匹配來(lái)滿(mǎn)足檢索需求，漢字的虛詞常被忽略，而用戶(hù)查詢(xún)語(yǔ)句的真實(shí)意向得不到完整的語(yǔ)義理解 ^[1-2] 。顯然，漢語(yǔ)虛詞雖無(wú)“意”卻有“形”，但在語(yǔ)句中具有語(yǔ)法等功能形態(tài)，忽略虛詞、虛（詞）實(shí)（詞）關(guān)系是形成歧義現象的基本原因之—。

　　漢字一詞多義現象也與虛詞的形態(tài)變化相關(guān)，多義性導致字詞的智能化辨義解析程度降低，出現查詢(xún)精度不高、檢索效率低下等現象，為此簡(jiǎn)單的關(guān)鍵詞匹配（實(shí)詞）和完整的語(yǔ)義匹配（實(shí)詞+虛詞）是有本質(zhì)區別的。虛詞雖無(wú)義卻有形，其形態(tài)量化與關(guān)系是首要任務(wù)之一，明晰了形態(tài)關(guān)系也就解決了語(yǔ)句中實(shí)詞與虛詞搭配組句的語(yǔ)法、語(yǔ)義、語(yǔ)用形態(tài)特征，漢語(yǔ)虛詞形態(tài)信息提取及量化分析是智能化語(yǔ)義理解不可或缺的 ^[3-4] 。換言之，詞匯語(yǔ)用修正了詞匯語(yǔ)義在詞語(yǔ)選擇與詞語(yǔ)理解上的缺陷，并指出語(yǔ)境化是理解和使用詞語(yǔ)的關(guān)鍵。詞匯的使用和理解不僅僅是一個(gè)語(yǔ)言問(wèn)題，更是一個(gè)語(yǔ)用與認知（語(yǔ)感）的問(wèn)題。

　　現代漢語(yǔ)虛詞約800左右，而古代虛詞約1100左右，文言文是古代的書(shū)面語(yǔ)言，也是現代漢語(yǔ)的源頭，追本溯源，從繁至簡(jiǎn)，正確理解現代漢語(yǔ)虛詞的演變規律和形態(tài)變遷，唯有從文言虛詞的形態(tài)關(guān)系（穩定知識源）分析著(zhù)手，力求尋找漢語(yǔ)虛詞的自然演變規律 ^[5] 。

　　智能化搜索引擎面對的漢語(yǔ)語(yǔ)言是一種混合型文體（現代漢語(yǔ)+特殊文體），特殊文體包含詩(shī)詞歌賦文言文等，無(wú)疑在現代語(yǔ)言中文言虛詞古為今用比比皆是。文言虛詞四種完整形態(tài)包括單音、復音、定式搭配、慣性詞組，經(jīng)甄別該虛詞的完整構詞數量，以保證分詞定位匹配的正確精度。確定虛詞在句中的位置、形態(tài)、關(guān)系，也就保證了句子的語(yǔ)法、語(yǔ)義、語(yǔ)用方向判斷和邏輯推送的可計算性，從而為智能化搜索奠定了基礎。

　　虛詞的虛化程度評價(jià)體系是建立虛實(shí)關(guān)系、量化評價(jià)評測、虛化程度分布、相似度分析以及虛實(shí)用的概率統計分析 ^[6] 。虛詞關(guān)系模型的建立是語(yǔ)言數據預處理的必經(jīng)之路，也是打開(kāi)未來(lái)智能漢語(yǔ)語(yǔ)義理解之窗。

　　2 感知到認知的數據處理

　　本研究主要分為數據預處理和數據分類(lèi)規約處理。正確的理解現代漢語(yǔ)虛詞的演變規律和形態(tài)變遷，為文言虛詞的知識規則結構化處理及定量定位定性分析作準備。文本數據開(kāi)采必須建立專(zhuān)家知識庫、樣本語(yǔ)料庫，其中包括對數據的凈化、轉換、變量的整合以進(jìn)行數理統計、數據挖掘、人工智能等技術(shù)運用，構造以虛詞為中心的大數據開(kāi)采平臺。

　　2.1 擬解決的關(guān)鍵問(wèn)題

　　擬解決的虛詞形態(tài)、形態(tài)關(guān)系及關(guān)鍵技術(shù)問(wèn)題：

　?、偬撛~構詞形態(tài)的四種形式劃分，詞序關(guān)系形態(tài).

　?、谔撛~虛用虛詞實(shí)用的詞法形態(tài).

　?、厶撛~的句法形態(tài)，句位形態(tài).

　?、芴搶?shí)比關(guān)系.

　　2.2 研究?jì)热菁胺椒?/p>

　　2.2.1 理解數據和數據的來(lái)源

　　統計知識庫的知識轉化為規則的靜態(tài)數據處理，具體而言將虛詞字典的知識內容進(jìn)行知識規則劃分，依據符號定義和符號規約，完成知識到規則的結構化處理。

　　知識庫的建立是將傳統的知識字典按照現代數據處理方法分層分類(lèi)。語(yǔ)料庫是依據知識庫相對應的知識規則，抽取樣本語(yǔ)料進(jìn)行規則驗證和規則升降維處理，以滿(mǎn)足規則置信度、相似度、精確匹配以及匹配命中率統計分析。知識庫轉化為規則庫是通過(guò)語(yǔ)料驗證匹配才能形成種子規則，以便于精確匹配和提高匹配命中率 ^[7] 。

　　2.2.2 獲取相關(guān)知識與方法

　　在建立虛詞的分層分類(lèi)位置形式上實(shí)行定位分析，因為虛詞沒(méi)有嚴格形態(tài)特征，卻有句位特征，如“擇善而從之”（句末特征），以便于句位的統計概率規律分析。定量分析可分為四種形式（單音虛詞、復音虛詞、定式搭配、慣性詞組）的虛詞量化分析,用以滿(mǎn)足虛詞為中心詞的分詞劃分技術(shù)加統計分析來(lái)實(shí)現，從而達到完整語(yǔ)句中的虛字虛用/實(shí)用的分層分類(lèi) ^[8-9] 。

　　形態(tài)特征分類(lèi)：

　?。?）0層 基本形態(tài)特征1：構組詞關(guān)系（單音、復音、定式、慣性詞組），詞序（間）關(guān)系，虛實(shí)比關(guān)系（虛實(shí)用關(guān)系、虛詞與位置關(guān)系、虛詞與語(yǔ)義語(yǔ)用關(guān)系）。語(yǔ)言形態(tài)與詞匯映象。

　?。?）1層 基本形態(tài)特征2：句法形態(tài)（陳述句，疑問(wèn)句，祈使句，感嘆句），句法成分形態(tài)（主語(yǔ)，謂語(yǔ)，賓語(yǔ)，狀語(yǔ)，定語(yǔ)，補語(yǔ)）。語(yǔ)言形態(tài)與句法映象。語(yǔ)義結構形態(tài)標注，語(yǔ)用功能形態(tài)標注（判斷句，省略句，倒裝句，被動(dòng)句，固定句式）。語(yǔ)言形態(tài)與句式映象。

　?。?）2層 語(yǔ)義結構形態(tài)。虛/實(shí) 義結構。?

　?。?）3層 語(yǔ)用功能形態(tài)。虛/實(shí) 用結構。?

　　總之，0～1層的基本形態(tài)是從語(yǔ)形學(xué)視角分析詞匯相關(guān)符號與符號之間的關(guān)系。而語(yǔ)義學(xué)關(guān)注的是 有關(guān)符號與符號所指之間的關(guān)系。語(yǔ)用學(xué)則是有關(guān)符號與解釋者之間的關(guān)系。雖有異曲同工，但語(yǔ)形、語(yǔ)義、語(yǔ)用的三者關(guān)系而言，語(yǔ)形以語(yǔ)義為前提，語(yǔ)義是從語(yǔ)用中抽象出來(lái)的。而語(yǔ)用學(xué)是符號學(xué)基礎，確切的語(yǔ)用特征是它處理符號化過(guò)程的不同形態(tài)（如句位形態(tài)）選擇同樣暗含語(yǔ)用信息（話(huà)語(yǔ)環(huán)境、交談對象或話(huà)語(yǔ)事件等）^[10] 。上下文環(huán)境對象事件從語(yǔ)用視角延伸至語(yǔ)境都是認知語(yǔ)言學(xué)基本范疇，而句位形態(tài)引入展現人類(lèi)語(yǔ)言習得過(guò)程和機理，認知形態(tài)的又一新視野。

　　2.3 整合與檢查數據

　　定性分析在完成了定量定位分析的基礎上，知識到規則轉換經(jīng)統計實(shí)現各虛詞特定位置所表達的意合概率以及分層聚類(lèi)處理。

　　2.4 數據清理，去除錯誤或不一致的數據

　　虛字的虛實(shí)不分會(huì )造成數據的不一致性，虛字實(shí)用在虛實(shí)化統計分析中客觀(guān)反映量化分析的每一個(gè)字的虛化程度，從而將字的虛化演變過(guò)程從靜態(tài)到動(dòng)態(tài)進(jìn)行明確的量化屬性分析。通過(guò)形式量化、數理統計等方法，將常用虛字18（A集）對應中學(xué)語(yǔ)料117篇進(jìn)行虛實(shí)分類(lèi)得出四種形式與頻度的關(guān)系。確定了虛字在句中的位置、句位和形式以及規則分布和各概率分布映象，再經(jīng)過(guò)置信測試和語(yǔ)料保障測試，使其樣本依據具有足夠的置信度 ^[11] 。

　　根據字典的知識理論定性分析得出基于A(yíng)集18常用虛字的虛實(shí)比分類(lèi)結果。通過(guò)字的虛實(shí)規則形態(tài)確定，該句的語(yǔ)用功能語(yǔ)義結構方向判斷清晰，有效降低了歧義現象的產(chǎn)生。

　　2.5 數據域定義

　　歷時(shí)數據的采集：經(jīng)驗+知識=規則（虛詞字典）

　　共時(shí)數據的采集：中學(xué)語(yǔ)文常用虛詞18（A集）+大學(xué)語(yǔ)文常用虛詞36（B集）+專(zhuān)業(yè)語(yǔ)言工作者常用虛詞49（C集）

　　語(yǔ)料數據的采集：字典范例對應語(yǔ)料，中學(xué)文言文117篇，古文觀(guān)止220篇，歷年全國語(yǔ)文高考語(yǔ)料實(shí)例

　　通過(guò)規則結合統計的方法實(shí)現知識到規則的數字化處理，加上句位分析、虛詞分詞技術(shù)、詞序規則規約分類(lèi)。經(jīng)基本處理，可以得到完整句子中的詞序詞態(tài)句位基因碼，為后續的數字解析與語(yǔ)義理解奠定了基礎。它是數據挖掘、云計算的基礎。

　　研究思路與技術(shù)路線(xiàn)示意圖如下：

　　2.6 實(shí)際數據挖掘工作

　　句位分析是依據漢字虛詞的句位特征進(jìn)行區域劃分（固定句位/相鄰句位），通過(guò)概率統計得出虛字在句首句中句尾的句位特征與出現的概率頻度，結合分類(lèi)歸層進(jìn)行相似度分析以及優(yōu)先度分析等方法。

　　虛詞分詞劃分技術(shù)是采用經(jīng)驗知識將規則的形式分類(lèi)（四種形式），以固定組詞長(cháng)度、完整的內容實(shí)現虛詞的準確劃分。其中虛詞虛實(shí)化是固定完整內容的關(guān)鍵。

　　詞序描述：傳統的文本字符書(shū)寫(xiě)習慣是從左至右線(xiàn)型順序展開(kāi)，符號語(yǔ)言描述也應遵循習慣規律，即文本字符串（句子）=符號邏輯規則。

　　例1：彬之總師也 分解：彬/n01 之/c0701 總師/n02根據屬性抽取符號邏輯規則：n01c0701n02邏輯規則解釋?zhuān)禾撟帧爸庇米鞑⒘羞B詞c0701，詞序連接是邏輯與對象前置n01后置n02，n為名詞。

　　例2：上臨哭之慟 分解：上臨哭/O 之/u1802 慟/v01根據屬性抽取符號邏輯規則：Ou1802v01邏輯規則解釋?zhuān)涸撎撟帧爸睘榻Y構助詞u1802，詞序連接是邏輯與對象前置O后置v01，v為動(dòng)詞，O為賓語(yǔ)。

　　由例1例2知，詞序規則碼不同，“之”字的詞法句法的語(yǔ)用功能完全不同。

　　7）測試和驗證挖掘結果、解釋和應用在獲取了最終的邏輯規則樹(shù)之后，就需要對邏輯規則的研究的正確性作驗證分析，在此處，以高考中的真題作為實(shí)例進(jìn)行分析驗證 ^[12] 。

　　例3：2013年高考語(yǔ)文安徽卷下列各組句子中，加點(diǎn)詞的意義和用法相同的一組是（D）

　　A.陸生因說(shuō)佗曰 B.將相欲移兵而誅王伺者因此覺(jué)知 今人有大功而擊之C.尉佗乃蹶然起坐 D.佗因稍以法誅秦所置長(cháng)史今其智乃反不能急 獨籍所殺漢軍數百人運用邏輯規則的方法對例1進(jìn)行驗證，驗證結果如表1例1各選項分析表所示。

　　形似結論XS邏輯判斷通式f(XS,A)=((CB(A1) ∧CB(A2))∨(JW(A1) ∧JW(A2)))

　　∧(YY(A1) ∧(YY(A2))

　　如此類(lèi)推，得出f(XS,A，B，C，D)=(XS,F,F,F,T)。

　　由形似結論XS到分析結論FX的邏輯推送：XS1（A）∨ XS1（B）∨ XS1（C）∨ XS1（D）

　　﹛F，F，F，T﹜﹛D﹜通過(guò)邏輯規則和句位特征分析可以得到本題的正確答案為D。由此可知，句位特征屬性形似意不合是歧義產(chǎn)生的外在因素，其內因是虛詞實(shí)用或虛用不同結果 ^[13] 。

　　3 技術(shù)創(chuàng )新點(diǎn)

　?、偬撛~形式劃分與分詞技術(shù)，文言文在現代搜索技術(shù)中是無(wú)法切分的，本研究基本解決古文的以虛詞為中心的形態(tài)劃分與分詞技術(shù)實(shí)現。

　?、谔撛~的虛用/實(shí)用形態(tài)特征加句位特征分析是解決組合形態(tài)特征的關(guān)鍵，為語(yǔ)句的邏輯判斷與邏輯推送起到了語(yǔ)義語(yǔ)用功能的方向判斷，為智能化的可計算的語(yǔ)義理解提供了科學(xué)的理論與技術(shù)支撐 ^[14-16] 。

　　綜上所述，運用定性分析方法解決虛詞的基本形態(tài)劃分和形態(tài)特征分析，可滿(mǎn)足以虛詞為中心的分詞技術(shù)在對特殊文體（文言文）中的虛用實(shí)用甄別，通過(guò)梳理句中的詞序關(guān)系和詞間關(guān)系，加上句位特征，形成一種穩定組合形態(tài)，依此對應句中的語(yǔ)法意義、語(yǔ)義結構、語(yǔ)用功能，使特征數據的結構更加明晰，更可計算，以便于大數據挖掘 ^[17-18] 。

　　漢語(yǔ)語(yǔ)義理解高端智能化終極目標之一就是實(shí)現人機交互更深層次需求，提出以虛詞為形態(tài)標識評價(jià)評測體系方法，實(shí)現特殊文體（文言文）分詞劃分技術(shù) ^[19] ；運用句位分析方法完成語(yǔ)句的虛實(shí)化靜態(tài)到動(dòng)態(tài)量化演變分析 ^[20] ，為語(yǔ)句中各形態(tài)建立可分析可計算多維形態(tài)標識 ^[21-22] 。

　　通過(guò)對漢語(yǔ)文言常用虛詞的虛實(shí)化數據挖掘與分析，以虛詞為中心對古漢語(yǔ)實(shí)現分詞劃分，結合形態(tài)、句位分析和虛用實(shí)用功用判別，實(shí)現詞法結構到語(yǔ)法語(yǔ)義結構和語(yǔ)用功能的全方位數據知識圖譜 ^[23-24] ，為未來(lái)的智能化搜索語(yǔ)義理解提供可計算、可判斷的全析理解奠定了實(shí)用基礎 ^[25] ，也就提供了語(yǔ)言數字化處理的智能理解支撐，在此基礎上可擴充到現代漢語(yǔ)虛字的延展，就能滿(mǎn)足未來(lái)各行各業(yè)的智能化（例：智能搜索、機器人、APP在線(xiàn)教育等）需求。

　　參考文獻

　　[1]呂叔湘. 現代漢語(yǔ)語(yǔ)法分析問(wèn)題[M]. 北京：商務(wù),1979.

　　[2]何樂(lè )士. 古代漢語(yǔ)虛詞詞典. 北京: 語(yǔ)文出版社, 2006: 1-663.

　　[3]何金松. 虛詞歷時(shí)詞典. 湖北: 湖北人民出版社, 1994: 1-554.

　　[4]王延飛, 秦鐵輝. 信息分析與決策. 北京：北京大學(xué)出版社, 2001.

　　[5]宗成慶. 統計自然語(yǔ)言處理. 北京：清華大學(xué)出版社. 2008年5月第1版: 1-243.

　　[6]俞士汶. 建設綜合型語(yǔ)言知識庫的理念與成果的價(jià)值[J]. 中文信息學(xué)報, 2007(6).

　　[7]Dong Zhendong, Dong Qiang. HowNet and the Computation of Meaning[M]. Singapore WorldScientific Publishing Company, 2006.

　　[8]昝紅英, 張坤麗, 柴玉梅, 俞士汶. 現代漢語(yǔ)虛詞知識庫的研究. 中文信息學(xué)報, 2007, 21(5):107-111.

　　[9]朱德熙. 語(yǔ)法講義. 北京: 商務(wù)印書(shū)館, 1982年9月第一版.

　　[10]詹衛東. 基于配價(jià)的漢語(yǔ)語(yǔ)義詞典. 語(yǔ)言文字應用, 2000(1)：37-43.

　　[11]魯川,漢語(yǔ)句子的語(yǔ)義成分和語(yǔ)用成分.中國語(yǔ)文雜志社編, 語(yǔ)法研究和探索, 北京:北京大學(xué)出版社,1988年9月,309-319.

　　[12]郭錫良, 古漢語(yǔ)虛詞研究評議. 語(yǔ)言科學(xué),2003(1)：87-98

　　[13]昝紅英, 朱學(xué)鋒. 面向自然語(yǔ)言處理的漢語(yǔ)虛詞研究與廣義虛詞知識庫構建. 當代語(yǔ)言學(xué), 2009, 11(2):124-135

　　[14]俞士漢，朱學(xué)鋒. 關(guān)于漢語(yǔ)信息處理的認識及其研究方略. 《語(yǔ)言文字應用》, 2002（2）：51-85

　　[15]Noam Chomsky. Syntactic Structures. 北京: 中國社會(huì )科學(xué)出版社, 1979: 28-35.

　　[16]Noam Chomsky, Aspects of the Theory of Syntax. MIT Press (Cambridge, MA), 1966, 127-145.

　　[17]Christopher D. Mannning, Hinrich Schutze. Foundations of Statistical Natural LanguageProcessing [M]. 2005.

　　[18]張大方, 張潔坤, 黃昆. 一種基于智能有限自動(dòng)機的正則表達式匹配算法. 北京：電子學(xué)報, 2012(8).

　　[19]陳志泊．數據倉庫與數據挖掘[M]．北京：清華大學(xué)出版社.

　　[20]Liu B, Hsu W. Integrating classification and association rulemining Agrawal R, Stdorz P,PiatetskyG.rocof4thInternationalConferen.　ce. on Knowledge Discovery and Data Mining. Menlo Park:AAAI Press, 1998:80-86.

　　[21]Kuncheva L I. Editingfor the knearest neighbors rule by agenetic. Pattern Recognition Letters, 1995,16:809-814.

　　[22]Friedman N, Geiger D, Goldszmidt M. Bayesian network classifier. Machine Learning,1997,29(1):131-163.

　　[23] 曾黃麟.粗集理論及其應用.重慶:重慶大學(xué)出版社,1996.

　　[24]Chureh K W, Mereer P L. Introduction to the Special Issue onComputational Linguistics Using Large Corpora. ComputationalLinguistics, 1993, 19(1):1-24.

　　[25]T. Cohn, F. Blunsom. Semantic Role Labeling with Tree ConditionalRandom Fields. Proceedings of the Ninth Conference on ComputationalNatural Language Learning. Ann Arbor, Michigan: Association forComputational Linguistics. 2005: 169-172.

　　本文來(lái)源于科技期刊《電子產(chǎn)品世界》2019年第6期第52頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處