官术网_书友最值得收藏!

1.2.1 基于規(guī)則的方法

基于規(guī)則的自然語言處理方法的主要思想是通過詞匯、形式文法等制定的規(guī)則引入語言學(xué)知識,從而完成相應(yīng)的自然語言處理任務(wù)。這類方法在自然語言處理早期受到了很大的關(guān)注,包括機(jī)器翻譯在內(nèi)的很多自然語言處理任務(wù)都采用此類方法。目前,仍有很多系統(tǒng)還在使用基于規(guī)則的方法?;谝?guī)則的自然語言處理方法的基本流程如圖1.3所示,主要包括數(shù)據(jù)構(gòu)建、規(guī)則構(gòu)建、規(guī)則使用和效果評價(jià)四個(gè)部分。

圖1.3 基于規(guī)則的自然語言處理方法的基本流程

基于規(guī)則的方法的核心是規(guī)則形式定義,其目標(biāo)是使語言學(xué)家可以在不了解計(jì)算機(jī)程序設(shè)計(jì)的情況下,能夠容易地將知識轉(zhuǎn)換為規(guī)則。這就要求規(guī)則描述具有足夠的靈活性,并易于使用和理解。規(guī)則引擎的目標(biāo)是高效地解析這些人工定義的大量規(guī)則,針對輸入數(shù)據(jù),根據(jù)規(guī)則庫進(jìn)行解釋執(zhí)行,從而完成特定的任務(wù)。這種方式使語言學(xué)家不需要編寫代碼就可以完成規(guī)則庫的構(gòu)建。

常見的規(guī)則包括產(chǎn)生式、框架、自動(dòng)機(jī)、謂詞邏輯、語義網(wǎng)絡(luò)等形式。例如,產(chǎn)生式規(guī)則是以“IF-THEN”形式構(gòu)建的,表示如果滿足條件,則執(zhí)行相應(yīng)的語義動(dòng)作。舉例來說,對于機(jī)器翻譯任務(wù),可以構(gòu)建如下規(guī)則庫:

IF源語言主語=我THEN英語譯文主語=I

IF英語譯文主語=I THEN英語譯文be動(dòng)詞為am/was

IF源語言=蘋果AND沒有修飾量詞THEN英語譯文=apples

在條件判斷中也可以結(jié)合正則表達(dá)式,增強(qiáng)規(guī)則的泛化能力。例如,可以根據(jù)英語詞典,構(gòu)造有限狀態(tài)自動(dòng)機(jī)(Finite State Automaton,F(xiàn)SA)進(jìn)行英語單詞的拼寫檢查。此外,非確定有限狀態(tài)自動(dòng)機(jī)(Nondeterministic Finite Automaton,NFA)和有限狀態(tài)轉(zhuǎn)換機(jī)(Finite State Transducer,F(xiàn)ST)還被廣泛應(yīng)用于詞法分析、詞性標(biāo)注、句法分析、機(jī)器翻譯等眾多方面。

基于規(guī)則的方法,從某種程度上可以說是在試圖模擬人類完成某個(gè)任務(wù)時(shí)的思維過程。這類方法的主要優(yōu)點(diǎn)是直觀、可解釋、不依賴大規(guī)模數(shù)據(jù)。利用規(guī)則所表達(dá)出來的語言知識具有一定的可讀性,不同的人之間可以相互理解。規(guī)則分析引擎通過規(guī)則庫所得到的分析結(jié)果,也具有很好的可解釋性,所使用的規(guī)則可以作為系統(tǒng)做出判斷的依據(jù)。規(guī)則庫的構(gòu)建也能夠完全不依賴大規(guī)模的有標(biāo)注數(shù)據(jù),可以僅根據(jù)人類背景知識來構(gòu)建規(guī)則庫。但是,基于規(guī)則的方法也有明顯的缺點(diǎn),主要包括覆蓋率差、大規(guī)模規(guī)則構(gòu)建代價(jià)大、規(guī)則庫維護(hù)難度大等。使用人工構(gòu)建的規(guī)則可以較為容易地處理常見現(xiàn)象,但是對于復(fù)雜的語言現(xiàn)象則難以描述。由于語言現(xiàn)象的復(fù)雜性,使得基于規(guī)則的方法整體覆蓋率很難提升到非常高的程度。并且,規(guī)則庫達(dá)到一定的數(shù)量之后維護(hù)困難,新增加的規(guī)則與已有的規(guī)則也容易發(fā)生沖突。不同的人對于同一個(gè)問題的解決思路的不同,也造成了大規(guī)模規(guī)則庫中規(guī)則的不一致性,從而使得維護(hù)難度進(jìn)一步增加。

主站蜘蛛池模板: 高唐县| 吉安市| 黔西县| 兴国县| 舒兰市| 芦溪县| 义乌市| 平陆县| 甘泉县| 城口县| 化德县| 高陵县| 泰顺县| 永兴县| 房山区| 峨山| 桐梓县| 铜川市| 济阳县| 汝阳县| 中牟县| 九寨沟县| 正阳县| 彝良县| 微山县| 通山县| 肃南| 婺源县| 贵港市| 静乐县| 天等县| 札达县| 高邑县| 青神县| 常熟市| 华宁县| 乌拉特中旗| 吴堡县| 应用必备| 松江区| 客服|