六、實驗測試
實驗8.1a 二元詞匯的形成
難度:1
描述:這個實驗考察AI是否能在詞匯識別留下的句子片段中發現重復多次出現的二元組合,建立新詞,從而能主動詢問詞義。
需要支持功能:基礎應答反射
測試模塊:模塊8.1a、模塊8.1b
測試準備:給出10句包含AI不熟悉的二字詞詞匯的文字,但其他詞匯是已經學習過的。
預期效果:AI在10句讀完后能發起詢問“AB是什么意思啊”。
實驗8.1b 多元詞匯的形成
難度:2
描述:這個實驗考察AI是否能在詞匯識別留下的句子片段中發現重復多次出現的多元組合,建立新詞,從而能主動詢問詞義。
測試模塊:模塊8.1a、模塊8.1b
需要支持功能:基礎應答反射、自然語言正轉錄
測試準備:給出10句包含AI不熟悉的4字成語的文字,但其他詞匯是學習過的。
預期效果:AI在10句讀完后能發起詢問“ABCD是什么意思啊”。
實驗8.2a 代詞指代
難度:3
描述:這個實驗考察AI是否能正確找到句子中代詞指代的語境中對象。
測試模塊:模塊8.2
需要支持功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:瓊斯先生是莊園的主人,他有一個兒子、一個女兒,女孩叫作南茜,男孩叫作杰克。他養了一只雞,叫作“呵呵噠”,雞長得很胖。女兒很喜歡這只雞,而男孩很不喜歡這只雞。
Tester:誰養了一只雞?
AI:瓊斯先生。
實驗8.2b 相對關系指代
難度:3
描述:這個實驗考察AI是否能就句子中的相對關系名稱找到語境中合適的具體對象替代。
測試模塊:模塊8.2
需要支持功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:瓊斯先生是莊園的主人,他有一個兒子、一個女兒,女孩叫作南茜,男孩叫作杰克。他養了一只雞,叫作“呵呵噠”,雞長得很胖。女兒很喜歡這只雞,而兒子很不喜歡這只雞。
Tester:誰喜歡“呵呵噠”?
AI:南茜。
實驗8.3a 對象類指代
難度:3
描述:這個實驗考察AI是否能為句子中對象類的名稱找到語境中合適的具體對象替代。
測試模塊:模塊8.2
需要支持功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:瓊斯先生是莊園的主人,他有一個兒子、一個女兒,女孩叫作南茜,男孩叫作杰克。他養了一只雞,叫作“呵呵噠”,雞長得很胖。女兒很喜歡這只雞,而男孩很不喜歡這只雞。
Tester:誰長得很胖?
AI:雞長得很胖。
Tester:誰不喜歡“呵呵噠”?
AI:杰克。
實驗8.3b 對象類名稱指代對象類還是具體對象
難度:3
描述:這個實驗考察AI是否能夠區分同一個對象類名稱既用來指代具體對象,又用來指代對象類。
測試模塊:模塊8.2
需要支持功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:早上一只貓跑到院子里,貓是白色的,貓真的是很可愛的動物。
Tester:跑到院子里的貓什么顏色?
AI:白色。
Tester:我覺得什么動物很可愛?
AI:貓。
實驗8.4a 識別主要意向
難度:3
描述:這個實驗考察AI能否把對方表達對象屬性,通過意向層面的運算,歸類到自己熟悉的屬性概念,從而利用熟悉的屬性概念的知識,形成對對象的認知。
測試模塊:模塊8.4、模塊8.3a、模塊8.3b、模塊8.3d
需要支持功能:基礎應答反射、自然語言正轉錄、基礎邏輯思維
測試準備:后臺為“正氣”設置很高的頻次強度,建立“純凈”“大”“正”“剛”“真”和“正氣”的意向關系,建立“純凈”“正”和“不貪小便宜”的意向關系,建立“正”“真”和“真誠”的意向關系,建立“剛”“大”“純凈”和“做事很有原則”的意向關系。
測試流程:
Tester:正氣的人適合當領袖,正氣的人是可靠的。
Tester:Mike的朋友從來不貪小便宜,為人真誠,做事很有原則。
AI:Mike的朋友應該很可靠,適合當領袖。
實驗8.4b
難度:3
描述:這個實驗考察AI是否能從對方表達中形成意向信息參與的因果關系。
測試模塊:模塊8.3a、模塊8.3b、模塊8.3d
需要支持功能:自然語言正轉錄
測試流程:
Tester:水果有利身體健康。
Tester:這個藥克感冒病毒。
第一句需要生成信息(事件=水果,創造/維持=身體健康)。
第二句需要生成信息(事件=藥A,終止/阻止發生=感冒病毒)。
實驗8.4c
難度:3
描述:在這個實驗中,AI表達了一個一般疑問句,疑問的內容是對象屬性,測試者沒有直接回答這個問題,而是做出了一小段相關的具體評價。AI需要能夠從這個非直接回答中獲取自己需要的答案。
測試模塊:模塊8.4、模塊8.3a、模塊8.3b、模塊8.3d
需要支持功能:基礎應答反射、自然語言正轉錄
測試準備:賦予“正直”以“直”“正”“真”的意向,賦予“拐彎抹角”以“彎”的意向,賦予“誠實”以“真”的意向,賦予“正”以“真”“直”的意向。
測試流程:
Tester:Mike是個正直的人嗎?
Tester:Mike這個人說話不太拐彎抹角,也比較誠實。
Tester:你覺得Mike是個正直的人嗎?
AI:是的。
實驗8.5a 單層嵌套(指向對象)
難度:2
描述:這個實驗考察AI是否能理解單層嵌套,此例子中指向了一個對象。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:昨晚上最后離開公司的人關了燈。
Tester:Mike是昨晚最后離開公司的人。
Tester:誰關了燈?
AI:Mike。
實驗8.5b 單層嵌套(指向時間)
難度:2
描述:這個實驗考察AI是否能理解單層嵌套,此例子中指向了一個時間。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:他回到家的時候天下起了暴雨。
Tester:他是下午3點回到家的。
Tester:昨天幾點開始下暴雨的?
AI:3點。
實驗8.5c 單層嵌套(指向空間)
難度:2
描述:這個實驗考察AI是否能理解單層嵌套,此例子中指向了一個空間。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:昨天Mike在當年向妻子求婚的地方過結婚30周年紀念日。
Tester:Mike當年在西湖向妻子求婚。
Tester:Mike在什么地方和妻子過結婚30周年紀念日的?
AI:西湖。
實驗8.6 多層嵌套
難度:4
描述:這個實驗考察AI是否能理解多層嵌套。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:早上吃了桌上的過期的面包的人的爸爸的貓的體重增加了。
Tester:吃過期面包的人叫Jack,貓叫Kitty,爸爸叫Mike。
Tester:誰的爸爸是Mike?
AI:Jack。
Tester:誰的貓體重增加了?
AI:Mike。
Tester:誰的兒子吃了桌上的面包
AI:Mike。
Tester:哪只貓的主人的兒子吃了過期面包?
AI:Kitty。
實驗8.7a 模糊統轄映射
難度:2
描述:這個實驗考察AI對不嚴格表達的適應能力。此例子中,我們給出的樣本包含錯亂的語序,但仍然在人可理解的范圍內,考察AI對句子的理解。
測試模塊:模塊8.3c
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:過期面包Mike昨天吃了。
Tester:誰昨天吃了過期的面包?
AI:Mike。
實驗8.7b 模糊統轄映射
難度:2
描述:這個實驗考察AI對不嚴格表達的適應能力。此例子中,我們給出的樣本包含多余的句子成分,但仍然在人可理解的范圍內,考察AI對句子的理解。
測試模塊:模塊8.3c
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:就是昨天啊,那個Mike還是吃了那個過期的面包啊。
Tester:誰昨天吃了過期的面包?
AI:Mike。
實驗8.7c 模糊統轄映射
難度:2
描述:這個實驗考察AI對不嚴格表達的適應能力。此例子中,我們給出的樣本缺少結構詞匯,但仍然在人可理解的范圍內,考察AI對句子的理解。
測試模塊:模塊8.3c
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:昨天晚上Mike飲料喝完。
Tester:誰喝完了飲料?
AI:Mike。
實驗8.7d 模糊統轄映射
難度:2
描述:這個實驗考察AI對不嚴格表達的適應能力。此例子中,我們給出的樣本語序混亂且包含多余的句子成分,但仍然在人可理解的范圍內,考察AI對句子的理解。
測試模塊:模塊8.3c
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:話說那個Mike那個過期面包他吃掉了呢,而且就在昨天。
Tester:誰昨天吃了過期的面包?
AI:Mike。
實驗8.8a 語境省略
難度:2
描述:這個實驗考察AI對語境省略的理解能力。這個例子中省略的內容是具體對象。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:狼叼起一只雞,逃出農場,跑進了大森林里。
Tester:誰逃出了農場?
AI:一只狼。
實驗8.8b 語境省略
難度:2
描述:這個實驗考察AI對語境省略的理解能力。這個例子中省略的內容是事件。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:狼吃了農場的雞,雖然只吃了一只,導致母雞都很恐懼。
Tester:什么事情導致母雞很恐懼?
AI:狼吃了農場的雞。
實驗8.9 常識省略
難度:2
描述:這個實驗考察AI對常識省略的補全能力。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:吃水果能讓人的免疫力增強。
Mike:我感冒了,如何增強免疫力?
醫生:水果有利免疫。
Tester:你認為醫生給的建議是什么?
AI:醫生建議Mike吃水果。
實驗8.10a
難度2
描述:這個實驗考察AI的正轉錄過程是否能接受有符號指示的顯在的并列表達。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:吃水果能讓人的體質、免疫力得到增強。
Tester:什么能增強人的免疫力?
AI:吃水果。
Tester:瓊斯先生很強壯、很有錢、很風趣。
Tester:說出一個你知道的很風趣的人。
AI:瓊斯先生很風趣。
Tester:他閉上眼,撫摸著、感受著這千年的古樹。
Tester:這個人感受著什么?
AI:他感受著古樹。
實驗8.10b
難度:2
描述:這個實驗考察AI的正轉錄過程是否能接受沒有符號指示的并列表達。
測試模塊:模塊8.3a
前提功能:基礎應答反射、自然語言正轉錄
測試流程:
Tester:吃水果能讓人的體質免疫力得到增強。
Tester:什么能增強人的免疫力?
AI:吃水果。