2.5　評估性能——人工智能與工程學

一個好的工程學設計往往能夠讓一項工作得到完美執行，而一個好的認知科學設計將致力于讓智能體成為一個情境實體，融入生態系統的生態位。Pfeifer通過收集乒乓球的任務來闡述這一點。工程學的解決方案是高功率的真空吸塵器；而認知科學的解決方案是一個來回走動的移動機器人，撿起物體并根據已知的乒乓球圖像來辨別它們。工程學的解決方案更快，但也會收集所需物體以外的東西；認知科學的解決方案會比較慢，但是會只收集乒乓球。時間標準不足以評估這兩個方法哪個更好，因為真空吸塵器絕不會有移動機器人那樣的適應性和靈活性。類似的比較還有在未知地形的地圖上查找位置的任務，如圖2.28所示。工程學解決方案是運用觀測方法；而認知科學解決方案則是即時定位與地圖構建（Simultaneous Localisation and Mapping，SLAM）。在SLAM中，機器人在給定的地形中來回走動多次，逐漸形成一個地圖。工程學方案會更快，但要求知道一些角度和距離；而認知科學方案會比較慢，但沒有這些要求。Pfeifer指出，一個特定方案的快捷性并不足以說明它的優點。例如，SLAM可以用于人類無法接近的地形，如觀測行星體和其他危險的、困難的地形，這些都難以通過觀測方法確定。而對于陸地、水域和空中以及一些角度和距離可以獲得的情況，SLAM就難以有這種靈活性。因此，以解決方案能實現“多快”為基準并不足以彰顯這個方案的優勢。

圖2.28　工程學解決方案與認知科學解決方案。為給定地形繪制地圖，工程學方法（上部）用三角測量觀測高度和距離。認知科學（下部）則會應用一個移動主體進行即時定位與地圖構建（SLAM），從而繪制地圖

研究人員已經采取了各種不同的方法來評估自主AI智能體的性能，但是在確定一個特定的方法上缺乏共識。因為AI智能體是情境性的，它們與傳統的反饋控制系統有很大的不同。在傳統系統中，性能通常由控制變量的平均偏差與預測值的商、控制器對噪聲的敏感性、控制器動態的穩定性和可接受誤差范圍內的可重復性來衡量。然而在情境智能體中，理想的機器人行為的獲得是智能體-環境互動的涌現特性。因此，需要有與傳統類型顯著不同的方法。

1.傳統推算思想：讓機器人大量重復給定任務，用成功的百分比衡量性能。例如，一個自動機器人服務員可以通過它正確服務沒有出錯的次數來評估。一個可評估的高百分比可以證實性能的一致性。明顯的缺點是，這個機器人服務員在執行服務以外的任務時，需要適合任務的另一套基準。同樣作為缺點，這種方法不能覆蓋所有的任務類型（未知地形、動態任務、有效的人機交互和機器人間交互以及硬件故障）。然而，由于這些方法簡單，它們仍然受到研究人員的喜愛，大多數研究論文會采用這種評估方法。

2.將實際性能與仿真相關聯^[163,371]。雖然這個范式是矛盾的，因為它意味著將一個情境現象與一個非情境的仿真過程聯系起來，但是即使這樣，這個方法仍然是研究團體的另一個寵兒。目前的軟件仿真方法非常復雜，可以模擬真實的環境，通常有一個物理引擎，并產生近乎真實的性能。但是，仿真仍然有它的缺點，因為它不能為摩擦、磁相互作用、磨損、斷裂、水分影響、二階效應等提供現實的物理條件。還有，這會陷入基準、性能、計算能力和仿真運行的機器硬件方面（即RAM、數據速率、CPU功率、計時器等）的影響上。而且，跟前面的方法一樣，這種方法也不能處理未知地形和動態任務。

社會機器人、多機器人組、群體機器人等更容易進行評估，因為這些主體被其實際工作打上了標簽，與環境密切相關，而且不是任意的。因此，評估方法分別專注于人機交互和群體行為質量上。