38
WE BUILT THEM, BUT WE DON’T UNDERSTAND THEM
我們創(chuàng)造了它們，卻不理解它們

由于算法的更新?lián)Q代，機(jī)器變得越來(lái)越聰明，但同時(shí)也變得更難以理解。但是當(dāng)面對(duì)會(huì)思考的機(jī)器時(shí)，我們又必須理解它們是如何思考的。因此，或許我們有史以來(lái)第一次創(chuàng)造出了自己無(wú)法理解的機(jī)器。

我們給機(jī)器編程，以能理解每個(gè)單獨(dú)的步驟。但是一臺(tái)機(jī)器采用了數(shù)以?xún)|計(jì)的這類(lèi)步驟并產(chǎn)生了行為，例如下象棋、推薦電影、像個(gè)熟練的司機(jī)在蜿蜒的道路上駕駛汽車(chē)等，這些行為在我們編寫(xiě)的程序架構(gòu)中無(wú)法被明顯地體現(xiàn)出來(lái)。

然而，我們已經(jīng)讓這些不可理解變得習(xí)以為常。我們?cè)O(shè)計(jì)機(jī)器去按照我們的方式行動(dòng)：它們幫我們開(kāi)車(chē)、駕駛飛機(jī)、送包裹、審批貸款、搜索信息、推薦娛樂(lè)活動(dòng)、推薦潛在的情侶以及幫助醫(yī)生診斷病情。正因?yàn)闄C(jī)器的行為與我們類(lèi)似，因此我們很容易認(rèn)為它們的思維方式也與我們相似。但事實(shí)上，它們的思維方式與我們完全不同，從更深層次的角度看，我們甚至并不能真正理解它們是如何產(chǎn)生這些行為的。這就是它們不可理解的本質(zhì)。

這重要嗎？我們正在搭建的日益精準(zhǔn)的決策系統(tǒng)，其基礎(chǔ)卻是我們不可理解的。這應(yīng)該讓我們擔(dān)憂(yōu)嗎？答案顯然是肯定的。

還有更深層次的麻煩。我們需要了解它們的算法原理，才能與他人進(jìn)行討論。機(jī)器算法經(jīng)過(guò)了大量的數(shù)據(jù)訓(xùn)練，善于從這些數(shù)據(jù)中提取其內(nèi)在結(jié)構(gòu)模式。例如，我們知道如何搭建一套系統(tǒng)，使其能閱讀數(shù)百萬(wàn)份相同結(jié)構(gòu)的貸款申請(qǐng)表，并找出合格的申請(qǐng)者。同樣的事情如果讓人類(lèi)來(lái)做，是相當(dāng)困難的，即便做也未必能夠像算法做得那么好。

這是很了不起的成就，但也很脆弱。這些算法的有效區(qū)域通常都很有限，想要描述有效區(qū)域的特征很困難，跳出來(lái)卻很容易。例如，剛才那個(gè)能成功地把數(shù)百萬(wàn)份小型消費(fèi)貸款進(jìn)行歸類(lèi)的機(jī)器，如果你給它另一套有幾千份復(fù)雜的商業(yè)貸款的歷史數(shù)據(jù)時(shí)，它就未必能勝任了，因?yàn)檫@超出了它的功能區(qū)域。它的有效性來(lái)源于從海量數(shù)據(jù)點(diǎn)中，從不斷重復(fù)的歷史案例中，尋找其模式和結(jié)構(gòu)。如果突然急劇降低數(shù)據(jù)量或者把數(shù)據(jù)結(jié)構(gòu)變得更加復(fù)雜，那么這套算法就會(huì)失效。換句話(huà)說(shuō)，它們的成功只是在適當(dāng)條件下的表現(xiàn)，就像是驚嘆于一個(gè)天才的表演，他那令人瞠目結(jié)舌的成功和專(zhuān)心致志掩蓋了其他方面的局限性。

但即便在這些機(jī)器的有效區(qū)域的中心，這種不可理解的原因也會(huì)導(dǎo)致麻煩。還是以這數(shù)百萬(wàn)份小型消費(fèi)貸款申請(qǐng)為例，當(dāng)這臺(tái)機(jī)器的用戶(hù)、管理人員或者助理開(kāi)始問(wèn)它幾個(gè)簡(jiǎn)單問(wèn)題的時(shí)候，麻煩就來(lái)了。

被拒絕的貸款申請(qǐng)者不僅會(huì)問(wèn)原因，還會(huì)提出諸如“我要如何修改申請(qǐng)表才能成功”這樣的問(wèn)題。由于我們對(duì)算法決策無(wú)法理解，自然也就無(wú)法給出令人滿(mǎn)意的答案。也許只能用“試試參照那些成功貸款的表格的形式去填寫(xiě)”敷衍了事。

行政部門(mén)會(huì)問(wèn)：“這套算法在英國(guó)很有效，但如果換在巴西呢？”我們同樣無(wú)法給出令人滿(mǎn)意的答案。我們無(wú)法評(píng)估一個(gè)高度優(yōu)化的規(guī)律轉(zhuǎn)移到新領(lǐng)域后，效果會(huì)如何。

數(shù)據(jù)科學(xué)家會(huì)問(wèn)：“我們已經(jīng)清楚這套算法對(duì)已有數(shù)據(jù)的運(yùn)行情況。如果有更多數(shù)據(jù)，肯定就能提高它的表現(xiàn)水平，問(wèn)題是我們要收集哪些新數(shù)據(jù)呢？”人類(lèi)的知識(shí)領(lǐng)域會(huì)提出很多可能性，但是在無(wú)法理解那套算法的情況下，我們不知道哪種可能性才是有效的。具有諷刺意味的是，我們能夠找出那些自認(rèn)為有效的變量，但因?yàn)闄C(jī)器跟我們的思維方式不同，而且已經(jīng)勝過(guò)了我們，我們又如何知道什么對(duì)它是有效的呢？

這不是故事的結(jié)局。我們還發(fā)現(xiàn)，算法的創(chuàng)造者們熱衷于創(chuàng)造那些不僅強(qiáng)大而且連他們自己都無(wú)法理解的算法。按照這樣的趨勢(shì)，我們需要重新定義什么是“可理解性”。也許最終，我們?cè)僖矡o(wú)法理解這些自動(dòng)化的系統(tǒng)。不過(guò)也沒(méi)關(guān)系，我們只要能夠像和其他人交流那樣與它們進(jìn)行交流互動(dòng)就足夠了，然后慢慢地形成一種堅(jiān)定的觀念：什么時(shí)候可以信任它們，把它們用在什么地方最有效，怎樣幫它們?nèi)〉梦覀冏陨頍o(wú)法實(shí)現(xiàn)的目標(biāo)。

然而，到那時(shí)這種不可理解就會(huì)帶來(lái)風(fēng)險(xiǎn)。我們?nèi)绾沃肋@些機(jī)器正在它自己算法的有效區(qū)域內(nèi)運(yùn)行，而不是跑到它不擅長(zhǎng)的領(lǐng)域去了呢？這種風(fēng)險(xiǎn)的蔓延是不容易量化的，也是我們?cè)谶@些系統(tǒng)的發(fā)展過(guò)程中需要面對(duì)的。也許有一天，所有強(qiáng)大的機(jī)器智能都會(huì)讓我們感到畏懼，不過(guò)在此之前，我們要擔(dān)憂(yōu)的是如何讓機(jī)器具備那樣的智能。

注：《稀缺》（Scarcity），穆來(lái)納森和埃爾德·沙菲爾（Eldar Shafir）強(qiáng)強(qiáng)聯(lián)合之作，繼諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者丹尼爾·卡尼曼《思考，快與慢》之后的又一部行為經(jīng)濟(jì)學(xué)重磅力作，《金融時(shí)報(bào)》2013年必讀十佳商業(yè)圖書(shū)。該書(shū)中文簡(jiǎn)體字版已由湛廬文化策劃出版。