三、集團與個人——圍繞個人尊重原理（第二層）的考察

（一）算法上的偏見

如前所述，AI能夠“提前”預測個人將會實施的行動、決定以及個人的信用力等，這種能力即為其力量和魅力的源泉。但是，根據(jù)這種預測的方法（算法）以及預測結(jié)果的使用方式，很有可能與第二部分所闡述的個人尊重原理的第二層（狹義的個人尊重原理）產(chǎn)生尖銳的矛盾。

首先，會被設想到的兩者間矛盾發(fā)生在如AI預測的程序上混入了錯誤和偏見的情況。例如，AI在處理大數(shù)據(jù)時，讀取了本來不該被考慮的“虛假相關(guān)（spurious correlation）”①。在大數(shù)據(jù)上，每年在游泳池溺水的人數(shù)，與演員尼古拉斯凱奇每年出演的作品數(shù)，雖然在歷史上有相關(guān)，但這只是“碰巧”而已，算法上必須對此無視。但是，這種“虛假相關(guān)”也會被算法列入，作為預測評價的基礎(chǔ)來使用。11其次，會出現(xiàn)某種群體，在解析用的母數(shù)數(shù)據(jù)集之中發(fā)生代表不足（underrepresent）的情況②。例如，美國波士頓市為了調(diào)查道路狀況，利用了從市民手機中獲得的GPS數(shù)據(jù)，在其過程中發(fā)現(xiàn)，道路檢修工作集中在了高收入者居住區(qū)。但這是由于，很多低收入者并沒有手機，來自低收入者居住區(qū)的數(shù)據(jù)在解析母數(shù)上存在著代表不足。12這可以說是因代表不足而導致錯誤的典型案例。最后，會發(fā)生AI將現(xiàn)實社會中已經(jīng)存在的偏見列入算法，并導致這種偏見再生產(chǎn)的情況③。例如，使用現(xiàn)有員工數(shù)據(jù)來構(gòu)筑預測“好員工”的算法時，會將當前職場所存在的偏見在算法中直接承繼。實際上，英國圣喬治醫(yī)學院，根據(jù)此前不利于少數(shù)族群和女性的入學考試數(shù)據(jù)，用以構(gòu)筑發(fā)現(xiàn)“醫(yī)科好學生”的算法時，此種篩選就導致了同樣偏見的再生產(chǎn)。13

因此，當算法中混入了錯誤和偏見時，就會因為單純的預測而使準確度下降，結(jié)果就可能導致AI作出違反個人利益的決定。特別是像上述②與③的問題，會導致對少數(shù)族群具有歧視的影響效果。如②所述，在AI實施妥當?shù)念A測評價時，作為母數(shù)的數(shù)據(jù)集上，來自各群體的數(shù)據(jù)（“聲音”）就必須被均等地——公正且有效地——代表。14比喻而言，“每一票的分量”若是不同，AI的“意思決定”必然會歪曲。在這一點上，電子設備持有率以及社交網(wǎng)絡使用率較低的貧困人群以及少數(shù)族群的數(shù)據(jù)（“聲音”）就無法準確地反映在解析母數(shù)上，完全可以想象，這會在結(jié)果上產(chǎn)生對他們不利的預測評價。若是如此，屬于此種集團者，恐怕就會因為與個人的努力或能力無關(guān)的集團屬性，而遭受不利益。自不必說，這具有違反個人尊重原理第二層（從集團之中解放出來）的一面。

在種族歧視一直都是重要社會問題的美國，也特別關(guān)注AI基于大數(shù)據(jù)的預測評價從而對少數(shù)族群造成歧視影響的可能性。其中，聯(lián)邦貿(mào)易委員會（Federal Trade Commission，F(xiàn)TC）在奧巴馬執(zhí)政時的2016年1月所發(fā)布的題為《大數(shù)據(jù)：包容工具抑或排斥工具》的報告書15中，考慮到上述算法上的偏見可能會引發(fā)少數(shù)族群被社會所排除，就闡述了算法預測的利用者應該考慮的如下四項因素。這四項因素即：16（1）被利用的數(shù)據(jù)集是否妥當?shù)卮砹怂械娜后w（特別是有沒有欠缺來自特定群體的信息）；（2）隱藏偏見有沒有對特定人群產(chǎn)生意想不到的影響；（3）虛假相關(guān)（上述①）有沒有被列入算法（特別是在醫(yī)療、信貸、雇傭等重要決定上使用算法時，是否確保了人工對算法合適性的監(jiān)督）；（4）利用之際是否考慮到公平性。

日本也在由總務省設置的AI網(wǎng)絡社會推進會議于2017年7月所公布的《面向國際爭議的AI開發(fā)指導方針提案》之中，考慮到使用AI預測會導致的歧視等問題，指出“希望開發(fā)者在依據(jù)所使用的技術(shù)特性的可能范圍內(nèi)，盡可能地采取措施，避免因在AI系統(tǒng)的學習數(shù)據(jù)中出現(xiàn)如偏見等而造成不當歧視”。17

（二）基于片區(qū)的概率判斷——個人主義與片區(qū)（segement）主義的相尅

1．片區(qū)主義的擴張

AI預測與個人尊重原理間第二種設想的矛盾情況是，AI根據(jù)集團屬性所作出的概率性評價將作為最終結(jié)果而被自動接受的場面。如上文所述，姑且不談算法中混入了錯誤和偏見的情況，即便是在沒有發(fā)生這些問題的情況下，AI也并不能100%正確地把握作為評價對象的個人。這是因為，AI的預測評價，無論怎么說也只是根據(jù)集團屬性所作出的概率性判斷而已。

例如，假設根據(jù)AI解析大數(shù)據(jù)（購買記錄等）的結(jié)果，所明確的是，40歲出頭，單身，有工作，男性，傾向于每周在便利店購物消費從3 000日元到5 000日元。據(jù)此，確實，屬于“40歲出頭，單身，有工作，男性”這一“片區(qū)”（具有共通屬性的集團）者，可以說有著這樣的普遍傾向。但是，屬于此類片區(qū)者，在實際上應該包含著各種各樣的人（這與構(gòu)成了“日本人”的集團中也有著各種各樣的“個人”是相同道理）。例如，屬于以上片區(qū)的人員中，或許也有人有著過去被誤認在便利店偷竊的特殊經(jīng)歷，受此心理創(chuàng)傷后再也不去便利店。并且，在同樣有著屬性的人之中，嚴格說來，會有人有正在交往的女性，也會有人沒有，即使在前者之中，在傾向于和何種年齡層次的女性交往上也存在不同的可能性。基于“片區(qū)”的預測評價，則會削減掉這些個人之間的具體差異，而絕非著眼于“個人”本人。當然，輸入的數(shù)據(jù)量越大，片區(qū)就越細分化，個人之間的具體差異性就會更加得到斟酌，但即便如此，作為現(xiàn)實存在的——無可替代的——個人，無論如何都無法被還原成作為屬性集合的“片區(qū)”。18

如果只是根據(jù)AI基于片區(qū)的概率性評價來判斷個人的能力和信用力的話，根據(jù)“在屬性，，，……上有著共通的集團”的普遍傾向，就會對該個人的能力等作出概括的、抽象的判斷。這恐怕就明顯地有著類似于前近代評價手法的一方面，即根據(jù)身份與職業(yè)這樣的集體屬性來概括地、抽象地判斷個人能力，預先對其生活方式作出規(guī)定。如若這樣思考的話，AI的預測評價，根據(jù)其方法，就會與作為近代憲法原則規(guī)范的個人尊重原理相矛盾吧。否定了近代憲法原則規(guī)范，要求具體地——即花費時間和成本——考慮每一個人的情況（這里所談的集團主義，并非是以身份或人種那樣的概括性集團為標準。在此，是由以多種屬性相組合而勾勒出的無數(shù)的微細型“集團（segement）”為標準。在這種意義上，或許稱之為“新集團主義”或“片區(qū)主義”較為合適。但是，關(guān)鍵點在于，和傳統(tǒng)的集團主義一樣，這也是根據(jù)集團屬性來對個人進行概括性地評價）。

2．個人尊重原理的制度化實現(xiàn)

筆者目前有著“根據(jù)其方法”所做的保留，相關(guān)理由包括如下。

如果不將AI的預測評價，作為對個人能力等的最終評價，而是在程序上加入（人工的）意思決定權(quán)者批判性地對AI預測進行斟酌評價的機會，以及被評價者就相關(guān)預測評價提出異議的機會的話，如此就能夠防止根據(jù)集團屬性來對個人作出概括性的評價（毋寧是說，通過確保此種程序，或許能克服人類固有的偏見，以作出更為公正的評價）。實際上，2018年5月開始實施的歐盟《通用數(shù)據(jù)保護條例》（General Data Protection Regulation，GDPR）在第22條第1項中，針對作為被評價人的個人，認可其有權(quán)反對此類決定：只是根據(jù)AI的預測評價來自動處理，對本人產(chǎn)生了法律影響或類似重要影響的決定。因此，在歐盟，在雇傭以及信貸等場合，不能僅僅依靠AI的預測評價來判斷個人是否符合。GDPR雖然在本人明確同意時，認可企業(yè)可以例外地僅由自動處理來作出特定的決定，19但也規(guī)定，即使在這種情況下，企業(yè)也必須采取適當措施來保障作為被評價者的個人權(quán)利、自由，至少必須保障獲得人工干預的權(quán)利、表明自我見解的權(quán)利、就決定提出異議的權(quán)利（第22條第3項）。可以這么理解，在上述歐盟的框架內(nèi)，基于片區(qū)而對個人作自動“分類”被視為違反了個人尊重原理，法律要求的是，最終由人來面對每一位被評價者，側(cè)耳傾聽他們發(fā)出的聲音。

另外，美國也通過判例法，承認了有權(quán)不僅僅根據(jù)AI的預測評價來作出重要決定。在美國，包括威斯康星州在內(nèi)的一些州，法官在量刑判斷時，會利用算法來作再犯風險的預測評價。202016年，威斯康星州最高法院，就量刑判斷時利用算法來預測評價的合憲性，作出了重要的憲法判斷。21在State v. Loomis的案件中，威斯康星州根據(jù)所采用的預測評價系統(tǒng)（被稱為COMPAS）22判處黑人被告人有期徒刑6年，并處5年的延長考察期。被告人則主張，根據(jù)無法保證正確性也不具備驗證可能性的系統(tǒng)所作出的再犯風險預測評價，侵害了其受憲法所保障的正當法律程序權(quán)利。在此會產(chǎn)生很多問題，23比如以交易秘密為理由導致算法被黑箱化，無法說明作出此種預測評價的“理由”；相關(guān)評價只是預測具有同樣屬性者實施再犯的一般可能性，而非預測當該被告人實施再犯的具體可能性；該系統(tǒng)還存在著種族歧視傾向，即將黑人再犯的風險率估算為白人的兩倍。威斯康星州最高法院在該案中，雖然裁定法官在量刑判斷之際利用算法來預測評價的做法符合憲法，不過重要的是在就其利用上附加了以下“條件”。

第一點，根據(jù)COMPAS的預測評價，法官不能將之作為最終評價來考慮，終究只是將之作為判斷的材料之一。

第二點，從憲法上正當程序的觀點出發(fā)，預測評價必須要對法官就以下幾點作出書面警示。（1）因COMPAS的知識產(chǎn)權(quán)性質(zhì)，導致在其算法之中有關(guān)諸多要素是如何被考慮，進而如何導出預測評價的詳細信息，無法得到公開。（2）關(guān)于預測評價的有效性，只以威斯康星州的人口構(gòu)成為前提的調(diào)查，尚未完成。（3）不少研究調(diào)查，針對將少數(shù)族群歸類為再犯風險更高者，提出了憂慮。也可以這么理解，通過向法官警示COMPAS所作預測評價的不完整性，要求法官秉持懷疑預測評價的觀點，冷靜地側(cè)耳傾聽被告人自身所言的故事。

綜上所述，可以認為，美國以憲法上正當程序為根據(jù)，也在判例法上承認了歐盟GDPR所保障的類似權(quán)利。也就是說，有權(quán)不只根據(jù)AI基于集團屬性所作的預測評價來作出人生的重要決定。歐美的這種潮流，體現(xiàn)了想要把AI的預測評價和個人尊重原理相和諧地實施的某種“方法”，意義深遠。但是，就像《哈佛法律評論》上對Loomis案判決所作匿名評釋所指出的那樣，即使在形式上提倡不能將AI的預測評價作為最終評價，但人工的意思決定權(quán)者，恐怕實際上很難批判性地斟酌此種評價。24西特倫（Danielle Citron）也指出了同樣的困難性。25他認為，人類會抱有“自動化偏見”，即過于相信電腦自動化地判斷，盲從其判斷。

如此的話，為了實質(zhì)地保障上述權(quán)利，一般認為不可欠缺的是，第一，對人工的意思決定權(quán)者的啟發(fā)、教育；第二，確保算法的透明性。關(guān)于第一點，像Loomis案判決所要求的那般“書面警示”，恐怕并不充分。算法也可能會混入錯誤和偏見（參照第本章第一部分），其預測評價也只是基于片區(qū)所作的概率性評價而已。關(guān)于這一點，必須要充分地告知人工的最終意思決定權(quán)者。關(guān)于第二點，為了能夠讓人工的最終意思決定權(quán)者能夠批判性地斟酌AI所作預測評價，對被評價者能夠說明決定的理由，以及為了讓被評價者一方也能夠就AI所作預測評價提出實質(zhì)的反駁，恐怕就要公開算法邏輯的重要部分。即使被評價者對最終決定抱有不滿，若是完全不知悉算法邏輯，就無法提出有效的反論，只能忍氣吞聲。并且，算法的完全黑箱化，由于并未向被評價者告知為何獲得較低評價的原因，這也將在實質(zhì)上剝奪他們再挑戰(zhàn)的機會。這也將導致，一旦被AI打上了“不合格”烙印，這些人連理由都不知曉，就會被社會持續(xù)地排除。他們就會被扔進邁爾—舍恩伯格（Viktor Mayer-Sch?nberger）所講的“名喚概率之牢獄”，26筆者所講的“虛擬貧民窟”27之中。在這一點上，值得注目的是GDPR的規(guī)定：在企業(yè)者依據(jù)AI的預測評價來作出決定時，“為了確保公正與透明性”，要求企業(yè)者一方要告知相關(guān)預測評價的“具有邏輯相關(guān)意味的信息”（第13條第2項f）。28

另外，也有理由認為，AI的預測評價，“根據(jù)其方法”，不會與個人尊重原理相矛盾。如前所述，若是數(shù)據(jù)輸入越多，片區(qū)就越來越細致，即使不能做到100%，也可以相當正確地接近每一個人的實態(tài)。若是考慮在“40歲出頭，單身，有工作，男性”這樣的片區(qū)之上，再加上“住在某某地區(qū)，年收入約多少日元，養(yǎng)貓，某某大學畢業(yè)，喜歡爵士音樂”等屬性，片區(qū)就會相當?shù)募毼⒒咏咏凇皞€人”的實態(tài)。根據(jù)此種片區(qū)所得出的預測評價，似乎可謂是將被評價者“作為個人”而尊重。通過綜合地考慮個人的多樣要素，或許會產(chǎn)生出相比滿懷偏見的人類所為模擬評價，更為正確且公正的結(jié)果。

雖然此種方向性，就其在某種程度上抑制了AI預測評價所伴隨的集團主義要素這一點上，確實可謂是對個人很友善，但卻有可能歸結(jié)到“零隱私狀態(tài)”，就這一點上來說，作為消解與個人尊嚴原理發(fā)生矛盾時的方法，可謂是有著局限性。這與下述內(nèi)容也有關(guān)聯(lián)，在此存在著AI社會中極為重要的難關(guān)。也就是說，如果增加數(shù)據(jù)輸入以提高預測精度，減少集團主義要素，則會產(chǎn)生喪失隱私的問題。簡單地講，“為了更多地了解我‘自己’，就必須更多方面地來觀察我”。也就是說，個人為了更好地被關(guān)懷到，就必須讓渡出隱私。例如，基于所謂和個人能力相關(guān)的理由，可以想象的是，甚至像個人所發(fā)聲的音調(diào)以及行動、動作這樣的無意識行動也會被收集，作為預測評價的基礎(chǔ)。在這種情況下，個人能力則由那些無法通過自身“意思”來選擇、修正的事項（無意識行動）所評價，將會遭受不利益。這恐怕也將摧毀個人尊嚴原理的第三層（尊重自律，或自我決定原理乃至責任主義）（參照前文）。就此點而言，似乎有必要來定義AI不應查看——不應作為預測評價的基礎(chǔ)——的屬性信息，若是如此，片區(qū)就不得不在程度上粗糙化，導致集團主義要素再度增強。這似乎也明顯地體現(xiàn)出，正確把握“個人”（提高預測精度）與隱私之間存在緊張關(guān)系，如何平衡好兩者則是重要的法政策課題。

綜上所述，針對AI的預測評價，本部分就其根據(jù)片區(qū)所形成“集團”的一般傾向來對個人作出概括的、武斷的評價這一點上，指出其有著與個人尊重原理（第二層）相矛盾的一面，闡明了回避此種矛盾的方法及其課題。

（三）“過去”的拘束

第三種可能會與個人尊重原理（第二層）相矛盾、抵觸的情形的是，如之前略作觸及的那樣，隨著提高預測精度變得至關(guān)重要，對AI的數(shù)據(jù)供給變得不受限制的情形。如上所述，AI預測精度與數(shù)據(jù)量之間存在著比例關(guān)系，數(shù)據(jù)量如果增加，預測精度就會上升，數(shù)據(jù)量如果減少，預測精度就會下降。因此，在重視增加預測精度的AI社會中，盡可能地收集、保存與個人相關(guān)的數(shù)據(jù)以作為預測評價基礎(chǔ)的此種方針——趨向于零隱私狀態(tài)——即屬“自然”。但是，這種“自然”傾向，在與個人尊重原理的關(guān)系上，就有著像下面這樣的問題。

首先是關(guān)于污名的問題。個人尊重原理，也被認為是從污名之中得到解放的保障。曾因違反了某種規(guī)則或戒律，一度被刻印上污名者——霍桑小說《紅字》（The Scarlet Letter）中，犯有通奸罪的海斯特白蘭一生都必須身著被縫上象征蕩婦（Adulteress）的A字的衣服，不管如何懺悔其罪行，想要洗心革面，但因污名之故卻遭阻礙。針對這種在后天所刻印的污名來苛責某個人的一生，不論此人的“再生”能力，剝奪了此人改過自新機會的做法，應被憲法上的個人尊重原理所禁止。例如，在接受有罪判決而服刑結(jié)束者，隱藏此事實遷居他鄉(xiāng)（從沖繩到東京），結(jié)婚成家，以巴士司機的身份開始了新的人生，卻被某個非虛構(gòu)作品實名公布、暴露了前科——污名——的案件中，29最高法院裁定此種公布行為對隱私造成了侵害。最高法院在判決中指出，即使是曾經(jīng)實施了犯罪之人，“在接受有罪判決或結(jié)束服刑后，也被期待作為一位市民復歸社會，因此該人享有不被妨礙改過自新的利益，而公開其前科相關(guān)事實，會有害于重新形成的社會生活的平穩(wěn)”，隱含《憲法》第13條的個人尊重原理，30認可了隱藏污名，重來人生的自由。該判決的調(diào)查官解說也指出，“在犯罪者真摯地致力于改過自新之際，公開前科妨礙改過自新，此系顯而易見之道理，因此在抽象上而言，姑且不談保持或恢復其隱私性之時間，有必要以法來保護前科不被公開之利益，就此并無異議”。31

AI社會的“自然”傾向，就會與此種判例法理相矛盾。這是因為，由于數(shù)據(jù)量與AI預測評價的精度之間存在著比例關(guān)系，AI并不會去“忘卻”反而會記住被評價者的過去，只要與評價事項有關(guān)，就會有很大可能來繼續(xù)使用。因此，污名不是刻印在當該個人的身體上，而是刻印在此人的數(shù)據(jù)檔案上（數(shù)據(jù)污點），將會繼續(xù)妨害此人的改過自新。在AI社會中，即使是過去的污點，只要與評價事項相關(guān)就會被繼續(xù)使用，此屬“自然”之事，但這卻讓隱藏污點，重新來過人生這件事變得極其困難。在這一點上，重要的恐怕就是，以個人尊重原理為根據(jù)，允許有權(quán)使AI忘卻特定“過去”（刪除權(quán)）（關(guān)于這一點，值得注目的是，GDPR第17條保障了刪除權(quán)）。

其次，AI社會的“自然”傾向，也會導致如下事態(tài)，個人會被基于自身意思無法選擇、修正的要素所區(qū)別開來，以評價其能力等。例如，有關(guān)遺傳信息以及家族、血緣者生活方式的信息，或許確實能夠構(gòu)成正確預測個人能力以及健康狀態(tài)的重要信息，但若是無限制地認可使用此類信息，恐怕本人就會因為這些本人無法控制的情況——“出生”——而遭受到不利益。日本最高法院，就民法中基于子女地位是否婚生而區(qū)分遺產(chǎn)繼承份額的規(guī)定，從“應將子女作為個人來尊重，保障其權(quán)利”的觀點出發(fā)，指出“不允許以（子女）自身無法選擇、毫無修正余地之事項（非婚生之地位）為理由，對子女造成不利益”，裁定該規(guī)定違反憲法。32這一道理，恐怕也適用于AI預測評價中對遺傳信息的使用。為了將被評價者“作為個人”而尊重，即便是被認為確與評價事項相關(guān)，但屬本人毫無選擇余地的遺傳信息以及父母信息，應該在原則上被禁止利用。

由上所見，AI若是不注意其操作，就可能會導致一個固定的社會，在這個社會中，個人因為那些自身并不負有責任的屬性，或是因為只是一度的過失，就在生活方式上受到了極大的限制。無需贅言，這會與憲法所言的個人尊重原理（第二層）相矛盾。