第三節(jié) 觀察信度的檢驗(yàn)

通過觀察和記錄所獲得的行為資料的可靠性，將會(huì)直接影響到行為評(píng)估的結(jié)果，以及對(duì)行為改變所取得的結(jié)果的解釋。引起觀察結(jié)果發(fā)生誤差的最主要因素是如前所述的觀察時(shí)的影響因素，當(dāng)然也可能有記錄方法不當(dāng)?shù)仍颉Ｒ虼藶榱藴p少誤差，提高觀察及其結(jié)果記錄的準(zhǔn)確性，在觀察記錄過程中常采取一些特別措施。對(duì)觀察及其結(jié)果記錄進(jìn)行檢驗(yàn)就是一種行之有效的辦法，也就是人們常說的觀察信度檢驗(yàn)法。所謂觀察信度，是指觀察所得結(jié)果的可靠性。

一、常用的觀察信度檢驗(yàn)方法

一般認(rèn)為，觀察研究的信度包括三種類型，即：一致性系數(shù)（coefficient of observer agreement）、穩(wěn)定系數(shù)（stability coefficient）和信度系數(shù)（reliability coefficient）。一致性系數(shù)是指不同觀察者同時(shí)觀察同一行為，觀察結(jié)果一致的情況，穩(wěn)定系數(shù)是指同一觀察者在不同時(shí)間內(nèi)觀察的符合度，信度系數(shù)是指不同觀察者在不同時(shí)間內(nèi)觀察的符合度。

計(jì)算以上任何一種信度都可檢驗(yàn)觀察的可靠性。雖然也有些研究者認(rèn)為增加觀察的次數(shù)比增加觀察的人數(shù)更合理，但是一般情況下，表示不同觀察者同時(shí)觀察的一致性系數(shù)用得最多。要想在觀察中獲得一致性系數(shù)就需要兩個(gè)人在同一個(gè)觀察階段中各自獨(dú)立地觀察和記錄相同主體的相同的目標(biāo)行為，然后比較兩個(gè)觀察者的記錄結(jié)果，并計(jì)算兩個(gè)人記錄結(jié)果中相同部分的比例。相同部分的比例越高，說明兩人的記錄一致性越高。這表明對(duì)目標(biāo)行為的定義清楚、客觀，而且觀察者們正確地應(yīng)用了記錄方法。

兩人的觀察可以運(yùn)用核對(duì)觀察法和同時(shí)性觀察法。核對(duì)觀察法就是在評(píng)估行為的過程中，除了由一位觀察者每天觀察與記錄外，再安排一位核對(duì)者每周抽樣進(jìn)行2～3次的核對(duì)觀察，進(jìn)而查核兩位觀察者的觀察結(jié)果是否完全吻合。同時(shí)性觀察法就是每天每次在同一觀察時(shí)間段內(nèi)，安排兩位觀察者同時(shí)進(jìn)行觀察，并分別記錄觀察結(jié)果，然后計(jì)算兩人觀察結(jié)果的一致性。這是最理想的做法，但由于增加了人手，就多耗時(shí)費(fèi)工，因此只有在條件允許的情況下實(shí)施。

二、觀察信度的計(jì)算方法

在行為改變技術(shù)中，觀察和記錄的目的是為了制定行為改變方案。但是，行為改變方案的執(zhí)行是否有成效，是通過比較方案實(shí)施前后所得的行為資料來確定的。因此，所獲得行為資料的可靠性如何，將直接影響到輔導(dǎo)結(jié)果的解釋。為了提高觀察結(jié)果的準(zhǔn)確性，除了盡量避免會(huì)影響觀察與記錄結(jié)果的不良因素，運(yùn)用兩人以上對(duì)同一行為進(jìn)行觀察與記錄外，還應(yīng)當(dāng)對(duì)他們觀察與記錄信度進(jìn)行正確的計(jì)算，也就是應(yīng)學(xué)會(huì)如何計(jì)算觀察者間信度（IOR）。獲得觀察者間信度是行為研究中很重要的一個(gè)環(huán)節(jié)。在科學(xué)研究中，可以接受的最低IOR值是80％，如果可以達(dá)到90％以上則更為理想。

一般說來，觀察者間信度常采用兩種主要計(jì)算方法來檢驗(yàn)：一是粗略的信度計(jì)算法；二是逐距核對(duì)信度計(jì)算法。

（一）觀察者間粗略信度計(jì)算法

觀察者間粗略信度的計(jì)算，就是將兩人觀察的結(jié)果中的較少次數(shù)（或時(shí)間、強(qiáng)度）除以較多次數(shù)（或時(shí)間、強(qiáng)度），再乘以百分之百，得出兩人觀察結(jié)果的一致百分率，以此來說明兩位觀察者間的信度。

如果兩位觀察者的觀察結(jié)果完全一樣，則二者的觀察一致性是1.0或是100%。例如，記錄一位智障兒童在每節(jié)課時(shí)間內(nèi)“亂發(fā)怪聲”的行為次數(shù)。根據(jù)甲觀察員的記錄，在周一上午10：00～10：40的觀察時(shí)間內(nèi)，被觀察者共發(fā)出17次怪聲；但根據(jù)乙觀察員的記錄結(jié)果，只有15次怪聲，二者觀察結(jié)果的一致性只有88%（15/17×100%=88%）。

粗略信度計(jì)算法的優(yōu)點(diǎn)是較為簡(jiǎn)便，易于掌握，計(jì)算十分簡(jiǎn)單便利；其缺點(diǎn)是不夠精確，檢驗(yàn)得出的結(jié)果往往難以反映出兩位觀察者記錄到同一事件的真實(shí)次數(shù)及其比率。因此，粗略信度檢驗(yàn)法并非計(jì)算信度的最佳方法。

因此，如果采取粗略的信度計(jì)算方式，研究者只知道在40分鐘的觀察里，甲觀察者所得結(jié)果是17次，乙觀察者是15次，二者的觀察一致性是88%。但事實(shí)上真實(shí)發(fā)出怪聲的次數(shù)是20次（用錄音機(jī)或錄影機(jī)記錄的結(jié)果），甲觀察者記錄到17次，故其一致性是85%；乙觀察者更差，僅記錄到15次，其一致性是75%。

在一般觀察情境里，研究者似乎無法一一架設(shè)各種記錄儀器（如錄音機(jī)、錄影機(jī)或攝影機(jī)等），所以真實(shí)的行為次數(shù)也就無法獲知，因此一般不采用真實(shí)的信度計(jì)算方式。為了克服和避免粗略信度計(jì)算法的不足，可用逐距核對(duì)信度計(jì)算法來計(jì)算。

（二）逐距核對(duì)信度計(jì)算法

逐距核對(duì)信度計(jì)算法是建立在運(yùn)用“時(shí)距記錄表格”的基礎(chǔ)上的，通常由甲、乙兩位觀察者分別逐一記錄在每一個(gè)小時(shí)段內(nèi)目標(biāo)行為是否發(fā)生，然后核對(duì)兩位觀察者記錄一致和不一致的次數(shù)，最后按照以下公式計(jì)算觀察一致性百分率。

逐距核對(duì)計(jì)算法可以計(jì)算：①發(fā)生次數(shù)信度系數(shù)；②未發(fā)生次數(shù)信度系數(shù)；③發(fā)生與否判斷一致百分率。

1.發(fā)生次數(shù)信度系數(shù)的計(jì)算

發(fā)生次數(shù)信度系數(shù)以計(jì)算兩位觀察者同時(shí)記錄目標(biāo)行為發(fā)生次數(shù)的判斷一致性百分率來表示，通常稱為“發(fā)生次數(shù)一致性百分率”。

2.未發(fā)生次數(shù)信度系數(shù)的計(jì)算

未發(fā)生次數(shù)信度系數(shù)是以計(jì)算目標(biāo)行為未發(fā)生次數(shù)的判斷一致性百分率來表示，通常稱之為“未發(fā)生次數(shù)一致性百分率”，其計(jì)算公式為：

3.發(fā)生與否判斷一致性百分率的計(jì)算

在計(jì)算“觀察者間信度”時(shí)，研究者所重視的資料是不同觀察者的判斷一致性多高，也就是在特定的觀察時(shí)段內(nèi)，究竟目標(biāo)行為是“發(fā)生”了，還是“未發(fā)生”。如果兩位觀察者在某一觀察時(shí)段內(nèi)，均判斷目標(biāo)行為“未發(fā)生”，就屬“判斷一致”。

說明：O代表甲、乙觀察者判斷目標(biāo)行為發(fā)生的一致性次數(shù)；

N代表甲、乙觀察者判斷目標(biāo)行為未發(fā)生的一致性次數(shù)；

T指事先劃定的觀察小時(shí)段數(shù)。

（摘自Tawney & Gast.單一受試研究法.臺(tái)北：五南圖書出版公司.1984.）

三、提高觀察信度的有效途徑

觀察信度是根據(jù)觀察與記錄的內(nèi)容來計(jì)算的。因此，要提高觀察信度，最主要的是，應(yīng)避免觀察與記錄中可能出現(xiàn)的誤差。因此，首先，應(yīng)提供清楚、完整、具體的目標(biāo)行為的操作定義，從而促使不同觀察者觀察時(shí)的個(gè)體傾向和選擇性知覺趨于一致。其次，記錄任務(wù)應(yīng)盡可能容易、簡(jiǎn)單，這樣就使觀察者的注意力容易集中于觀察目標(biāo)行為。此外，還要通過訓(xùn)練觀察者正確有效地觀察來提高觀察信度。

總而言之，行為改變方案的實(shí)施與成效評(píng)估，完全建立在行為資料的收集、記錄以及分析比較，因此觀察與記錄過程一定要力求客觀、準(zhǔn)確。

第四節(jié) 行為評(píng)估

通過觀察及其他方式收集到的行為資料還要經(jīng)過行為評(píng)估，才能運(yùn)用到行為改變技術(shù)中去。行為評(píng)估貫穿于行為改變技術(shù)實(shí)施的全過程。從問題行為是否存在的確定，到對(duì)問題行為進(jìn)行干預(yù)的方法的選擇；從對(duì)階段目標(biāo)行為達(dá)到與否的判定，到對(duì)于整個(gè)干預(yù)效果的評(píng)價(jià)，每一個(gè)環(huán)節(jié)都離不開行為評(píng)估。因此，行為改變技術(shù)的實(shí)施必須以行為評(píng)估為基礎(chǔ)。

一、行為評(píng)估概述

為了培養(yǎng)良好行為或進(jìn)行問題行為的矯正而實(shí)施行為改變技術(shù)所進(jìn)行的評(píng)估，是一個(gè)通過測(cè)量、觀察、訪談等途徑，系統(tǒng)收集所要改變的目標(biāo)行為的有關(guān)信息，以便對(duì)行為改變措施做出正確決策以及對(duì)個(gè)案行為改變的效果進(jìn)行評(píng)價(jià)的過程。評(píng)估貫穿著行為改變技術(shù)實(shí)施的全過程，也就是說，評(píng)估既要在行為改變之前，針對(duì)目標(biāo)行為進(jìn)行；也要在行為改變過程中，對(duì)階段性目標(biāo)進(jìn)行；更要對(duì)總體目標(biāo)完成情況進(jìn)行。

外顯的行為是指有機(jī)體運(yùn)動(dòng)、站立、抓物、推拉、發(fā)聲、姿勢(shì)等外部的、可觀察到的行為表現(xiàn)。行為評(píng)估中一般不考慮內(nèi)部的心理狀態(tài)，只強(qiáng)調(diào)外部可見的行為。也就是說行為評(píng)估的任務(wù)側(cè)重于行為的描述、評(píng)估和確定控制該行為的環(huán)境變量，選擇適當(dāng)?shù)男袨楦淖兗夹g(shù)策略，塑造良好行為，評(píng)價(jià)改變效果。

在行為改變技術(shù)中，對(duì)目標(biāo)行為的測(cè)量稱為行為評(píng)估。行為評(píng)估在行為改變技術(shù)研究中具有重要意義：第一，在實(shí)施行為改變技術(shù)方案前進(jìn)行行為評(píng)估，有助于確定實(shí)施行為改變是否有必要。第二，行為評(píng)估提供的信息，有助于選擇最佳的行為改變方案。第三，行為方案實(shí)施前后的行為對(duì)比評(píng)估，有助于了解行為改變技術(shù)實(shí)施的效果。

行為評(píng)估的目的在于：①確定問題是否存在；②確定問題行為如何表現(xiàn)；③在確定前面兩個(gè)問題的基礎(chǔ)上組織系統(tǒng)的行為改變計(jì)劃。

二、行為評(píng)估的形式

行為評(píng)估主要是對(duì)可觀察行為的綜合評(píng)價(jià)，其理論基礎(chǔ)是行為主義理論，強(qiáng)調(diào)對(duì)行為或癥狀本身的測(cè)量和治療。行為評(píng)估的形式豐富多樣，從不同的角度可以劃分為不同的方式：有正規(guī)評(píng)估也有非正規(guī)評(píng)估，有直接評(píng)估也有間接評(píng)估，有自評(píng)也有他評(píng)，還有數(shù)量化評(píng)估和非數(shù)量化評(píng)估以及診斷性、形成性與總結(jié)性評(píng)估等。

（一）正規(guī)評(píng)估與非正規(guī)評(píng)估

從行為評(píng)估所使用的工具來劃分，可以分為正規(guī)評(píng)估和非正規(guī)評(píng)估。正規(guī)評(píng)估是指采用一些結(jié)構(gòu)程序或標(biāo)準(zhǔn)化測(cè)驗(yàn)，將研究對(duì)象某方面的行為表現(xiàn)情況與標(biāo)準(zhǔn)對(duì)照，得出評(píng)估結(jié)果。研究者可以在初步確定研究對(duì)象具有某種問題行為的基礎(chǔ)上，運(yùn)用相關(guān)的標(biāo)準(zhǔn)化測(cè)驗(yàn)進(jìn)一步驗(yàn)證該行為是否明顯存在。如通過初步的資料收集，顯示某學(xué)生具有攻擊性行為，這時(shí)就可運(yùn)用《兒童行為核查表（Child Behavior Checklist，CBCL）》進(jìn)一步核實(shí)該生是否具有明顯的攻擊行為。由于有常模可以參照，正規(guī)評(píng)估比較容易看出研究對(duì)象在同齡群體中所處的位置，也比較客觀。非正規(guī)評(píng)估是指使用除了有常模的標(biāo)準(zhǔn)化測(cè)量工具之外的所有方法，對(duì)研究對(duì)象的行為特點(diǎn)進(jìn)行評(píng)價(jià)。主要包括對(duì)一系列行為特征的觀察、作品的樣本分析、訪談等。

（二）直接評(píng)估與間接評(píng)估

從評(píng)估過程參與者的角度劃分，可以分為直接評(píng)估和間接評(píng)估。直接評(píng)估，是指在個(gè)體目標(biāo)行為發(fā)生的同時(shí)，對(duì)其進(jìn)行觀察和記錄。如當(dāng)一位老師在學(xué)校對(duì)操場(chǎng)上某個(gè)性格內(nèi)向孤僻的孩子進(jìn)行觀察，并對(duì)他的每項(xiàng)社交活動(dòng)進(jìn)行記錄時(shí)，他所使用的就是直接評(píng)估。本章一、二節(jié)中介紹的行為觀察與記錄法，就是運(yùn)用的直接評(píng)估。但是，為了全面了解目標(biāo)行為的各種情況，有時(shí)也用間接評(píng)估，為目標(biāo)行為的評(píng)估提供更多的信息。間接評(píng)估包括使用行為訪談法、自我報(bào)告法、行為問題核對(duì)表法等形式，從行為人或其他人（如父母、老師、朋友或同事）那里取得目標(biāo)行為的信息。如當(dāng)研究者向任課老師了解某個(gè)孩子在操場(chǎng)上和其他孩子有多少交往時(shí)，他所使用的就是間接評(píng)估。對(duì)目標(biāo)行為使用直接評(píng)估的測(cè)量結(jié)果往往要比使用間接評(píng)估得到的結(jié)果準(zhǔn)確。因?yàn)槭褂弥苯釉u(píng)估的觀察者受過專門的觀察與記錄訓(xùn)練，能在目標(biāo)行為出現(xiàn)的第一時(shí)間對(duì)其進(jìn)行觀測(cè)和記錄。而間接評(píng)估中，有關(guān)目標(biāo)行為的信息獲取主要依靠評(píng)定人以外的他人的記憶，其記憶的準(zhǔn)確性本身就是一個(gè)問題。另外，提供信息的人也可能因未受過觀察訓(xùn)練而錯(cuò)過許多細(xì)節(jié)方面的問題，對(duì)目標(biāo)行為的判斷是否準(zhǔn)確是一個(gè)更大的問題。所以說，間接評(píng)估實(shí)際上是建立在有關(guān)目標(biāo)行為的不完整信息基礎(chǔ)上的，因此大部分的行為改變技術(shù)的研究和應(yīng)用都依賴于對(duì)目標(biāo)行為的直接評(píng)估。