1.3 社會調查研究的質量評價

1.3.1 經典測驗理論

經典測驗理論（Classical Test Theory，CTT）是以真分數理論為核心假設的測量理論，也稱真分數理論。

經典測驗理論將觀測值的數學期望稱為真分數。即對某一研究對象的社會特征，采用同一量表進行充分多次的反復觀測并記錄，將所獲得的觀測值的數學期望定義真分數。由此可見，所謂的“真分數”并不是社會調查研究對象某一社會特征客觀數值的“真實”度量，“真分數”只是借助數學期望的計算，剔除了觀察值中的隨機性測量誤差，而不能剔除非隨機性的系統(tǒng)性誤差。因此，在觀測值存在系統(tǒng)性誤差的場合，真分數是社會調查研究對象某一社會特征的真實度量與系統(tǒng)性誤差之和。

經典測驗理論將通過社會調查對某一具體研究對象的社會特征的觀測記錄所獲得的觀測值稱為觀測值或觀察分數，將觀測值或觀察分數與真分數之間的測量誤差稱為誤差分數，即將觀測值或觀察分數定義為真分數和測量誤差之和。真分數的誤差分數實質上就是隨機性誤差。

經典測驗理論認為要獲得對真實分數的值，就必須將測量的誤差分數從觀察分數中分離出來，即將測量的隨機性誤差從觀察值中分離出來。因此，經典測驗理論存在著三個基本假設。

假設一，觀測分數是真分數與誤差分數的和，即

其中，X表示觀測分數，T表示真分數，E表示誤差分數。

假設二，誤差分數E為服從于數學期望為0正態(tài)分布的隨機變量，對式（1.1）取數學期望，則有觀測分數X的數學期望為真分數T。

由假設二，即式（1.2）和式（1.3）可知，在對某一研究對象的社會特征進行充分多地反復觀測并記錄，其誤差分數E的數學期望為0，觀測分數X的數學期望即為真分數T。

由此，可知經典測驗理論中的誤差分數E僅僅為一隨機誤差，不包含系統(tǒng)性誤差，系統(tǒng)性誤差依然包含在真分數T之中。在社會調查研究中進行充分多的反復觀測并記錄，只能消除誤差分數E的隨機誤差，不能消除包含在真分數T之中的系統(tǒng)性誤差。

假設三，真分數T和測量誤差E之間相互獨立，各次平行的測量誤差E之間相互獨立。

其中，ρ表示相關系數。

在假設三，即式（1.4）和式（1.5）的基礎上，有觀測分數X的方差等于真分數T的方差與誤差分數E的方差之和，即

經典測量理論在真分數理論假設的基石上構建起了社會調查研究的相關概念，其中最重要的有信度和效度。

1.3.2 信度

信度（Reliability）是測量理論中的核心概念之一。信度是指社會調查活動測量的一致性程度或穩(wěn)定程度，也稱之為可靠性程度。信度可以具體表示為對某一研究對象的社會特征，采用同一量表反復觀測并記錄，包括在不同時間上的多次反復觀測記錄或者不同調查研究人員的多次反復觀測記錄，所獲得的資料結果之間的一致性。

例如，在一次社會調查中，同一個問題，相隔7天對同一個被調查者進行3次調查。第一次調查時，被調查者選擇A；第二次調查，被調查者選擇了C；第三次調查，被調查者選擇了D。這就說明該問題調查結果的信度低，因為多次重復調查結果的差異較大，假如這3次相隔7天的重復調查，同一被調查者都選擇相同的答案，可以說該社會調查或者調查結果的信度較高。

信度的大小用信度系數rXX來表示，一般采用以下3種定義。

定義1：同一量表反復觀測真分數方差與觀察分數方差之比。

定義2：同一量表反復觀測真分數與觀察分數的相關系數的平方。

定義3：同一量表反復觀測下不同觀察分數之間的相關系數的平方。

信度的估計方法一般有重測信度（Test-retest Reliability），復本信度（Alternate-form Reliability）、分半信度（Split-half Reliability）、同質性信度（Homogeneity Reliability），和評分者信度（Scorer Reliability）等。

顯然，信度建立在觀察分數和真分數基礎之上，所考量的是社會調查活動測量的隨機誤差，即誤差分數的相對大小。

1.3.3 效度

效度（Validity）是指社會調查測量的有效性程度，即對社會調查研究對象測量的精確程度，即社會調查活動測量的準確性。在一定程度上反映了社會調查活動測量的系統(tǒng)性誤差。因此，效度即準確度，是指社會調查測量工具或社會調查測量手段能夠準確、真實地度量所要測量的研究對象某一社會特征的程度。

效度既是對一個社會調查研究活動的有效性程度的度量和評價，也是對該社會調查成果，即調查資料準確性和正確性程度的評價標準。

任何一項社會調查研究的測量都不可能達到百分之百的準確，只能達到某種程度的準確。因此，效度只能是個相對的概念。

效度的估計方法一般有內容效度（Content Validity）、表面效度（Surface Validity）、結構效度（Construct Validity）和實證效度（Empirical Validity）。

1.3.4 信度與效度的關系

如果將社會調查研究活動過程及其研究結果達到了預期的目標，實現了對于某一社會現象的正確認識，結論具有科學價值，稱為社會調查研究的有效性，則信度是社會調查研究有效性的必要前提，沒有信度，社會調查研究有效性就不可能存在。但是，信度只是社會調查研究有效性的必要條件，而非充分條件。若社會調查研究有效則一定擁有信度，但有信度并不意味社會調查研究一定有效。效度則為社會調查研究有效性的充分條件，在社會調查研究既具有信度，又具有效度時，該社會調查研究則必然具有有效性。

因此，在社會調查實務中，應該把信度和效度兩者結合起來進行考察，信度和效度是度量任意一項社會調查研究活動過程及其研究結果的綜合測度。

圖1.3以直觀的圖示方式，粗略地描述了信度與效度的意義和關系。

在社會調查實務中，一項社會調查研究活動過程及其研究結果的信度高，社會調查研究的有效性未必高；信度是社會調查研究的有效性的必要條件，但不是充分條件。

結合真分數理論來觀察，信度所反映的是隨機性偏誤，是指可以借助充分多的觀察值的數學期望將其分離出來的，不包含在真分數之中的誤差；效度所反映的是非隨機的偏誤，是指不可以借助充分多的觀察值的數學期望將其分離出來的，不包含在真分數之中的系統(tǒng)性誤差。相對而言，信度的度量是直觀的、容易的；效度的度量是復雜的、困難的。

1.3.5 社會調查的誤差

社會調查研究對于客觀世界的認識過程建立在具體的調查資料基礎之上，調查資料的質量直接制約著社會調查研究的可信性和有效性。調查資料的誤差是指社會調查資料與研究對象客觀事實之間的差距，可以分為系統(tǒng)性誤差和隨機誤差兩類。

1. 系統(tǒng)性誤差

系統(tǒng)性誤差是指非隨機因素導致的系統(tǒng)性的偏倚，不會隨樣本容量的增大而減小，不會隨重復進行多次調查測量而減小。因此，即使在全面調查場合，在反復多次的重復調查中也會存在系統(tǒng)性誤差。因此，系統(tǒng)性誤差也稱為系統(tǒng)性偏倚，它是一種具有確定性偏誤傾向的誤差。

系統(tǒng)性誤差主要由以下一些原因所導致。

（1）調查測量的總體與研究對象不一致，這是導致系統(tǒng)性誤差的主要成因。通常由于調查的方案設計時的疏忽，調查測量總體的界定與研究對象的內涵存在差異；調查中出現的無回答；抽樣調查中抽樣框過于陳舊等形成的抽樣框偏誤；采取了隨意抽樣，街角調查等非隨機抽樣方法，等等。

（2）非隨機性的登記性誤差。例如，在調查測量時，被調查者或調查者為了規(guī)避隱私，追求利益，提供虛假信息等原因導致的主觀有意所為的登記性誤差；以及由于調查者專業(yè)性水平欠缺等原因導致的非主觀有意所為的登記性誤差。

（3）量表偏倚導致的系統(tǒng)性誤差。例如，調查問卷存在明顯的傾向性和導向暗示；調查問卷和測量量表具有明顯的缺陷等。

從理論上來說，一方面，系統(tǒng)性誤差是由于社會調查方法或者社會調查設計不當，由于人為的原因所導致的，屬于可以消除的調查誤差。但實際上，在任何一項社會調查研究中都不可能完全消除系統(tǒng)性誤差。例如，按照調查對象在理論上的概念內涵確定具體調查測量總體外延界定，要做到完全吻合，不重不漏是難以實現的；按照社會調查研究有關調查項目確定的指標來選擇具體的代理指標或測量量表，與抽象的理論界定之間總是存在這樣那樣的差異；在實施調查時無回答問題或多或少總會出現；在抽樣調查中，采用早先全面調查采集的數據構成的抽樣框不可避免地會與實際的調查總體存在不同之處?？偠灾?，社會調查研究活動中系統(tǒng)性誤差是始終存在的，只是大小程度不同而已。

另一方面，系統(tǒng)性誤差是一種偏倚，在出現系統(tǒng)性誤差的場合，不能夠通過重復進行多次調查測量，或者增大樣本容量，直至采用全面調查來減小系統(tǒng)性誤差數值水平，更不可能徹底消除系統(tǒng)性偏誤。

在經典測驗理論中的誤差分數僅僅為一隨機誤差，不包含系統(tǒng)性誤差。系統(tǒng)性誤差遺留在真分數T之中。因此，不能將誤差分數E等同于調查資料的誤差，在社會調查研究中僅僅考慮隨機誤差的誤差分數E；更不能將真分數T視同于研究對象客觀事實的真實特征，忽略系統(tǒng)性誤差。

2. 隨機誤差

隨機誤差是指由隨機因素導致的調查誤差，隨機誤差會隨重復進行多次調查測量而減小，在抽樣調查中會隨樣本容量的增大而減小。在一般場合，隨機誤差的數學期望為0，主要由抽樣調查中的抽樣誤差和隨機性的登記性誤差所導致。

（1）抽樣調查中的抽樣誤差，是指在進行抽樣調查時，由于使用樣本信息估計總體參數所產生的抽樣誤差。抽樣誤差是最典型的隨機誤差，也是社會調查中最主要的隨機誤差。在抽樣調查中，可以依據調查對象的分布特征，所采用的抽樣方法，估計出抽樣誤差數值水平；還可以依據抽樣調查的要求，通過計算出必要的樣本容量，將抽樣誤差控制在一定數值水平之內。采用抽樣調查不僅可以節(jié)省人力、物力和時間；還可以采用專業(yè)的調查人員進行資料的采集，降低系統(tǒng)性誤差，因此抽樣調查是開展社會調查研究的基本方法。

（2）隨機性的登記性誤差，是指在調查測量時，被調查者和調查者由于一些隨機性的擾動因素干擾所形成的誤差就是隨機性的登記性誤差。例如，個體情緒的波動，外界環(huán)境的差異，計量和測量誤差，登記過程中調查單位缺失、記錄失誤、抄錄錯誤、錄入差錯、匯總差錯等非主觀意識所導致的誤差。

在經典測驗理論中，采用誤差分數E表示隨機誤差，認為誤差分數E服從于數學期望為0的正態(tài)分布，這一假定構成了經典測驗理論對于調查誤差分析的主要內容。

隨機誤差是由于隨機性原因形成的誤差，它是服從于某一概率分布的隨機變量。根據中心極限定理，在大樣本場合，樣本均值趨于正態(tài)分布，當利用樣本信息推斷總體均值時，可以用樣本均值的標準差來度量這一隨機性誤差，并且進行區(qū)間估計，以及必要樣本容量的計算。