第2章 描述性統(tǒng)計與圖形繪制

2.1　定距變量的描述性統(tǒng)計、正態(tài)性檢驗和數(shù)據(jù)轉(zhuǎn)換

在進行數(shù)據(jù)分析時，當(dāng)研究者得到的數(shù)據(jù)量很小時，可以通過直接觀察原始數(shù)據(jù)來獲得所有的信息。但是，當(dāng)?shù)玫降臄?shù)據(jù)量很大時，就必須借助各種描述性指標(biāo)來完成對數(shù)據(jù)的描述工作。用少量的描述性指標(biāo)來概括大量的原始數(shù)據(jù)，對數(shù)據(jù)展開描述的統(tǒng)計分析方法被稱為描述性統(tǒng)計分析。變量的性質(zhì)不同，Stata描述性分析處理的方式也不一樣。本節(jié)將要介紹的描述統(tǒng)計分析方法包括定距變量的描述性統(tǒng)計、正態(tài)性檢驗和數(shù)據(jù)轉(zhuǎn)換等。下面一一介紹這幾種方法的應(yīng)用。

2.1.1　常用的描述性統(tǒng)計指標(biāo)的基本概念

1．均值、中位數(shù)、眾數(shù)、百分位數(shù)

（1）均值

Stata中的均值指的是簡單算術(shù)平均數(shù)，計算公式為：

（2）中位數(shù)

中位數(shù)是將整個統(tǒng)計變量的各個變量值按大小順序排列，處在數(shù)列中間位置的那個變量值就是中位數(shù)。在數(shù)據(jù)未分組的情況下，將各變量值按大小順序排列后，首先確定中位數(shù)的位置，可用公式確定，n代表總體統(tǒng)計變量的項數(shù)；然后根據(jù)中點位置確定中位數(shù)。有兩種情況：當(dāng)n為奇數(shù)項時，中位數(shù)就是位于中間位置的那個變量值；當(dāng)n為偶數(shù)項時，中位數(shù)就是位于中間位置的兩個變量值的簡單算術(shù)平均數(shù)。

（3）眾數(shù)

眾數(shù)是某一變量出現(xiàn)次數(shù)最多的樣本觀測值。

（4）百分位數(shù)

如果將一組數(shù)據(jù)從小到大排序，并計算相應(yīng)的累計百分位，則某一百分位所對應(yīng)數(shù)據(jù)的值就稱為這一百分位的百分位數(shù)。例如處于10%位置的值稱為第10百分位數(shù)。最為常用的是四分位數(shù)，指的是將數(shù)據(jù)分為4等份，分別位于25%、50%和75%處的百分位數(shù)。百分位數(shù)適用于定序數(shù)據(jù)及更高級的數(shù)據(jù)，不能用于定類數(shù)據(jù)。百分位數(shù)的優(yōu)點是不受極端值的影響。

2．方差、標(biāo)準(zhǔn)差、均值標(biāo)準(zhǔn)誤差

（1）方差、標(biāo)準(zhǔn)差

方差是總體統(tǒng)計變量中各個單位變量值與其算術(shù)平均數(shù)的離差平方的算術(shù)平均數(shù)，用2σ表示，方差的平方根就是標(biāo)準(zhǔn)差σ。與方差不同的是，標(biāo)準(zhǔn)差是具有量綱的，它與變量值的計量單位相同，其實際意義要比方差清楚。因此，在對社會經(jīng)濟現(xiàn)象進行分析時，往往更多地使用標(biāo)準(zhǔn)差。

方差和標(biāo)準(zhǔn)差的計算公式為：

在正態(tài)分布中，68%的個案在均值的一倍標(biāo)準(zhǔn)差范圍內(nèi)，95%的個案在均值的兩倍標(biāo)準(zhǔn)差范圍內(nèi)。例如，如果一組數(shù)據(jù)服從正態(tài)分布，且均值為100，標(biāo)準(zhǔn)差為10，則68%的個案將處于90~110，95%的個案將處于80~120。

（2）均值標(biāo)準(zhǔn)誤差

一個容易與標(biāo)準(zhǔn)差混淆的統(tǒng)計量是均值標(biāo)準(zhǔn)誤差，均值標(biāo)準(zhǔn)誤差是樣本均值的標(biāo)準(zhǔn)差，是描述樣本均值和總體均值平均偏差程度的統(tǒng)計量，也是表示抽樣誤差大小的指標(biāo)。

3．最大值、最小值、極差、變異系數(shù)

（1）最大值、最小值、極差

最大值即樣本數(shù)據(jù)中取值最大的數(shù)據(jù)，最小值即樣本數(shù)據(jù)中取值最小的數(shù)據(jù)。最大值與最小值的差即為極差，又稱范圍、全距，以R表示：

（2）變異系數(shù)

變異系數(shù)是將標(biāo)準(zhǔn)差或平均差與其平均數(shù)對比所得的比值，又稱離散系數(shù)。計算公式為：

Vσ和VD分別表示標(biāo)準(zhǔn)差系數(shù)和平均差系數(shù)。變異系數(shù)可用于比較不同數(shù)列的變異程度。其中常用的變異系數(shù)是標(biāo)準(zhǔn)差系數(shù)。

4．偏度、峰度

偏度是對分布偏斜方向及程度的測度，用來度量分布的不對稱性。正態(tài)分布是對稱的，偏度值為0。具有顯著正偏度值的分布有很長的右尾，具有顯著的負(fù)偏度的分布有很長的左尾。一般情況下，如果計算的偏度值超過其標(biāo)準(zhǔn)誤的兩倍，則認(rèn)為該組數(shù)據(jù)不具有對稱性。

偏度的計算公式為：

峰度是頻數(shù)分布曲線與正態(tài)分布相比較，其頂端的尖峭程度。在Stata中，正態(tài)分布的峰度統(tǒng)計量的值為2，大于2的峰度值表示相對于正態(tài)分布，觀測值更為集中在均值附近，體現(xiàn)為分布峰度更尖，尾部更薄。小于2的峰度值表示相對于正態(tài)分布，觀察值更為分散，分布峰度較低，尾部較厚。

峰度的計算公式為：

5．Z標(biāo)準(zhǔn)化得分

Z標(biāo)準(zhǔn)化得分是某一數(shù)據(jù)與均值的距離以標(biāo)準(zhǔn)差為單位的測量值。計算公式為：

Zi 即為Xi的Z標(biāo)準(zhǔn)化得分。標(biāo)準(zhǔn)化值不僅能表明各原始數(shù)據(jù)在一組數(shù)據(jù)分布中的相對位置，而且能在不同分布的各組原始數(shù)據(jù)之間進行比較，所以常用于統(tǒng)一量綱差距，在回歸分析、聚類分析中應(yīng)用較多。

2.1.2　定距變量的描述性統(tǒng)計

下載資源：\video\第2章\…

下載資源：\sample\第2章\數(shù)據(jù)2A

數(shù)據(jù)分析中的大部分變量都是定距變量，通過進行定距變量的基本描述性統(tǒng)計，我們可以得到數(shù)據(jù)的概要統(tǒng)計指標(biāo)，包括均值、最大值、最小值、標(biāo)準(zhǔn)差、百分位數(shù)、中位數(shù)、偏度系數(shù)和峰度系數(shù)等。數(shù)據(jù)分析者通過獲得這些指標(biāo)，可以從整體上對擬分析的數(shù)據(jù)進行宏觀把握，從而為后續(xù)進行更深入的數(shù)據(jù)分析做好必要的準(zhǔn)備。

關(guān)于定距變量的描述性統(tǒng)計，常用到summarize、tabstat、ci等操作命令。

summarize 命令的語法格式為：

summarize [varlist] [if] [in] [weight] [,options]

summarize的功能是計算并顯示各種單變量摘要統(tǒng)計信息。[varlist]為變量列表，如果沒有指定varlist，則計算數(shù)據(jù)集中所有變量的匯總統(tǒng)計信息。[if]為條件表達式，[in]用于設(shè)置樣本范圍，[weight]用于設(shè)置權(quán)重，[,options]用于設(shè)置可選項。summarize命令的[,options]可選項及其含義如表2.1所示。

tabstat命令的語法格式為：

tabstat varlist [if] [in] [weight] [,options]

tabstat的功能是在一個表中顯示一系列數(shù)字變量的匯總統(tǒng)計信息，允許用戶指定要顯示的統(tǒng)計信息列表，而且統(tǒng)計數(shù)據(jù)可以根據(jù)另一個變量來計算，所以在統(tǒng)計數(shù)據(jù)和表格格式方面都具有很大的靈活性。[varlist]為變量列表，如果沒有指定varlist，則計算數(shù)據(jù)集中所有變量的匯總統(tǒng)計信息。[if] 為條件表達式，[in]用于設(shè)置樣本范圍，[weight]用于設(shè)置權(quán)重，[,options]用于設(shè)置可選項。tabstat命令的[,options]選項及其含義如表2.2所示。

ci 的功能是計算總體均值、比例、方差和標(biāo)準(zhǔn)差的置信區(qū)間。命令包括5種，分別為：

均值的置信區(qū)間，正態(tài)分布：

ci means [varlist] [if] [in] [weight] [,options]

均值的置信區(qū)間，泊松分布：

ci means [varlist] [if] [in] [weight], poisson [exposure（varname） options]

比例的置信區(qū)間：

ci proportions [varlist] [if] [in] [weight] [,prop_options options]

方差的置信區(qū)間：

ci variances [varlist] [if] [in] [weight] [,bonett options]

標(biāo)準(zhǔn)差的置信區(qū)間：

ci variances [varlist] [if] [in] [weight], sd [bonett options]

下面以“數(shù)據(jù)2A”數(shù)據(jù)文件為例進行說明，在“數(shù)據(jù)2A”中設(shè)置了兩個變量，分別是province和amount，數(shù)據(jù)如圖2.1所示。

打開上述數(shù)據(jù)文件之后，在主界面的命令窗口中依次輸入以下命令：

summarize amount

本命令的含義是獲取amount變量的主要描述性統(tǒng)計量。在Stata 16.0主界面的結(jié)果窗口中可以看到如圖2.2所示的分析結(jié)果。通過觀察分析結(jié)果，我們可以對 amount變量的整體情況有一個初步的了解。從分析結(jié)果可以看出，有效觀測樣本共有31個，樣本的均值為1180.489，樣本的標(biāo)準(zhǔn)差是903.5561，樣本的最小值是17.6987，樣本的最大值是3609.642。

summarize amount,detail

本命令的含義是獲取amount變量的詳細(xì)統(tǒng)計量，分析結(jié)果如圖2.3所示。

（1）百分位數(shù)（Percentiles）

可以看出數(shù)據(jù)的第1個四分位數(shù)（25%）是550.1556，數(shù)據(jù)的第2個四分位數(shù)（50%）是891.1902，數(shù)據(jù)的第3個四分位數(shù)（75%）是1324.61。數(shù)據(jù)的百分位數(shù)的含義是低于該數(shù)據(jù)值的樣本在全體樣本中的百分比。例如，本例中25%分位數(shù)的含義是全體樣本中有25%的數(shù)據(jù)值低于550.1556。

（2）4個最小值（Smallest）

本例中，最小的4個數(shù)據(jù)值分別是17.6987、133.7675、337.2368、462.9585。

（3）4個最大值（Largest）

本例中，最大的4個數(shù)據(jù)值分別是3609.642、3313.986、2941.067、2471.438。

（4）均值（Mean）和標(biāo)準(zhǔn)差（Std. Dev）

與前面的分析結(jié)果一樣，樣本數(shù)據(jù)的均值為1180.489，樣本數(shù)據(jù)的標(biāo)準(zhǔn)差是903.5561。

（5）偏度（Skewness）和峰度（Kurtosis）

偏度的概念是表示不對稱的方向和程度。如果偏度值大于0，那么數(shù)據(jù)就具有正偏度（右邊有尾巴）；如果偏度值小于0，那么數(shù)據(jù)就具有負(fù)偏度（左邊有尾巴）；如果偏度值等于0，那么數(shù)據(jù)將呈對稱分布。本例中，數(shù)據(jù)偏度為1.309032，為正偏度但不大。

峰度的概念用來表示尾重，是與正態(tài)分布結(jié)合在一起進行考慮的。正態(tài)分布是一種對稱分布，它的峰度值正好等于3，如果某數(shù)據(jù)的峰度值大于3，那么該分布將會有一個比正態(tài)分布更長的尾巴；如果某數(shù)據(jù)的峰度值小于3，那么該分布將會有一個比正態(tài)分布更短的尾巴。本例中，數(shù)據(jù)峰度為3.889152，有一個比正態(tài)分布更長的尾巴。

tabstat amount,stats（mean range sum var）

本命令的含義是獲取amount變量的平均數(shù)、總和、極差、方差等統(tǒng)計指標(biāo)，分析結(jié)果如圖2.6所示。該樣本數(shù)據(jù)的均值是1180.489，極差是3591.944，總和是36595.15，方差是816413.7。

統(tǒng)計量與其對應(yīng)的命令代碼如表2.3所示。

tabstat amount,stats（mean range sum var） by（province）

本命令的含義是按province分類列出amount變量的概要統(tǒng)計指標(biāo)，分析結(jié)果如圖2.7所示。

ci means amount,level（98）

本命令的含義是創(chuàng)建amount變量總體均值98%置信水平的置信區(qū)間，分析結(jié)果如圖2.8所示。

基于本例中的觀測樣本，我們可以推斷出總體的98%水平的置信區(qū)間。也就是說，我們有98%的信心可以認(rèn)為數(shù)據(jù)總體的均值會落在[781.7159,1579.262]中，或者說，數(shù)據(jù)總體的均值落在區(qū)間[781.7159,1579.262]的概率是98%。讀者可以根據(jù)具體需要通過改變命令中括號里面的數(shù)字來調(diào)整置信水平的大小。

2.1.3　正態(tài)性檢驗和數(shù)據(jù)轉(zhuǎn)換

下載資源：\video\第2章\…

下載資源：\sample\第2章\數(shù)據(jù)2B

隨著科技的不斷發(fā)展和計算方法的不斷改進，學(xué)者們探索出了很多統(tǒng)計分析方法和分析程序。但是有相當(dāng)多的統(tǒng)計程序?qū)?shù)據(jù)要求比較嚴(yán)格，它們只有在變量服從或者近似服從正態(tài)分布的時候才是有效的，所以在對整理收集的數(shù)據(jù)進行預(yù)處理的時候需要對它們進行正態(tài)檢驗，如果數(shù)據(jù)不滿足正態(tài)分布假設(shè)，就要對數(shù)據(jù)進行必要的轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換分為線性轉(zhuǎn)換與非線性轉(zhuǎn)換兩種。

關(guān)于正態(tài)性檢驗和數(shù)據(jù)轉(zhuǎn)換，常用到sktest、ladder、gladder、qladder等操作命令。

sktest命令的語法格式為：

sktest varlist [if] [in] [weight] [,noadjust]

對于varlist中的每個變量，sktest給出了一個基于偏度的正態(tài)性檢驗和另一個基于峰度的正態(tài)性檢驗，然后將這兩個檢驗合并成一個整體檢驗統(tǒng)計量。需要提示的是，sktest至少需要8個樣本觀測值才能進行計算。varlist為需要進行正態(tài)性檢驗的變量列表，[if]為條件表達式，[in]用于設(shè)置樣本范圍，[weight]用于設(shè)置權(quán)重，[,noadjust]用于抑制Royston（1991）對總體卡方及其顯著性水平所做的經(jīng)驗調(diào)整，呈現(xiàn)D'Agostino所描述的未改變檢驗。

ladder命令的語法格式為：

ladder varname [if] [in] [,generate（newvar） noadjust]

ladder的功能在于搜索冪級數(shù)的子集（Tukey 1977），嘗試冪階梯上的每一種冪并逐個反饋結(jié)果是否顯著地為正態(tài)或者非正態(tài)，使用戶可以非常方便地找到將變量（varname）轉(zhuǎn)換為正態(tài)分布變量的有效轉(zhuǎn)換方式。varname為需要進行正態(tài)轉(zhuǎn)換的變量，[if]為條件表達式，[in]用于設(shè)置樣本范圍，[weight]用于設(shè)置權(quán)重，[,generate（newvar）]保存與表中最小卡方值對應(yīng)的轉(zhuǎn)換值，但不推薦使用generate()，因為這僅僅是字面意義上的解釋最小值，從而會忽略幾乎相等但可能更可解釋的變換。[,noadjust]用于抑制Royston（1991）對總體卡方及其顯著性水平所做的經(jīng)驗調(diào)整，呈現(xiàn)D'Agostino所描述的未改變檢驗。

gladder的功能在于根據(jù)ladder變換的結(jié)果展示出9個變換的直方圖，從而可以更直觀地看出冪階梯和正態(tài)分布檢驗有效結(jié)合的結(jié)果。gladder命令的語法格式為：

gladder varname [if] [in] [,histogram_options combine_options]

qladder與gladder類似，區(qū)別是qladder顯示varname變換的分位數(shù)，根據(jù)冪級數(shù)與正態(tài)分布的分位數(shù)進行比較。qladder命令的語法格式為：

qladder varname [if] [in] [,qnorm_options combine_options]

varname為需要進行正態(tài)轉(zhuǎn)換的變量，[if]為條件表達式，[in]用于設(shè)置樣本范圍，[,histogram_options combine_options]為可選項。

下面以“數(shù)據(jù)2B”數(shù)據(jù)文件為例進行說明，“數(shù)據(jù)2B”中設(shè)置了兩個變量，分別是province和amount，其中的數(shù)據(jù)如圖2.9所示。

打開上述數(shù)據(jù)文件之后，在主界面的命令窗口中依次輸入以下命令：

sktest amount

本命令的含義是對該數(shù)據(jù)進行正態(tài)分布檢驗，檢驗結(jié)果如圖2.10所示。sktest命令拒絕了數(shù)據(jù)呈正態(tài)分布的原始假設(shè)。從偏度上看，Pr（Skewness）為0.0065，小于0.05，拒絕正態(tài)分布的原假設(shè)；從峰度上看，Pr（Kurtosis）為0.0804，大于0.05，接受正態(tài)分布的原假設(shè)；但是把兩者結(jié)合在一起考慮，從整體上看，Prob>chi2為0.0123，小于0.05，因而拒絕正態(tài)分布的原假設(shè)。

generate sramount=sqrt（amount）

本命令的含義是對數(shù)據(jù)進行平方根變換，以獲取新的數(shù)據(jù)。

sktest sramount

本命令的含義是獲取新的數(shù)據(jù)sramount進行正態(tài)分布檢驗，檢驗結(jié)果如圖2.11所示。sktest命令接受了數(shù)據(jù)呈正態(tài)分布的原始假設(shè)。從偏度上看，Pr（Skewness）為0.4418，大于0.05，接受正態(tài)分布的原假設(shè)；從峰度上看，Pr（Kurtosis）為0.9062，大于0.05，接受正態(tài)分布的原假設(shè)；把兩者結(jié)合在一起考慮，從整體上看，Prob>chi2為0.7293，大于0.05，接受正態(tài)分布的原假設(shè)。

generate lamount=ln（amount）

本命令的含義是對數(shù)據(jù)進行自然對數(shù)變換，以獲取新數(shù)據(jù)。

sktest lamount

本命令的含義是對獲取的新數(shù)據(jù)lamount進行正態(tài)分布檢驗，檢驗結(jié)果如圖2.12所示。

通過觀察分析圖，我們可以比較輕松地得出分析結(jié)論。本例中，sktest命令接受了數(shù)據(jù)呈正態(tài)分布的原始假設(shè)。從偏度上看，Pr（Skewness）為0.0462，小于0.05，拒絕正態(tài)分布的原假設(shè)；從峰度上看，Pr（Kurtosis）為0.2609，大于0.05，接受正態(tài)分布的原假設(shè)；把兩者結(jié)合在一起考慮，從整體上看，Prob>chi2為0.0774，大于0.05，接受正態(tài)分布的原假設(shè)。

我們在進行數(shù)據(jù)分析時，在對初始數(shù)據(jù)進行正態(tài)性檢驗后，可以利用前面2.1.2節(jié)講述的相關(guān)知識得到關(guān)于數(shù)據(jù)偏度和峰度的信息，我們完全可以根據(jù)數(shù)據(jù)信息的偏態(tài)特征進行有針對性的數(shù)據(jù)變換。數(shù)據(jù)變換與其對應(yīng)的Stata命令以及達到的效果如表2.4所示。

ladder amount

本命令的含義是對amount變量運行l(wèi)adder命令，ladder命令把冪階梯和正態(tài)分布檢驗有效地結(jié)合到了一起，它嘗試冪階梯上的每一種冪并逐個反饋結(jié)果是否顯著地為正態(tài)或者非正態(tài)分布。ladder命令的運行結(jié)果如圖2.13所示。

在該結(jié)果中，我們可以看出，在95%的置信水平上，僅有平方根變換square root（P（chi2）= 0.729）以及自然對數(shù)變換log（P（chi2）= 0.077）是符合正態(tài)分布的，其他冪次的數(shù)據(jù)變換都不能使數(shù)據(jù)顯著地呈現(xiàn)正態(tài)分布。

gladder amount

本命令的含義是對amount變量運行g(shù)ladder命令，gladder命令可以更直觀地看出冪階梯和正態(tài)分布檢驗有效結(jié)合的結(jié)果。gladder命令的運行結(jié)果如圖2.14所示。

從運行結(jié)果中可以看出，每種轉(zhuǎn)換的直方圖與正態(tài)分布曲線，都與ladder命令運行結(jié)果得出的結(jié)論是一致的。

qladder amount

本命令的含義是對amount變量運行qladder命令，qladder顯示varname變換的分位數(shù)，根據(jù)冪級數(shù)與正態(tài)分布的分位數(shù)進行比較。

qladder命令的運行結(jié)果如圖2.15所示。

qladder顯示的是varname變換的分位數(shù)，根據(jù)冪級數(shù)與正態(tài)分布的分位數(shù)進行比較。