官术网_书友最值得收藏!

4.2 符號(hào)檢驗(yàn)

有學(xué)者曾經(jīng)利用統(tǒng)計(jì)學(xué)的方法對(duì)《紅樓夢》一書的原作者和續(xù)者是否是同一人這個(gè)問題展開了研究。研究人員針對(duì)《紅樓夢》中人物對(duì)四書的褒貶態(tài)度進(jìn)行了比較,把褒、中性、貶三種態(tài)度分別用1、0、-1來表示,然后用符號(hào)檢驗(yàn)法來進(jìn)行判斷。例如,在原書第三回中,賈寶玉曾說:“除四書外,杜撰的太多,偏只我是杜撰不成?”這里對(duì)四書是褒揚(yáng)態(tài)度,因此用1表示。此外,研究人員還統(tǒng)計(jì)了47個(gè)虛詞在各章中出現(xiàn)的頻率和句子長度,用符號(hào)檢驗(yàn)法做出了前八十回和后四十回不是一人所寫的判斷。

符號(hào)檢驗(yàn)是一種使用正負(fù)號(hào)來檢驗(yàn)不同假設(shè)的非參數(shù)檢驗(yàn)方法,它可以檢驗(yàn)的假設(shè)主要是涉及單一總體中位數(shù)的假設(shè)和配對(duì)樣本數(shù)據(jù)的假設(shè)。當(dāng)我們執(zhí)行符號(hào)檢驗(yàn)時(shí),即認(rèn)為樣本已經(jīng)被隨機(jī)的選取了,而且我們并不要求樣本數(shù)據(jù)來自一個(gè)具有特殊分布的總體。

符號(hào)檢驗(yàn)最核心的思想就是分析數(shù)據(jù)中正負(fù)號(hào)出現(xiàn)的頻率,并確定它們是否有顯著的差異。例如在《紅樓夢》的例子中,如果前八十回中,出現(xiàn)了100次對(duì)孔子及其著作或褒或貶的評(píng)價(jià),其中有51次是褒揚(yáng),49次是貶損,從常識(shí)來看我們并沒有十足的把握斷言作者對(duì)孔子及其著作的態(tài)度是褒揚(yáng)的,因?yàn)?00次態(tài)度表現(xiàn)中,51次褒揚(yáng)并不顯著。但如果有99次態(tài)度表現(xiàn)都是褒揚(yáng)的,這就顯得很顯著了。給定一組數(shù)據(jù),如何從統(tǒng)計(jì)學(xué)角度給出評(píng)判,符號(hào)檢驗(yàn)就是一個(gè)值得推薦的選擇。

在后文的描述中,我們規(guī)定x表示頻率較小的符號(hào)出現(xiàn)的次數(shù);n表示正負(fù)號(hào)合在一起的總數(shù)。符號(hào)檢驗(yàn)是以二項(xiàng)分布為基礎(chǔ)的一種假設(shè)檢驗(yàn),盡管它并不依賴于樣本數(shù)據(jù)的分布類型,但是我們會(huì)設(shè)法用一個(gè)正號(hào)或者負(fù)號(hào)來對(duì)每個(gè)樣本觀察值進(jìn)行評(píng)判。如果差異不顯著,那么正號(hào)與負(fù)號(hào)的個(gè)數(shù)應(yīng)大致各占一半。這就符合一個(gè)成功概率等于0.5的二項(xiàng)分布。于是便可以用二項(xiàng)分布的公式來計(jì)算精確的統(tǒng)計(jì)量,并由此獲得P值。但是當(dāng)n較大時(shí),就要用正態(tài)分布來近似。因?yàn)橛质嵌?xiàng)分布的隨機(jī)變量,所以當(dāng)n較大時(shí),通常規(guī)定是當(dāng)n>25時(shí),可近似地認(rèn)為在原假設(shè)前提下,正負(fù)號(hào)統(tǒng)計(jì)結(jié)果的分布服從正態(tài)N(0,1)分布。但是由于正態(tài)分布是連續(xù)分布,所以要連續(xù)修正,此時(shí)統(tǒng)計(jì)量為

再由此統(tǒng)計(jì)量來獲得P值。

需要說明的是,當(dāng)一個(gè)單尾檢驗(yàn)中應(yīng)用符號(hào)檢驗(yàn)時(shí),如果一個(gè)符號(hào)的出現(xiàn)頻率顯著地多于其他符號(hào),但樣本數(shù)據(jù)卻和原假設(shè)一致,更加審慎的考量就不可或缺,以免得出錯(cuò)誤的結(jié)論。如果數(shù)據(jù)從感覺上和原假設(shè)一致,那么就不能拒絕原假設(shè),也不要繼續(xù)進(jìn)行符號(hào)檢驗(yàn)了。任何時(shí)候都不應(yīng)該盲目依賴于計(jì)算的結(jié)果,利用與統(tǒng)計(jì)無關(guān)的理性分析總是必不可少的。

下面首先通過一個(gè)例子來說明利用符號(hào)檢驗(yàn)對(duì)單一總體中位數(shù)進(jìn)行檢驗(yàn)的基本步驟。聯(lián)合國對(duì)世界上66個(gè)大城市的生活消費(fèi)指數(shù)(以紐約市某年的消費(fèi)指數(shù)作為基準(zhǔn)100)按自小至大的次序排列如表4-13所示,其中北京的指數(shù)為99。

表4-13 世界主要城市消費(fèi)指數(shù)

可以假定這個(gè)樣本是從世界許多大城市中隨機(jī)抽樣而得的所有大城市的指數(shù)組成總體。現(xiàn)在的問題是:這個(gè)總體的中位數(shù)是多少?北京是否在該水平之下?在本例中,總體分布是未知的,比較適合運(yùn)用符號(hào)檢驗(yàn)。

假定用M來表示總體中位數(shù),這意味著樣本點(diǎn)X1X2,…,Xn,取大于M的概率應(yīng)該與取小于M的概率相等。所研究的問題,可以看作是只有兩種可能:大于中位數(shù)M,標(biāo)記為“+”;小于中位數(shù)M,標(biāo)記為“-”。令S+為得正符號(hào)的數(shù)目,以及S-為得負(fù)符號(hào)得數(shù)目。

易知S+S-均服從二項(xiàng)分布Binomial(66,0.5)。則S+S-可以用來作為檢驗(yàn)的統(tǒng)計(jì)量。

對(duì)于左側(cè)檢驗(yàn)H0M=M0H1MM0,當(dāng)零假設(shè)為真的下,S?應(yīng)該不大不小,S?S+S-中較小的。當(dāng)S?過小,即只有少數(shù)的觀測值大于M0,則M0可能太大,目前總體的中位數(shù)可能要小一些。如果pS?x)<α,則拒絕原假設(shè)。其中的α是顯著水平。

圖4-1 拒絕域與非拒絕域

對(duì)于右側(cè)檢驗(yàn)H0M=M0H1MM0,當(dāng)零假設(shè)為真的下,S?應(yīng)該不大不小。當(dāng)S?過大,即有多數(shù)的觀測值大于M0,則M0可能太小,目前總體的中位數(shù)可能要大一些。如果pS?x)<α,則拒絕原假設(shè)。

雙側(cè)檢驗(yàn)對(duì)備擇假設(shè)H1來說關(guān)心的是等于正的次數(shù)是否與等于負(fù)的次數(shù)有差異。所以當(dāng)pS?x)+pS?x)小于顯著性水平則拒絕原假設(shè)。

針對(duì)當(dāng)前所討論的例子,做單尾檢驗(yàn),則備擇假設(shè)為M<99。通常,備擇假設(shè)采用我們覺得有道理的方向。因?yàn)橹挥幸稽c(diǎn)為99,舍去這一點(diǎn),于是n從66減少到65。而x=23,在原假設(shè)下,二項(xiàng)分布的概率pS+<23)。如果很小就可以拒絕零假設(shè)。上面這個(gè)概率就是該檢驗(yàn)的P值。在這里的例子中,可以算得

α=0.05的單尾檢驗(yàn)中,臨界值z=-1.645,檢驗(yàn)統(tǒng)計(jì)量z=-2.232 625是落在了否定區(qū)間中,如圖4-1所示。因此,拒絕原假設(shè)。也可以用下面的R代碼來計(jì)算P值。

如果不采用近似計(jì)算的方法,則可以使用下面的R代碼來計(jì)算P值。

在原假設(shè)前提下,目前由該樣本所代表的事件的發(fā)生的概率僅為1.24%,所以不大可能。換言之,北京的生活指數(shù)不可能小于世界大城市的中間水準(zhǔn)。

再來看一個(gè)雙尾檢驗(yàn)的例子。某企業(yè)生產(chǎn)一種鋼管,規(guī)定長度的中位數(shù)是10m。現(xiàn)隨機(jī)地從正在生產(chǎn)的生產(chǎn)線上選取10根進(jìn)行測量,結(jié)果如下

9.8 10.1 9.7 9.9 9.8 10.0 9.7 10.0 9.9 9.8

中位數(shù)是這個(gè)問題中所關(guān)心的一個(gè)位置參數(shù)。若產(chǎn)品長度真正的中位數(shù)大于或小于10m,則生產(chǎn)過程需要調(diào)整。這是一個(gè)雙側(cè)檢驗(yàn),應(yīng)建立假設(shè)

H0M=10; H1M≠10

為了對(duì)假設(shè)做出判定,先要得到檢驗(yàn)統(tǒng)計(jì)量S+S-。將調(diào)查得到的數(shù)據(jù)分別與10比較,算出各個(gè)符號(hào)的數(shù)目:S+=1,S-=7,n=8。在R中執(zhí)行符號(hào)檢驗(yàn)的代碼如下。

P值為0.070 312 5,大于顯著性水平0.05。表明調(diào)查數(shù)據(jù)支持原假設(shè)。即生產(chǎn)過程不需要調(diào)整。

前面我們?yōu)閱挝矙z驗(yàn)和雙尾檢驗(yàn)各給出了一個(gè)例子。但是在科學(xué)研究中一直有一種傾向于雙尾檢驗(yàn)的傳統(tǒng)。這是因?yàn)槟銛嘌哉_的單尾備擇假設(shè)在相反的方向是不具備任何效力的。即使你認(rèn)為或者希望這種效力可以在一個(gè)方向上有效,這種確認(rèn)與你拒絕深入探究這種效力作用在相反方向上的可能性仍然是兩回事。偏愛雙尾檢驗(yàn)的傳統(tǒng)是一個(gè)良好的默認(rèn)選項(xiàng)。單尾檢驗(yàn)也有它的存在的意義,正如本節(jié)中所給出的例子那樣,但是研究人員也有責(zé)任解釋清楚為什么某個(gè)單尾的備擇假設(shè)是合適的。僅僅讓數(shù)據(jù)落在正確的一側(cè)仍然是遠(yuǎn)遠(yuǎn)不夠的。

如果使用之前介紹的參數(shù)檢驗(yàn)方法來對(duì)世界主要城市消費(fèi)水平的例子進(jìn)行處理,將會(huì)得到下面這樣的結(jié)果。從中可以看出,我們獲得了一個(gè)更加極端的P值。相比而言,符號(hào)檢驗(yàn)往往不像參數(shù)檢驗(yàn)?zāi)敲挫`敏,盡管如此,兩種檢驗(yàn)都得出了拒絕零假設(shè)的結(jié)論。符號(hào)檢驗(yàn)沒有將樣本數(shù)據(jù)看作是極端的,因?yàn)樗皇褂藐P(guān)于數(shù)據(jù)方向方面的信息,而忽略了數(shù)值的大小。之后將要介紹的威爾科克森符號(hào)秩檢驗(yàn)在很大程度上彌補(bǔ)了這一不足。

根據(jù)統(tǒng)計(jì)資料的符號(hào),還可以對(duì)配對(duì)樣本數(shù)據(jù)進(jìn)行假設(shè)檢驗(yàn)。兩個(gè)樣本既可以是互相獨(dú)立,也可以是相關(guān)的,也就是說,既可檢驗(yàn)兩總體是否存在顯著差異,也可檢驗(yàn)是否來自同一總體。符號(hào)檢驗(yàn)通過兩個(gè)相關(guān)樣本的每對(duì)數(shù)據(jù)之差的符號(hào)來進(jìn)行檢驗(yàn),從而比較兩個(gè)樣本的顯著性。如果兩個(gè)樣本差異不顯著,正差值與負(fù)差值的個(gè)數(shù)應(yīng)大致各占一半。如果兩者相差太遠(yuǎn),就有理由拒絕原假設(shè)。下面通過一個(gè)例子來說明利用符號(hào)檢驗(yàn)對(duì)配對(duì)樣本數(shù)據(jù)進(jìn)行檢驗(yàn)的基本步驟。

細(xì)顆粒物,又稱PM2.5,是指環(huán)境空氣中當(dāng)量直徑小于等于2.5μm的顆粒物。它能較長時(shí)間懸浮于空氣中,其在空氣中含量濃度越高,就代表空氣污染越嚴(yán)重。雖然細(xì)顆粒物只是地球大氣成分中含量很少的組分,但它對(duì)空氣質(zhì)量和能見度等有重要的影響。與較粗的大氣顆粒物相比,細(xì)顆粒物粒徑小,面積大,活性強(qiáng),易附帶有毒、有害物質(zhì),且在大氣中的停留時(shí)間長、輸送距離遠(yuǎn),因而對(duì)人體健康和大氣環(huán)境質(zhì)量的影響更大。通常認(rèn)為城市中細(xì)顆粒物的濃度要較周邊郊區(qū)更高,為了證實(shí)這一論斷,科研人員開展了相關(guān)研究。研究人員每隔一定周期,分別測定某城市中心地帶與其郊區(qū)的PM2.5濃度,結(jié)果如表4-14所示。

表4-14 細(xì)顆粒物測定結(jié)果

根據(jù)問題描述,提出原假設(shè)和備擇假設(shè)如下:

H0:城市和郊區(qū)的細(xì)顆粒物濃度沒有差別。

H1:原假設(shè)是錯(cuò)誤的。

將表中的配對(duì)樣本數(shù)據(jù)一對(duì)一比較,如果差值為正,則用符號(hào)“+”標(biāo)記,否則記以“-”標(biāo)記,如兩者相等,就記為“0”。清點(diǎn)計(jì)數(shù)后可知S+=15,S-=4和n=19。然后在R中進(jìn)行顯著性檢驗(yàn),代碼如下。

于是拒絕原假設(shè),得出城市和郊區(qū)的細(xì)顆粒物濃度存在差別這個(gè)結(jié)論。正如前面曾經(jīng)討論過的,更多時(shí)候我們傾向于采用雙尾檢驗(yàn)。在此基礎(chǔ)上分析二個(gè)指標(biāo)誰高誰低,應(yīng)當(dāng)借助一些非統(tǒng)計(jì)上的理性分析來得出最終的結(jié)論。從本題所提供的數(shù)據(jù)來看,城市里細(xì)顆粒物濃度高于郊區(qū)的情況更加普遍,最終我們可以認(rèn)為城市里的細(xì)顆粒物濃度更高。

現(xiàn)在來解答讀者可能還存疑的一個(gè)問題,即當(dāng)n>25時(shí),所用的檢驗(yàn)統(tǒng)計(jì)量的基本原理。前面我們講過,當(dāng)n>25時(shí),檢驗(yàn)統(tǒng)計(jì)量z是建立在對(duì)p=1/2的二項(xiàng)分布的正態(tài)近似基礎(chǔ)上的。對(duì)于二項(xiàng)分布而言,當(dāng)np≥5和n(1-p)≥5都成立時(shí),二項(xiàng)分布的正態(tài)近似時(shí)可以接受的。而且對(duì)于二項(xiàng)分布而言,μ=np。因?yàn)榉?hào)檢驗(yàn)假設(shè)p=1/2,所以只要n≥10,便可以滿足前提條件np≥5和n(1-p)≥5。另外,由于假設(shè)p=1/2,還可得到μ=np=n/2和。因此

就變成了

最后,為了實(shí)現(xiàn)連續(xù)性修正,我們用x+0.5來代替x。如此便得到了本節(jié)給出的檢驗(yàn)統(tǒng)計(jì)量表達(dá)式。

主站蜘蛛池模板: 洪雅县| 青阳县| 涪陵区| 砚山县| 都兰县| 嘉荫县| 蕉岭县| 斗六市| 利津县| 新兴县| 甘泉县| 紫云| 马鞍山市| 绥滨县| 兴安县| 镇康县| 昌邑市| 屏东县| 铜川市| 永福县| 泗洪县| 苏州市| 商都县| 台南市| 石嘴山市| 永胜县| 日照市| 武冈市| 明溪县| 通道| 临邑县| 甘泉县| 阳春市| 灵丘县| 溆浦县| 彭山县| 合阳县| 大石桥市| 蒙自县| 方山县| 孟州市|