ANalysis Of VAriance (ANOVA)变异数分析

單因子變異數分析 One-way between groups
•用來觀察各組間之差異 •僅使用一個因素（one factor）來分組 •為ANOVA目前最簡單的一個形式 •亦可用來比較不同組別下的單因素表現
The Different Types of 百度文库NOVA
雙因子/ 雙因子/多因子變異數分析 Two-way/ m-way between groups
H 0 : u1 = u2 = u3
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
觀 念
樣本平均 樣本標準差 樣本變異數
觀 念
重要觀念
•假設我們在.05的顯著水準下要檢定下列虛擬 假設：
–H0: u1=u2=u3
•如果拆成下列三組虛擬假設：
–H0: u1=u2 , H0: u1=u3 , H0: u2=u3
•每個假設被「接受」的機率為.95，三個假設 全部被接受的機率為.953=.857，也就是說當假 設為真但被推翻的機率為 (1 - 0.857) = 0.143 >>> 0.05
2 x 12 x 22 x 32 ﹕ ﹕ x n2 , 2
…
k x 1k x 2k x 3k ﹕ ﹕ ﹕ x nk,k
第k組樣 本共有nk 個觀察 值
各組樣本數可以不同，分別為n1, n2,…nk, 總樣本數n= n1+n2+…+nk
1 x 11 x 21 x 31 ﹕ x n1 , 1
2 x 12 x 22 x 32 ﹕ ﹕ x n2 , 2
+ 組間變異(或 已解釋變異) ) + Between-Group Sum of Squares or Sum of Squares Between (SSB)
ANalysis Of VAriance (ANOVA) 變異數分析
白其卉,PhD 2007/05/17
Scale of Data
• Continuous：單位可以無限加以細分的資料
– Interval variable, 等距:
• 指測量單位都是一樣大小的資料, • 等距包含等比 • 只有等距不屬等比的，ex. 溫度
H 0 : u1 = u2 = u3
Q:各組平均值的差 異是來自於抽樣誤 差還是母體差異？
樣本平均 樣本標準差 樣本變異數
x1 − x2 = 19 − 20.4 = −1.4
x1 − x3 = 19 − 21.8 = −2.8 x2 − x3 = 20.4 − 21.8 = −1.4
變異數分析基本假設
共有K個母體
µ 1, σ 1
µ 2, σ 2
L
i代表在樣本 中的序號，i = 1,2, …nj
µk, σk
x21 x11 xn1,1 x31
x22
xn2,2 x12 x32
xnk,k x1k x3k x2k
Xi j
j代表樣本組別，j = 1,2, …k
分別來自k母體的k個樣本
1 x 11 x 21 x 31 ﹕ x n1 , 1
何時使用變異數分析？ •例如：
–比較四種血型在體重上的差異？ –大學中各年級的同學身高是否有別？ –三種不同的手術方法對於病人的肌力是否有 影響？
重要觀念 •在比較多組母體的平均值時，我們通常 不採用兩兩比較（t test）的方式，主要 的原因有二：
–這種做法太浪費時間，因為比較幾個母體可 能產生很多的比較組，例如比較五個母體的 平均值差異，如果以兩兩比較的方式，我們 必須進行C52=10次的t-test。 –如果每組的顯著水準皆為α，則全體比較的 顯著水準會高於α。
樣本平均 樣本標準差 樣本變異數
Q:我們所觀察到的樣 本平均數差異是否大 到足以推翻上面的虛 擬假設?
變異數分析基本假設
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
•假設從K個母體中抽取大小分別為n1, n2, n3…nk 的K個獨立隨機樣本。 •我們對母體有下列的假設：
–各母體皆為常態分配，且有共同相同的變異數σ2。 –以u1, u2, …uk 來表示母體的平均數，單因子分析檢 證下
•虛擬假設
–H0: u1=u2…=uk vs. H1: 至少有兩組平均數不同
如何簡單描述一群數據？ 集中趨勢, central tendency
• 找一個具代表性的點來描述一群數據
– Mean, 平均值：arithmetic mean
• 每個數值都包括在計算中，其佔用份量是一樣的 • 最常被選用 • 受極端值影響
– Median,中位數
• 全部數值中最中間的一個 • 不受極端值的影響
– 各種變異來源的變異量需互相獨立，且可以 進行累積和加減。
變異數分析基本假設
•設我們從k個母體中得到樣本資料來檢定下列虛 擬假設:
–H0: u1 = u2 = … = uk （各組數據平均皆相同） –H1: 至少有兩個平均值不同。
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
SST = ∑∑ ( xij − x )
j =1 i =1
K
nj
2
• 即個別觀察值與總平均數差距的平方和，稱 為總變異量或總平方和。
Sum of Squares
•變異數分析將總變異量分解成下列兩部分:
總變異 =組內變異(或 未解釋變異) ) Total Sum of Squares (TSS) = Within-group Sum of Squares or Sum of Squares Within (SSW)
…
k x 1k x 2k x 3k ﹕ 總樣本的平均值 K nj K ﹕ xij njxj x = ∑∑ = ∑ ﹕ j =1 i =1 n j =1 n x nk,k
x1
x2
nj
xk
各組樣本的平均值x j =
∑x
i =1
ij
nj
, j = 1,2,...K
Sum of Squares
•變異數分析是透過各組樣本內的變異與組間變異 之比較來檢證各組平均值是否相等，全體樣本資 料的總變異量為:
– Ratio variable, 等比:
• 指等距尺度中具有絕對的0的資料，ex. Height, weight
• Discrete：單位不能加以細分的資料 ：
– Nominal, 類別：
• 透過分類所獲得的資料，ex. Gender, race, color
– Ordinal, 序位：
• 透過等級所獲得的資料，ex. 名次、喜好程度
如果標準差很小，則 兩個樣本平均值一點 點的差距都可能是母 體平均值不同的訊號。 同理，如果標準差過 大，則即使我們觀察 到樣本平均值之間有 很大的差距，我們也 不太有信心能夠宣稱 母體的平均數真的有 別
樣本平均 樣本標準差 樣本變異數
變異數分析基本假設
H 0 : u1 = u2 = u3
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
Analysis of variance (ANOVA)基本概念 • 用於分析一個類別變項（不限定分類數目）與一個連 續變項之間的關係。 • 在共同的顯著水準α下，用來比較2組或2組以上樣本 平均值是否相等的統計方法，稱為變異數分析。 • 藉由分解樣本的變異量來比較不同分組之樣本所來自 母群體的平均值是否相同。 • 當分析的資料只有2組的時候，ANOVA與t test 結果 相同。差別在於前者用F分佈，後者用t分佈。
樣本標準差或變異數 測量各個樣本內，各 觀察值之間的變異程 度。 如果樣本內的變異數很 小，則各樣本之間平均 數的差距若過大，為母 體平均數不同的有力證 據
樣本平均 樣本標準差 樣本變異數
反之，如果樣本內的變異數過大，則即使樣本平均值之間有 差異，我們仍然很難下斷論說母體的平均值不同。
變異數分析基本假設
樣本平均 樣本標準差 樣本變異數
x1 − x2 = 19 − 20.4 = −1.4
變異數分析基本假設
H 0 : u1 = u2 = u3
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
H 0 : u1 = u2 = u3
A 18.2 19.4 19.6 19 18.8 19 0.548 0.300 B 19.8 21 20 20.8 20.4 20.4 0.510 0.260 C 21.2 21.8 22.4 22 21.6 21.8 0.447 0.200
例如A組與Ｂ組的平 均值差異為1.4里， 這個差異是否大到我 們可以有信心的說u1 與u2也有差異？ 這個問題決定於x1, x2是否為母體平均值 的精確估計值。
20.4
21.8
C B A 18 19 20 21 22 23
樣本內的變異數 很大
A 17 20.4 24 15.8 17.8
B 24.2 22 17.8 16.2 21.8
C 26 19.8 24.4 16 22.8
19
20.4
21.8
C B A 15 17 19 21 23 25 27
變異數分析基本假設
– Mode,眾數
• 出現頻率最多次的數據 • 流行值
mode
median mean
60
50
40
30
20
10
0
0.01
0.21
0.41
0.61 CRP
0.81
1.01
When mean=median=moode 常態次數分配
Student t test
•檢定兩個平均值的差，用來分析一個二分 類別變項 (binary variable) 與一個連續變項 (continuous variable) 之間的關係。 •比較兩組樣本平均值的差
•用來觀察更複雜的分組形式下的變異數分析 •用來觀察兩個或以上的因素之效應以及其交互作 用 •可以測量任何一個因子的主效應（main effect） ） •其交互作用可視為兩因素合併作用時，對因變項 是否有顯著之差異
The Different Types of ANOVA
單因子共變數分析 One-way within groups / covariance 單因子重複測量變異數分析 One-way repeated measures
•用來觀察單一組別下某因素多次測量（共變）的 測量分析 •最常見之形式為重複測量分析，即單一組別下多 時間點之測量，是一種時間序位測量，可以用來 觀察時間效應
The Different Types of ANOVA
雙因子共變數分析
Two-way / m-way between groups with covariance
雙因子重複測量變異數分析
Two-way / m-way repeated measures
•可視為具有雙因子/多因子並且合併有多時間點重 複測量的變異數分析
變異數分析的基本假定
• 常態性假設
– 樣本是抽取自常態化的母群體。
• 變異數同質性假設
– 每一個常態化樣本必須具有相同的離散狀況。
• 可加性假設
因此檢定各樣本的平 均值是否相同的問題 涉及比較樣本內的變 異（組內差異）及樣 本間的變異（組間差 異）。所以通常稱之 為變異數分析。
樣本內的變異數 很小
A 18.2 19.4 19.6 19 18.8
B 19.8 21 20 20.8 20.4
C 21.2 21.8 22.4 22 21.6
19
Analysis of variance (ANOVA)適用條件
• 適用時機 一個類別變項且具兩個或兩個分組以上 • 實驗設計 獨立樣本(受試者間設計 受試者間設計) 獨立樣本 受試者間設計 相依樣本(受試者內設計 受試者內設計) 相依樣本 受試者內設計
The Different Types of ANOVA