Last updated: 2015 - 2014. Kajiyama                    [ 目次に戻る ]

効果量と計算手続き



1.  効果量を計算する --Rでコピペ学習

  1. [ 測定値が質的データ・計数データ ]

    1. 2群のカテゴリーデータの比率の差の検定と h, g, d, オッズ比(OR)
      (1) 2群の比率の差の効果量計算   Cohen's h = 2*asin(sqrt(p1)) - 2*asin(sqrt(p2))   Cohen's d (g) = (log(OR)*sqrt(3))/(pi) 

    2. 2群のカテゴリーデータのχ2検定と φ, w (= r)
      (1) カイ二乗検定の効果量計算    Cohen's w = r = sqrt (χ値 / 総サンプル数)

  2. [ 測定値が量的データ ]

     [ d 族 2群の平均値の差の大きさ] d family

    1. 2群の平均値の差の t 検定と d, g
      (1) 対応のない(独立な)t検定の効果量計算 Cohen's d (g) = t*sqrt( (n.1+n.2)/(n.1*n.2) )
      (2) 対応のあるt検定の効果量計算      Cohen's d (g) = t*sqrt( 1/(n.1) )
    2. 2群の平均値の差と d, g
      (1) 対応のない(独立な)2群の差の効果量計算 Cohen's d (g) = 平均値の差/プールした不偏標準偏差
      (2) 対応のある2群の差の効果量計算      Cohen's d (g) = 平均値の差/差得点の不偏標準偏差値

     [ r 族 変数間の関係の大きさ] r family

    1. 無相関検定と r
      (1) 相関係数の効果量計算        Cohen's d (g) = 2*r/sqrt(1-r^2)
    2. 回帰分析と f2,R2
      (1) 単回帰分析の効果量計算       Cohen's f2 = R2/(1-R2
    3. 一元配置の分散分析 (分散分析表を利用した計算法)と f, η2, ω2
      (1) 対応なし・標本数が同じ一元配置の分散分析と効果量計算
      (2) 対応あり・標本数が同じ一元配置の分散分析と効果量計算


  3. 効果量・検定力を計算するRパッケージがある
    1. 統計量から効果量を計算するパッケージ Compute Effect Sizes: compute.es
    2. 効果量と検定力 (検出力)を計算するパッケージ pwr
    3. 検定力 (検出力)を計算するstatsパッケージの「power」

  4. 効果量を換算するweb電卓,各自合うものを探して使うも便利.
    js-STAR 2012Practical Meta-Analysis Effect Size Calculator Effect Size CalculatorsEffect Size CalculatorEffect Size Calculator


2. p値と効果量
  1. A・Bの2群の母集団の平均値に差があるかどうかのt検定では,p値が設定した有意水準5%(あるいは1%)より低ければ有意であるとする.

    有意であるとは,「平均値の差がない」確率(p値)が有意水準より低いので,「平均値の差がない」現象はめったに起こらないと考える.

    起こるとしても5%(あるいは1%)の確率であり,95%(あるいは99%)の確率では起こらないので,母集団で「平均値の差がある」と推測する.

  2. p値はサンプル・サイズ(標本数)の影響を受けやすく,サンプル数を多くするとp値は低くなり「有意である」分析結果が現れる.

    このp値は,「平均値の差の大きさ」は検討していない.p値が低ければ低いほど「平均値の差が大きい」と効果の大きさを判断することは誤解である.

    A群とB群の2群の違いが,平均値の差におよぼす効果の大きさを改めて求めなければならない.この効果の大きさを効果量(effect size)と呼ぶ.

  3. サンプルサイズに影響されない効果の大きさの指標として「母集団の2群の平均値間のずれを尺度」とする効果量dがある.

    効果量dが「1」とは「2群の平均値間の差」が「1標準偏差」単位だけずれ(離れ)ていることを表し,2群の違いは大きいと解釈する.

    効果量dが「0.1」とは「2群の平均値間の差」が「0.1標準偏差」単位ずれ(離れ)ており,2群の違いがあまりないことを示唆する.

  4. 効果量dは2群の平均値の差の統計検定で得られた複数の結果の比較を行うときに使用する.また,

    効果量が少なく実質的な差がない分析結果をp値が統計的に有意であることで,あなたが大きな違いがあると誤判断する危険性を注意してくれる.

    逆に効果量が大きいのにp値が大きく統計的に有意でないことで,あなたが分析結果を実質的な差がないと誤判断する危険性を注意してくれる.


3. 測定した単位に依存しない標準化した効果量の種類と指標
  1. 効果の大きさの標準化

    A群とB群の努力の違いが10点満点テストの平均5点差,100点満点テストの平均5点差である.

    同じ点差でも,異なる測定単位間のものは比較できない.(10点テストで測定できる内容と100点テストで測定できる内容が同じとして.)

    平均値の差を示す得点の大きさの程度は測定した単位に依存する.(非標準化効果量) 同じ測定単位のものは比較できる.

    これに対して測定した単位に依存しない標準化した効果量が統計的検定手法毎に提案されてきた.(標準化効果量)

    標準化した効果量には,d 族(d family)とr 族(r family)の二つがある.d族とr族の指標間の換算式も提案されている.

    母集団での母効果量を知りたいが,直接調べることができないのでサンプルから標本効果量を求め,これをもとに母効果量を推定する.


  2. d族の効果量計算の考え方: 2群の平均値の差の大きさを指標に使用

    対応なし(独立した)A・Bの2群の平均値の差の大きさは「標準偏差」を単位としてこの幾つ分かに換算して標準化する.

    計算式はA群とB群の平均値の差を標準偏差で割り,この値を「標準化した効果量」とする.d=2群の平均値の差/標準偏差

    標準偏差はサンプルのばらつきを示す分散から求められ,その関係は,標準偏差2 = 分散 である.

    推測統計に用いられるRの統計ソフトウェアでは,分散は標本分散でなく不偏分散が使われることが多いので注意するように.

    分母で使用する分散は,目的に応じて,A群の分散,B群の分散あるいはA・Bの2群を結合したプールした(pooled)分散が使われる.

    さらに,分母で使用する分散は,サンプルを記述する標本分散と,サンプルの母分散を推定する不偏分散を区別し使う.

    有効桁数は1〜2ケタの世界であるが,検定の手法ごとに諸提案がある.私は諸説の解説書でなく諸説の効果量を覗いてみたい.

    d族の効果量の指標としてデルタ(delta)が用いられる.ギリシャ文字のδ,大文字でΔ,ラテン文字(ローマ字)でdを習慣的に使用する.

    [1] コーエンのd (Cohen's d d.biased): 標本分散を使用した「サンプルについての標本効果量」を求める.

    ・分母は,2群のプールした標本分散から計算した正の標準偏差を用いる.

    ・Cohen's dの公式から得られる値はサンプルの標本効果量を求める.

    [2] ヘッジのg (Hedges'g g.biased): 不偏分散を使用した「サンプルについての標本効果量」を求める.

    ・分母は,2群のプールした不偏分散から計算した正の標準偏差を用いる.

    ・ただし,プールした正の標準偏差から計算した標本効果量は正方向のバイアス(かたより)が計算結果に含まれ,不偏推定量にならない.

    ・値はCohen's dよりも少なめに計算されるがバイアスを含んだ値が計算される.(Hedges'g g.biased).これで母効果量を推定する.

    ・注意: この公式を使ったものをCohen's d と呼ぶ統計ソフトウェアがあるので私は用心する.

    [3] バイアス補正したヘッジのg (Hedges'g g.unbiased): Hedges'gの持つバイアスを補正し「サンプルについての標本効果量」を求める.

    ・Hedges'gの持つバイアスを補正係数を使用し計算したものであり,値はHedges'gよりも少なめに計算される.

    ・注意: この公式を使ったものをHedges'g と呼ぶ統計ソフトウェアがあるのであなたも用心する.

    [4] A群が実験群でB群が対照群の場合の処理の方法.グラスのデルタ (Glass's Δ)

    ・分母は,対応のないA・Bの2群で用いた「2群のプールした分散」を使用せずに,「対照群の不偏分散」を使用する.

    ・2群の平均値の差を,実験の影響を受けない母集団である対照群の不偏標準偏差で割り,実験による効果量を推定する.

    [5] 対応があるA・Bの2群の場合の処理方法.差得点の効果量

    同一被験者を使用し,介入行う前後で2回測定を行う.A群が事前・B群が事後の2群の結果を比較する場合などである.

    ・分母は,対応のないA・Bの2群で用いた「2群のプールした分散」を使用せずに,「2群の得点差の不偏分散」を使用する

    ・2群の平均値の差を,2群の差得点の不偏標準偏差で割り,介入による効果量を推定する.

    [1] choen's d  d.biased 式(3.12, 3.14) p55 Sp=S pooled
    
    Sp = sqrt ((n1* (ss1)^2 +n2* (ss2)^2) / (n1+n2)) # 式(3.12) p55 
    
       = sqrt ((n1*((n1-1)/n1)*(s1)^2 +n2*((n2-1)/n2)*(s2)^2) / (n1+n2) ) 
    
       = sqrt (((n1-1) * (s1)^2 +(n2-1) * (s2)^2)) / (n1+n2))
    
    d  = (m1- m2)/ Sp #  式(3.14) p55 
    
    
    [2] Hedges'g  g.biased 式(3.16, 3.17) p56  sp=s pooled
    
    sp = sqrt (((n1-1) * (s1)^2 +(n2-1) * (s2)^2) / ((n1-1)+(n2-1)))
    
       = sqrt (((n1-1) * (s1)^2 +(n2-1) * (s2)^2) / (n1+n2-2))  #式(3.16) p56
    
    g.biased = (m1- m2) / sp  # Hedges'g 式(3.17) p56 
    
    あるいは g.biased = d * sqrt((n1+n2-2) / (n1+n2))  # 式(3.20) p57
    
    
    [3] バイアス補正したHedges'g g.unbiased 式(3.23) p59
    
    J  = 1-(3/(4*(n1+n2)-9))  # 近似式(3.23) p59
    
    g.unbiased = J * g.biased 
               = (1-( 3/(4*(n1+n2)-9))) * g.biased  # 式(3.23) p59
    
    [4] グラスのデルタ (Glass's Δ) 式(3.25) p60 
    
    Glass's Δ = (m1- m2) / s2  (s2:対照群の不偏標準偏差,s1:実験群の不偏標準偏差)
    
    [5] 差得点の効果量 式(3.30) p66
    
    差得点の効果量 = (m1- m2) / 2群の差得点の不偏標準偏差
    
    
    出典 ページ数は伝えるための心理統計
    ・伝えるための心理統計 効果量・信頼区間・検定力,大久保,岡田,勁草書房,2012.
    ・パッケージ"compute.es"英文マニュアル 2015・
    
    n1	A群の標本数
    n2	B群の標本数
    	
    m1	A群の標本の平均値
    m2	B群の標本の平均値
    
    v1	A群の不偏分散
    v2	B群の不偏分散
    
    vv1	A群の標本分散
    vv1 = ((n1-1)/n1)*v1
    
    vv2	B群の標本分散
    vv2 = ((n2-1)/n2)*v2
    
    s1	A群の不偏標準偏差*
    (s1)^2 = v1
    
    s2	B群の不偏標準偏差*
    (s2)^2 = v2
    
    ss1	A群の標本標準偏差*
    (ss1)^2 = vv1 
            = ((n1-1)/n1)*v1 
            = ((n1-1)/n1)*(s1)^2 
    
    ss2	B群の標本標準偏差*
    (ss2)^2 = vv2 
            = ((n2-1)/n2)*v2 
            = ((n2-1)/n2)*(s2)^2 
    
    
    * R言語の推測統計のパッケージは,
    分散は母集団の分散の不偏分散を
    出力することが多い.
    同様に,不偏標準偏差値を出力する.
    標本分散,標本標準偏差値を使用する
    場合には深い学習が必要である.
    
    記述統計は,
    標本分散,標本標準偏差値を使用する.


  3. r族の効果量計算の考え方: 平均値の差でなく,変数間の関係の大きさを分散説明率を指標に使用する.

    2変数x,yの関係の大きさの度合いを表す指標として共分散を2変数の標準偏差(=分散の平方根)の積で割った,測定単位に依存しない相関係数がある.

    相関係数の二乗も2変数の関係の大きさの程度を表す指標である.r族はこのような古典的な相関係数や相関係数の二乗を指標に利用する.

    古典的な統計指標r2,R2は,決定係数(coefficient of determination)・寄与率・分散説明率と呼ばれている.

    効果量の記号として回帰分析では r,R,分散分析ではギリシャ文字のη(eta:イータ)が用いられる.


    [1] 2変数の積率相関係数と無相関検定 
    無相関検定の復習

    相関係数rはx,yの散布図における直線的な関係の強さの程度を示す指標である.-1.0 ≦ r ≦ +1.0

    相関係数が2変数の因果関係の指標ではないことに注意しておく.

    相関係数は比例尺度ではなく順序尺度であることに注意する.r=0.6はr=0.3の2倍と考えないこと.

    2変数x,yの積率相関係数(product-moment correlation)rを効果量の尺度にする.0.0 ≦ | r | ≦ 1.0

    絶対値 r が1に近いほど観測データの分布が直線的になる.r= 0.7は相関ありと解釈できる.

    効果量の指標 r = 2変数x,yのピアソンの積率相関係数 r

    積率相関係数 r=(x,yの共分散)/(xの標準偏差 * yの標準偏差), 標準偏差2 = 分散

    相関の大きさの解釈 積率相関係数 r
    相関なしr = 0.0
    ほとんど相関なし0.0<|r|≦0.2
    弱い相関あり0.2<|r|≦0.4
    相関あり0.4<|r|≦0.7
    強い相関あり0.7<|r|<1.0
    完全な相関r = ±1.0


    [2] 線形回帰分析の r 2,R 2: 分散説明率 参考文献:"検定力分析入門 Rで学ぶ最新データ解析"

    相関係数の二乗を効果量の尺度にする.相関係数の二乗は,分散説明率,決定係数,寄与率とも呼ばれている. 0 ≦ r2 ≦ 1.0


    (i) 線形単回帰分析 y=f(x)= a + bx 目的変数(従属変数:y)と説明変数(独立変数:x)の単回帰分析の復習

    ・ 全体の平方和 = 予測値の平方和 + 誤差の平方和

    線形単回帰分析では,x,yの相関係数の二乗 R2 = (rx・y) 2は目的変数yの分散に占める予測値y=f(x)の分散の割合と同じになる.

    2を分散説明率(決定係数・寄与率)と呼ぶ.また,Rを重相関係数と呼ぶ. 0 ≦ R2 ≦ 1.0

    2 が1に近いほど回帰式のあてはまりがよく,また観測データの分布が直線的になる.

    2=0.49 は,説明変数が目的変数の分散の49%を説明できると解釈する.R2は説明変数が目的変数のどれくらいを説明できるかを示す値である.

    @効果量の指標 分散説明率(決定係数・寄与率)= R2 回帰分析の結果で,R2 は統計量 Multiple R-squared(決定係数) として与えられる.

    2 = 単回帰(予測値)の分散説明率/単回帰の全体の分散説明率 = 予測値の平方和/全体の平方和

    A効果量の指標 Cohen's f 2 = R2/(1-R2

    2 = 単回帰の分散説明率/単回帰の誤差による分散説明率

      = 単回帰の分散説明率/(単回帰の全体の分散説明率 - 単回帰の分散説明率) = R2/(1-R2


    (ii) 線形重回帰分析 Y=f(x)= a+b1x1+b2x2+・・・+bixi 目的変数(y)と複数の説明変数(x1,x2,・・xi・)

    線形重回帰分析では,目的変数の観測値y回帰式による予測値f(xi)との相関係数を重相関係数 Rと呼ぶ.

    重相関係数の二乗 R2を分散説明率(決定係数・寄与率)と呼ぶ. 0 ≦ R2 ≦ 1.0

    2が1に近いほど回帰式のあてはまりがよく,また観測データと予測値の分布が直線的になる.

    2=0.49は,説明変数が目的変数のバラツキの49%を説明できると解釈する.R2は説明変数が目的変数のどれくらいを説明できるかを示す値である.

    説明変数x1だけの単回帰分析の決定係数を(Rx1)2とする.説明変数がx1とx2の重回帰分析の決定係数を(Rx1x2)2とする.

    @説明変数x1とx2の効果量の指標

    Cohen's f 2
    = 重回帰の分散説明率/重回帰の誤差による分散説明率 = (Rx1x2)2/(1-(Rx1x2)2

    A追加した説明変数x2の効果量の指標

    Cohen's f 2
    = 重回帰で増加した分散説明率/重回帰の誤差による分散説明率 = ( (Rx1x2)2-(Rx1)2)/(1-(Rx1x2)2


    [3] 一元配置の分散分析の分散割合の指標 η(イータ: eta.),η2(イータ2乗),ηp2(偏イータ2乗, partial η2)  一元配置の分散分析の復習

    分散分析の「量的変数(数値)」と「質的変数(カテゴリーデータ)」の組合わせでは,相関係数 r (R)でなく相関比(correlation ratio)ηを記号として使用する.

    (i) 対応なし・標本数が同じ一元配置の分散分析表からの効果量計算   対応なし一元配置の分散分析の復習

    ・ 全体の平方和 = 群間(要因)の平方和 + 群内(誤差)の平方和,平均平方=平方和/自由度

     自由度 Df平方和 Sum Sq平均平方 Mean Sq統計量 F value Pr(>F)
    要因 A群間(要因)の自由度 dfa群間(要因)の平方和 SSa群間(要因)の平均平方 MSa群間(要因)のF値群間(要因)のp値
    誤差 E群内(誤差)の自由度 dfe群内(誤差)の平方和 SSe群内(誤差)の平均平方 MSe
    全体 T全体の自由度 dft全体の平方和 SSt

    @ F検定の標本効果量の指標 f = sqrt( SSa / (SSt-SSa) )

    f2 = 群間(要因)の平方和/群内(誤差)の平方和 = 群間の平方和/(全体の平方和 - 群間の平方和)

      = F値 * (dfa/dfe)

    A 回帰分析の標本効果量の指標 Eta-squared, η22 = 目的変数の分散のうち説明変数(要因)で説明できる割合 (式 3.39)p75

    η (標本相関比) = sqrt ( 群間(要因)の平方和/全体の平方和 )

    η2 = SSa / SSt = 群間(要因)の平方和/全体の平方和 = R2 (決定係数) (式 3.44)p78

    B バイアスを補正した標本効果量の指標 Omega-squared, ω2 = dfa * (MSa - MSe) / (SSt + MSe) (式 3.46)p78

    @fとAη2の標本効果量の関係 f2 = η2 / (1-η2) = R2 / (1-R2)


    (ii) 対応あり・標本数が同じ一元配置の分散分析表からの効果量計算   対応あり一元配置の分散分析の復習

    ・ 全体の平方和 = 群間(要因)の平方和 + 群内(被験者:subjects)の平方和 + 群内(誤差)の平方和,平均平方=平方和/自由度

     自由度 Df平方和 Sum Sq平均平方 Mean Sq統計量 F value Pr(>F)
    要因 A群間(要因)の自由度 dfa群間(要因)の平方和 SSa群間(要因)の平均平方 MSa群間(要因)のF値群間(要因)のp値
    被験者 S群内(被験者)の自由度 dfs群内(被験者)の平方和 SSs群内(被験者)の平均平方 MSs群内(被験者)のF値群内(被験者)p値
    誤差 E群内(誤差)の自由度 dfe群内(誤差)の平方和 SSe群内(誤差)の平均平方 MSe
    全体 T全体の自由度 dft全体の平方和 SSt

    @ F検定の標本効果量 f = sqrt( SSa / (SSt-SSa) )

    f2 = 群間(要因)の平方和/(群内(被験者)+群内(誤差)の平方和 )= 群間の平方和/(全体の平方和-群間の平方和)

    A 回帰分析の標本効果量 Eta-squared, η2 = SSa / SSt = 群間(要因)の平方和/全体の平方和 = R2 = 決定係数  (式 3.60)p85

    B 標本効果量 ηp2 =- SSa / (SSa + SSe), ηp2 = (偏イータ:ηp)^2 = 群間の平方和/(群間の平方和 + 誤差の平方和)  (式 3.61)p85

    C バイアスを補正した標本効果量 Omega-squared, ω2 = dfa * (MSa - MSe) / (SSt + MSs)  (式 3.68)p86

    @fとAη2の標本効果量の関係 f2 = η2/(1-η2) = R2 / (1-R2)


  4.  2X2分割表のカテゴリーデータの効果量

    χ2検定と連関係数(カテゴリデータの相関係数のようなもの)

    ・2X2分割表の連関係数Phi (φファイ) = sqrt (χ2値 / 総サンプル数)

    ・cXk分割表の連関係数クラメールの V = (φc ) = sqrt (χ2値 / 総サンプル数(min(c,k)-1)) = sqrt (φ2 / (min(c,k)-1))

    [1] Cohen's w (= r) = sqrt (χ2値 / 総サンプル数)

    [2] Cohen's h = 2*asin(sqrt(p1)) - 2*asin(sqrt(p2))

    [3] オッズ比(OR) リスク比(RR) Cohen's d (g) = (log(OR)*sqrt(3))/(pi)


4. 効果の大きさの目安と使用方法
    ・Cohenは表に示すように検定の種類により数値で効果の大きさの目安を提案した.

    ・例えば「効果量d=0.2」は2群の平均値のずれが0.2標準偏差であり,Cohenの目安によれば効果の大きさは小程度であると評価する.

     有意水準5%で平均値の差の有無が有意であったとしても,平均値の差の程度は「効果小」で2群の平均値には実質的な差は小さいと考える.

    ・効果量d=0.8は2群の平均値の差が0.8標準偏差であり,Cohenの目安によれば効果の大きさは大程度であると評価する


    表 Cohenの効果の大きさの目安

    検定の種類指標  効果小 small 効果中 medium 効果大 large
    2群の比率の差の検定 (カテゴリーデータ)h.20.50.80
    2群の平均値の差に関する検定d, g.20.50.80
    相関係数の検定r.10.30.50
    カイ二乗検定 (カテゴリーデータ)φ, w.10.30.50
    一元配置分散分析*1f
    η2
    ω2
    .10
    .01
    .01
    .25
    .06
    .09
    .40
    .14
    .25
    一般線形モデル(回帰分析・分散分析)*1f 2
    R2
    .02
    .02
    .15
    .13
    .35
    .26
    *1 "効果量と検定力分析入門",水本,竹内, より良い外国語教育研究のための方法,2010.
    ・Cohenの効果の大きさの目安はパッケージpwrの関数Cohen.ESで確認できる.


5. 参考資料:検定の種類毎に異なる効果量の計算方法を理解・検討すること.
  1. 効果量計算の参考文献
    ・"検定力分析入門 Rで学ぶ最新データ解析", 豊田秀樹 編著,東京図書,2009. -検定の種類毎の効果量計算の解説がある.
    ・"伝えるための心理統計 効果量・信頼区間・検定力",大久保街亜(まちあ),岡田謙介,勁草書房,2012.-効果量計算の公式を系統立てて解説.
    ・"Effect Size"--wikipedia 効果量の指標一覧を解説.式を利用する場合は他の文献と比較し確認は怠らないように.

  2. 水本,竹内,英語教育研究の効果量
    ・"研究論文における効果量の報告のために",水本,竹内,英語教育研究31,2008.pdf
    ・"効果量と検定力分析入門",水本,竹内, より良い外国語教育研究のための方法,2010. pdf
  3. 効果量に関するweb資料
    ・"クロス集計表カイ2乗値、p値、効果量、AIC一括リスト" pdf -香川大学fpr 3120  標本総数とp値・効果量の関係を見させてくれる.
    ・"実験心理学者にとっての効果量",井関龍太,2012.pdf -効果量利用の実態が報告されている.
    ・"第3回心理・医学系研究者のためのデータ解析環境Rによる統計学の研究会(土屋)" ppt
    ・"心理学における効果量をめぐる最近の話題",岡田謙介,2015.pdf
    ・"効果量と信頼区間: p 値だけでは不充分",大久保街亜,2013. pdf
  4. "A Power Primer", Jacob Cohen, Psychological Bulletin. Vol. 112 (1) July 1992, pp. 155-159
  5. "Statistical power --wikipedia
  6. "Rによるやさしい統計学", 山田剛史・杉澤武俊・村井潤一郎,オーム社,2008.
  7. シリウス先生の統計学ノートを借りて基礎用語の復習
    p値と有意水準
    サンプルサイズとp値
    第1種の誤りと第2種の誤り
    片側検定と両側検定

[ 目次に戻る ]