１．回帰分析
何名かの体重と身長の値が分かっているとき、体重の値は分かっているが、身長が不明の人がいるとする。このようなとき、すでに得ているデータから身長と体重の関係を調べ、その相関を求め、身長不明の人の身長を予測する。この様な分析方法を回帰分析という。
求めるものは身長であり、これを目的変量と呼ぶ。身長の値を予測するのは、体重からであるので、この体重のことを説明変量と呼ぶ。説明変量が１つの時を単回帰分析といい、説明変量が２つ以上の時を多重回帰分析という。
回帰分析では、説明変量は量的データであり、また目的変量も量的データである。
なお、回帰式で予測をするときには、説明変量の範囲内で予測することが望ましい。説明変量の範囲を大きく越えたところで予測すると誤差が大きくなり実用に適さなくなる。
１．１ 単回帰分析
正規母集団から抽出して得られた標本データｘ・ｙが下表のようにあり、ｘ・ｙ間にある関係があるものとする。
|
標 本 |
説明変量ｘ |
目的変量ｙ |
|
１ ２ … ｎ |
ｘ1 ｘ2 … ｘn |
ｙ1 ｙ2 … ｙn |
以上の標本データをＸＹグラフで描くいて、下のようになったとする
標本データｘ・ｙの間には右上がりの関係がありそうなので、ｘとｙの関係を表す適当な直線を考える。 目的変量ｙと説明変量ｘとの間に相関があるとき、
Ｙ＝ｂ1･ｘ＋ｂ0 なる直線を１本考え、実データとこの直線上の値との差をεとする。
Ｙ＝ｂ1･ｘ＋ｂ0 なる直線は全ての標本データについて、その残差が最小になるようにひく必要がある。この直線から各標本データとのズレ具合いを計るために、各残差の平方和をとり、この平方和を最小にするようにする。このような方法を最小２乗法という。
標本データは、直線Ｙ＝ｂ1･ｘ＋ｂ0 から残差（ε）分ずれているので、標本データは
ｙ＝ｂ1･ｘ＋ｂ0 ＋εと表す。
このことから線形回帰モデルを
ｙi＝β1･ｘi＋β0＋εi （i＝1,2…ｎ）とすると
残差εについて、
①εiとεjはお互いに独立であり、正規分布 Ｎ（０，σ2）に従う。
②εiの平均値（期待値）は０である。
③εiの分散は一定である。
このような仮定下で単回帰式を Ｙ＝ｂ1･ｘ＋ｂ0 とする。
いま、残差εに注目すると εi＝ｙi－Ｙi εi＝ｙi－ｂ1･ｘi－ｂ0 である。
この残差を全ての標本データについて合計し、その合計値を最小にするようなｂ0・ｂ1 を求め、この単回帰式を得る。
∑εi2 ＝∑（ｙi－ｂ1･ｘi－ｂ0）2 であるから
ｆ＝∑（ｙi－ｂ1･ｘi－ｂ0）2とすると
この式をｂ0，ｂ1で偏微分して、０とおくことにより、正規方程式を得て、式ｆを最小 にするｂ0・ｂ1を得ることができる。
１．２ 重回帰分析
それでは次に説明変量がｘ1･ｘ2の２変量になったときの回帰式を求める。
|
標 本 |
説明変量ｘ1 |
説明変量ｘ2 |
目的変量ｙ |
|
１ ２ … ｎ |
ｘ11 ｘ12 … ｘ1n |
ｘ21 ｘ22 … ｘ2n |
ｙ1 ｙ2 … ｙn |
説明変量が２変量あるので、単純に説明２変量（ｘ1とｘ2）の平均値をとって、その値と目的変量（ｙ）との相関を求めても、平均値をとる段階で失う情報量が大きいので正しい回帰式を得ることができない。
このように説明変量が２つ以上ある時の回帰分析を重回帰分析という。
1.2.1 重回帰式を求める。
２説明変量が次のようになっているときの重回帰直線を求める。
説明変量（ｘ1，ｘ2）と目的変量（ｙ）との間に相関関係があるとき
Ｙ＝ｂ1･ｘ1＋ｂ2･ｘ2＋ｂ0
なる平面を考え、実際の標本データからこのこの平面上への残差をεとすると
説明変量が２つある時の重回帰式は
ｙi＝ｂ1･ｘ1i＋ｂ2･ｘ2i＋ｂ0＋εi と表される。
残差εに注目すると εi＝ｙi－Ｙi
εi＝ｙi－（ｂ1･ｘ1i＋ｂ2･ｘ2i＋ｂ0）であるから
この残差平方和を求め、残差平方和が最小にするようなｂ0・ｂ1・ｂ2 を求めると、重回帰式を得ることができる。
一般に説明変量がｐ個ある時の線形重回帰モデルは
ｙi＝β1･ｘ1i＋β2･ｘ2i＋…＋βp･ｘpi＋β0＋εi （i＝1,2 …ｎ）
と表される。この時単回帰分析と同様に
残差εについて、
①εiとεjはお互いに独立であり、正規分布 Ｎ（０，σ2）に従う。
②εiの平均値（期待値）は０である。
③εiの分散は一定である。
との仮定下で重回帰予測式を
Ｙi＝ｂ1･ｘ1i＋ｂ2･ｘ2i＋…＋ｂp･ｘpi＋ｂ0 とする。
ｂ1･ｂ2…ｂpを偏回帰係数といい、 β1･β2…βp を母偏回帰係数という。
［残差平方和∑（εi）2 を最小にするようなｂ0･ｂ1･ｂ2 を求める。］
∑（εi）2 ＝∑｛ｙi－（ｂ1･ｘ1i＋ｂ2･ｘ2i＋ｂ0）｝2 を最小にするｂ0･ｂ1･ｂ2 を
求める。
ｆ＝∑（ｙi－ｂ1･ｘ1i－ｂ2･ｘ2i－ｂ0）2 とし、この式をｂ0･ｂ1･ｂ2で偏微分する。
1.2.2 偏差平方和・積和から重回帰式を求める
(1)説明変量が２個の時
説明変量ｘ1･ｘ2 の偏差平方和それぞれＳ11・Ｓ22、偏差積和をＳ12とすると
求める重回帰式を、Ｙi＝ｂ1･ｘ1i＋ｂ2･ｘ2i＋…＋ｂp･ｘpi＋ｂ0 とする、この回帰式の係数ｂ0･
１．３ 標準偏回帰係数
説明変量がどれくらい目的変量に影響を与えているか（寄与しているか）を見るには、求めた重回帰式の偏回帰係数を見ればよい。通常、偏回帰係数が大きいほど目的変量に与える影響が大きいので多く寄与しているといえる。しかし、説明変量間で単位が異なるときには、単位の影響を受けるので、単純に偏回帰係数の大小比較して決めることはできない。単位の影響を除くには、標本データを標準化する。データを標準化することにより、平均＝０・分散＝１となり単位の影響を受けなくなるので、標準化したデータから偏回帰 係数を求めるようにする。このように標準化したデータから得られた偏回帰係数を、標準 偏回帰係数という。
標準偏回帰係数の大きいほど、目的変量に与える影響が大きく、寄与の大きい変量である といえる。
１．４ 相関係数と決定係数
1.4.1 単回帰式における相関係数と決定係数
実測値ｙは、単回帰直線の付近にばらついて散在している。このばらつきの小さいほど単回 帰式のあてはまりがよい（精度が高い）直線といえる。また説明変量ｘの目的変量に与える影響が大きいといえる。つまり決定力が大きいといえる。
（１）重相関係数と決定係数
［重相関係数の検定］
標本から得られた重相関係数について、その母重相関係数（ρ）が無相関かどうかの検定を 行う。標本から得られた重相関係数をRとする時、その母相関係数（ρ）についてρ＝０の仮説につき、検定統計量をＦとすると
検定をおこなう
(1)仮説をたてる
仮 説 Ｈ0：ρ＝０ （母重相関係数は無相関である）
対立仮説 Ｈ1：ρ≠０ （母重相関係数は無相関ではない）
(2)検定統計量Ｆは自由度ｐ，ｎ－ｐ－１のＦ分布に従う。
(3)有為水準αで検定を実行する。
Ｆ≧Ｆp,n－p－1(α)であれば、仮説を棄却する。つまり、母重相関係数は有効であり、実測値と予測値の間には相関があるといえる。
重相関係数は、実測値ｙと予測値Ｙとの相関係数である。これに対して単純に２変量間の相関係数を単相関係数という。多変量データにおいて、２変量間の相関係数が本当に正しい相関を示すとは限らない。多変量においては２変量間の相関係数を求めても、その２変量以外の変量がこの２変量に影響を与えるからである。よって、多変量間における２変量の正しい相関係数を求めるには、相関係数を求める２変量以外の変量の影響を取り除いて（一定にして）相関係数を求める必要がある。このようにして求めた相関係数を偏相関係数という。
（２）偏相関係数
多変量データにおいて、任意の２変量間の単純な相関係数を単相関係数というが、これは相関をとる２変量以外の変量が、その２変量に影響を与えている相関係数である。これに対し、相関を求める２変量以外の他の変量の影響を取り除いた２変量間の相関係数を偏相関係数という。
いまＰ変量の任意の２変量間の単相関係数をｒijとする。
|
|
ｘ1 ｘ2 … ｘp |
|
ｘ1 ｘ2 … ｘp |
ｒ11 ｒ21
… ｒp1 ｒ21 ｒ22
… ｒp2 … ｒp1 ｒ2p
… ｒpp |
（３）自由度調整済み決定係数
決定係数や重相関係数は、説明変量の数を増やすと単純に増加する傾向がある。
そこで、単純に説明変量の数を増やしても、決定係数が単純に増加しないように調整した 自由度調整済み決定係数という。通常標本数がｎ個、説明変量がｎ－１個のものは分析することができない。必ず説明変量がｎ－２個以下にする必要がある。
自由度調整済み決定係数をＲ’2 とすると
１．５ 回帰式の信頼性
回帰式を使用して説明変量から目的変量の値を予測する時、その予測値がどのくらい信頼性 があるのかを検定する方法に、分散分析を用いる方法と相関係数を用いる方法がある。
1.5.1 分散分析を用いる場合
（１）単回帰のとき
説明変量ｘと実測値ｙと単回帰式から求めた予測値Ｙが下表のようである時
|
標 本 |
説明変量ｘ |
実測値ｙ |
予測値Ｙ |
|
１ ２ … ｎ |
ｘ1 ｘ2 … ｘn |
ｙ1 ｙ2 … ｙn |
Ｙ1 Ｙ2 … Ｙn |
予測値Ｙiは、Ｙ＝ｂ1･ｘ＋ｂ0の回帰式から求めた値
以上のデータをもとに、分散分析表を作成し回帰式の信頼性を検定する。
全体の変動（ＳT）を、回帰による変動（ＳR）と残差による変動（ＳE）とに分け、回帰による変動が残差による変動よりも小さいようであれば、回帰直線で求めた予測値は残差による影響の方が大きいので予測には役立たないと考える。
実測値の変動（ＳT）＝回帰による変動（ＳR）＋残差による変動（ＳE）
残差が小さいほど｢実測値の変動｣≒｢回帰による変動｣となり、よい予測値を得られる。
(1)変動を求める
右片側検定を行い、ＶRがＶEより大きいかどうか検定する。ＶR＞ＶEであれば、回帰による変動が残差による変動よりも全変動に与える影響が大きいので、回帰直線は予測に役立つといえる。
(5)検定を行う
(1)仮説をたてる
仮 説
Ｈ0：回帰直線は予測に役立たない（ＶR≒ＶE）
対立仮説
Ｈ1：回帰直線は予測に役立つ（ＶR＞ＶE）
(2)検定統計量Ｆを求める
(3)有為水準αで右片側検定を行う
Ｆ≧Ｆ1,n-2 (α)であれば、仮説Ｈ0を棄却し、対立仮説Ｈ1：回帰直線は予測に役立つを採択する。つまり、この回帰直線は予測に役立つとする。
以上をまとめて分散分析表を作成する。
分散比Ｆは自由度１，ｎ－２のＦ分布に従う
（２）重回帰のとき
説明変量がＰ個ある時の多変量データが下のようになっているとする
予測値はＹ＝ｂ1･ｘ1i＋ｂ2･ｘ2i＋…＋ｂp･ｘpi＋ｂ0 から得た値
ｎ：標本数 ｐ：説明変量の個数
単回帰同様に、全体の変動を回帰による変動と残差による変動とに分け、分散分析表を作 成し重回帰式の信頼性を検定する。
分散比Ｆは、自由度ｐ，ｎ－ｐ－１のＦ分布に従うので、これを利用して単回帰の場合と同様に回帰式の信頼性を検定することができる。
分散分析では、回帰式の信頼性を検定することはできるが、どれ位信頼できるかについて は不明である。
1.5.2 相関係数を用いる場合
相関係数Rの２乗は決定係数と呼ばれているが、この決定係数を利用して回帰式の信頼性 を見る。
