ホームに戻る

５．　主成分分析

　主成分分析は、相関関係にあるいくつかの要因を合成（圧縮）して、いくつかの成分にし、その総合力や特性を求める方法である。主成分分析では、重回帰分析や判別分析のように目的変量は与えられていない。説明変量を圧縮してその特性を調べるものである。

　例えば、何人かの生徒の英語・数学・理科・社会の４つの成績データから、この４つの要因を圧縮し１成分のデータにすることにより、その生徒の総合力を調べたり、また文系能力・理系能力を調べるなどのようにある特性を求めたりする方法である。

５．１　主成分を求める

　８人の生徒の英語と数学の評価が下表のようであったとする。この個々の成績から総合力は誰が一番あるのか、また文系能力・理系能力のどちらがあるのかを調べる。

 

No	標本	英語 ｘ1	数学 ｘ2	合計	順位
１ ２ ３ ４ ５ ６ ７ ８	Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ	５ ５ ７ ８ ７ ４ ８ ４	８ ５ ４ ５ ２ ３ ７ ６	１３ １０ １１ １３ ９ ７ １５ １０	２ ５ ４ ２ ７ ８ １ ５
	平　均	６	５

 

単純に英語と数学の合計から順位をつけると、上の表のようになる。しかしこの順位が総合力を示しているかどうかは不明である。そこで英語（ｘ₁）と数学（ｘ₂）のデータを圧縮して１成分に合成し、尺度を１つにしてから総合力を求めることを考える。

  ２情報をできるだけその情報を失わないようにして、１つの情報に合成してからその総合力を調べてみる。２変量を合成したものをＺとすると、２変量を合成するので、適当な重みａiをつけて、Ｚ＝ａ₁･x₁＋ａ₂･x₂　とする。

 

     

 

 

  通常、主成分を求めるには、標本データの重心を通る直線を１本引く。この直線は適当な重み　ａiをつけ Ｚ＝ａ₁･x₁＋ａ₂･x₂＋…＋ａ_n･x_n なる直線を考える。そしてこの直線は、各点からの直線への距離が最小になるように引く必要がある。このようにするには、ａ₁²＋ａ₂²＋…＋ａ_n²＝１の条件下で合成変数Ｚの分散が最大になるようにする。また、得られる合成変数Ｚのうち分散が最大のものを第１主成分、その次に分散が大きく第１主成分とは無相関のものを２主成分という。一般には変量がｎ個あれば、ｎ個の主成分まで求めることができる。

　前の例において、重心を通る直線をＺ＝ａ₁･x₁＋ａ₂･x₂とする。この直線は、各標本データからのこの直線上への距離が最小になるように引く。

　いま、図の１点Ｄからこの直線Ｚ上に降ろした点をＱとすると

　　　　　

 

 ＰＤ²＝ＰＱ²＋ＤＱ² であり、ＰＤ² は実際の情報量であるから一定である。いま点Ｄからこの直線上への距離を最小にする（合成することにより失われる情報量を最小にする）ことを考えるのでＤＱ²をできるだけ小さくしたい、するとＰＱ² を最大にする（合成して求める情報量を最大にする）ことを考えればよい。

　なお、重心Ｐから点Ｑまでの距離を主成分得点という。この主成分得点が２変量を合成した値である。第一主成分をＺ₁＝ａ₁･x₁＋ａ₂･x₂ とすると、主成分得点の分散Ｑは

 

 

   ａ₁²＋ａ₂²＝１の条件下で、この主成分得点の分散Ｑを最大にするようなａ₁･ａ₂を求める。

 

　  ラグランジュの未定乗数法を用いて

　　Ｇ＝Ｑ−λ（ａ₁²＋ａ₂²−１）とおいて、Ｇをａ₁･ａ2で偏微分し０とおくことにより分散Ｑを最大にするａ₁･ａ₂ を求める。

 

          （Ｓ₁₁−λ）･ａ₁＋Ｓ₁₂･ａ₂＝０

          Ｓ₁₂･ａ₁＋（Ｓ₂₂−λ）･ａ₂＝０

          ａ₁²＋ａ₂²＝１

 

    これを行列を使用して表すと、下のような固有方程式となる。

　　　

   第１主成分としては、大きい方のλ値を採用する。

 

5.1.1　分散共分散行列から主成分を求める。

 主成分得点の分散Ｑを最大にするａ₁･ａ₂を求めるには、分散共分散行列を使用して行うことができる。

（１）説明変量２個の時、分散共分散行列から出発して主成分を求める。

　　　

    ＡＸ＝λＸ  （λ：実数）  を満たす時、λをＡの固有値、Ｘをλに属する固有ベクトルという。固有値λは主成分得点の分散に一致する。

 

　　　

 

    この固有方程式から固有値λを求める。

   

 

 （Ｓ₁₁−λ）･（Ｓ₂₂−λ）−Ｓ₁₂²＝０  となり、先ほど計算した結果と同じものを得ることができる。

  第１主成分の式はＺ₁＝ａ₁･ｘ₁＋ａ₂･ｘ₂　であるが、原点を０からデータの重心（ｘ₁，ｘ₂）に移動すると、となる。この式を用いて主成分得点を求めることができる。

（２）説明変量がｐ個ある時、分散共分散行列から出発して主成分を求める。

      説明変量がｐ個ある時の分散共分散行列をＡとすると

　　　　　

 

  この時  ＡＸ＝λＸ  （λ：実数） の固有方程式を解いて固有値λを得る。固有値λをλ₁≧λ₂≧…≧λ_p≧０とすると、固有値の大きい方法から順に、第１主成分・第２主成分…第ｐ主成分となるので、各λに属する固有ベクトルを求めると、各主成分の係数を得ることができる。

　　

から固有値λiを得る。

  最大の固有値λ₁から、第１主成分が得られるので、λ₁に属する固有ベクトルａiを求めて第１主成分の式が求められる。

  第１主成の式…  Ｚ₁＝ａ₁･ｘ₁＋ａ₂･ｘ₂＋…ａ_p･ｘ_p＋ａ₀

  同様にして、２番目に大きい固有値λ2から第２主成分の式を得ることができる。λ₂に属する固有ベクトルａjを求めて第２主成分の式が求められる。

 第２主成の式…  Ｚ₂＝ａ₁･ｘ₁＋ａ₂･ｘ₂＋…ａ_p･ｘp＋ａ₀

  以下、同様にして第ｐ主成分まで求めることができる。

5.1.2　相関行列から主成分を求める。

　説明変量の単位が異なるときには、単位の影響を受けてうまく主成分を求めることができない。このようなとき、単位の影響を取り除くには、データの標準化をすればよい。

      データの標準化は

           

 で変換したデータについて主成分を求めればよい。データの標準化を行うと、平均＝０　分散＝１となる。分散共分散行列はデータの標準化を行うと、相関行列となる。

（１）変量が２個の時、相関行列から出発して主成分を求める。

 

     固有方程式は

         ｜Ａ−λＥ｜＝０   （１−λ）² −ｒ₁₂² ＝０　λ＝１±ｒ₁₂

 

 

 

 

（２）変量が２個の時、相関行列から出発して主成分を求める。

 説明変量がｐ個ある時の相関行列をＡとすると

  分散共分散行列から出発したときと同様に  ＡＸ＝λＸ　（λ：実数）の固有方程式を解いて固有値λを得る。固有値λをλ₁≧λ₂≧…≧λ_p≧０とすると、固有値の大きい方法から順に、第１主成分・第２主成分…第ｐ主成分が得られ、各λに属する固有ベクトルを求めて、各主成分の係数を得る。

    

 

     から固有値λiを得る。

  最大の固有値λ₁から、第１主成分が得られるので、λ₁に属する固有ベクトルａiを求めて第１主成分の式が求められる。

  第１主成の式…  Ｚ₁＝ａ₁･ｘ₁'＋ａ₂･ｘ₂'＋…ａ_p･ｘ_p'＋ａ₀

     ただし、ｘi'は標準化した値である。

  同様にして、２番目に大きい固有値λ₂から第２主成分の式を得ることができる。λ₂に属する固有ベクトルａjを求めて第２主成分の式が求められる。

   第２主成の式…  Ｚ₂＝ａ₁･ｘ₁'＋ａ₂･ｘ₂'＋…ａ_p･ｘ_p'＋ａ₀

   以下、同様にして第ｐ主成分まで求めることができる。

   なお新しく求められた主成分は、説明変量を合成して得られるものであるから、新たに自分でその主成分が何を意味する変量であるか命名する必要がある。

 

５．２　例題について

5.2.1　主成分を求める

 

No	標本	英語（ｘ1）	数学（ｘ2）
１ ２ ３ ４ ５ ６ ７ ８	Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ	５ ５ ７ ８ ７ ４ ８ ４	８ ５ ４ ５ ２ ３ ７ ６
	平　均	６	５

 

  

            (2.5−λ)･(3.5−λ) − 0.125²=0    λ=3.515 , 2.484

 

  主成分得点の分散を大きくするのでλ = 3.515を第１主成分として採用する。

   第１主成分   λ₁ = 3.515 の時の固有ベクトルを求めると

　　　　　　ａ₁ = −0.122    ａ₂ = 0.9925     

     よって Z₁ ＝−0.1222･(x₁−6)＋0.9925･(x₂− 5) =−0.1222･x₁＋0.9925･x₂−4.229

   第２主成分   λ₂ = 2.484 から

    　　　　Z₂ ＝ 0.9925･x₁ ＋ 0.1222･x₂ − 6.566    となる。

 

5.2.2　主成分得点を求める

     第１主成分得点は、Z₁＝−0.1222･x₁＋0.9925･x₂−4.229 から求めると下表のようになる。

 

No	標本	英語 ｘ1	数学 ｘ2	第１主成分得点	順位
１ ２ ３ ４ ５ ６ ７ ８	Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ	５ ５ ７ ８ ７ ４ ８ ４	８ ５ ４ ５ ２ ３ ７ ６	3.0997 0.1222 −1.1147 −0.2444 −3.0997 −1.7406 1.7406 1.2369	１ ４ ６ ５ ８ ７ ２ ３
平均		６	５
分散					3.515

 

 第１主成分の式を見るとｘ₁（英語）の係数が（−）でｘ₂（数学）の係数が（＋）となっている。これから、第１主成分は理系能力を示すと考えられる。主成分得点からその点数の大きい順に順位をつけると、その順位が理系能力の順位であるといえる。

     これをグラフに描いてみると

 

          　

 

 

    第２主成分得点は、Z₁＝0.9925･x₁＋0.1222･x₂−6.566 から求めると下表のようになる。

 

 

No	標本	英語 ｘ1	数学 ｘ2	第２主成分得点	順位
１ ２ ３ ４ ５ ６ ７ ８	Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ	５ ５ ７ ８ ７ ４ ８ ４	８ ５ ４ ５ ２ ３ ７ ６	−0.6259 −0.9925 0.8703 1.985 0.6259 −2.2294 2.2294 −1.8628	５ ６ ３ ２ ４ ８ １７
平均		６	５	2.484
分散

 

 

 

 第２主成分の式を見るとｘ₁（英語）の係数とｘ₂（数学）の係数がともに（＋）となっている。これから、第２主成分は総合力を示すと考えられる。主成分得点からその点数の大きい順に順位をつけると、その順位が総合力の順位であるといえる。

 

 

これをグラフに描くと

    

 

  第１主成分得点の分散＝3.515　第２主成分得点の分散＝2.484であり。この値は固有値に一致していることが分かる。また第１主成分と第２主成分とは無相関であるから、お互いの直線は直交行する。係数同志掛け合わせると０となる。

　　　(−0.1222)×0.9925＋0.1222×0.9925 = 0

 

５．３　寄与率

 ｐ個の変量があると、主成分もｐ個求めることができる。しかし、主成分分析は、ｐ個の変量データを圧縮して分析する方法であるから、主成分をｐ個求める必要はない。

 そこで、第１主成分から順に第２主成分…第ｐ出成分とそれぞれの主成分がもとのデータをどれ位説明しているのかを示す尺度として、寄与率がある。

 固有値の大きいほど、主成分得点の分散が大きく、もとのデータを説明する力が大きい（情報量が多い）ので重要であるといえる。

 いま、下のように第ｐ主成分まであり、その固有値をそれぞれλiとすると

  寄与率は、それぞれの固有値を固有値の合計で割ったものである。

 

主成分	固有値	寄与率
第１主成分 第２主成分 … 第ｐ主成分	λ1 λ2 … λp	λ1／λT λ2／λT … λp／λT
合　計	�買ﾉi＝λT

 

 

  寄与率を第１主成分から順に累積していったものを、累積寄与率と呼ぶが、一般に累積寄与率が６０％以上になるまでの主成分を採用する。また相関行列から主成分を求めるとき　　　には、固有値が１以上のものを採用する。

   相関行列から主成分を求めたときの寄与率は

　　　

５．４　主成分負荷量

　もとのデータと主成分で求めたデータ間にどれくらい関係があるか見るためのものとして、主成分負荷量がある。主成分負荷量は、構造係数とも呼ばれている。

　主成分負荷量＝もとのデータと主成分得点との相関係数

  主成分負荷量と固有値との関係

　分散共分散行列から主成分を求めた時

   

 

 

５．５　採用する主成分の数について

　一般に、説明変量がｐ個あれば主成分も第ｐ主成分まで求めることができる。しかし主成分分析の目標自体が説明変量の圧縮であり、第ｐ主成分まで使用なくても十分にもとの情報を説明できる場合が少なくない。それでは、主成分をいくつまで取り上げればよいかということになる。主成分は、第１主成分が一番分散が大きく情報量も多いといえる。次に第２主成分というように徐々に情報量が小さくなるので、第１主成分から第ｎ主成分までの幾つの主成分を取り上げたらよいかを検討する。

5.5.1  幾つまでの主成分を取り上げたらよいかの目安

(1)累積寄与率が６０％以上のものまで主成分を取り上げる。

  累積寄与率が何％以上になるまで取り上げるべきかについては、特に基準はないが、最低でも６０％以上になるまでの主成分を取り上げたほうがよい。

(2)相関行列から出発したときには、固有値が１以上のものを取り上げる。