線形回帰分析（応用その２） [Day9]

はじめに

こちらの記事は「線形回帰分析」に関する応用的な内容「その２」です。

「線形回帰分析の「誤差」ってどうして大切なの？」

「外れ値が線形回帰分析に与える影響って何？」

「多重共線性はどうして問題なの？」

といった疑問に答えていきたいと思います！

なお「線形回帰分析（応用その１）」については以下の記事もご覧ください。

線形回帰分析（応用その１） [Day8]はじめに こちらの記事は「線形回帰分析」に関する応用的な内容となっております。 「線形回帰分析の加法性や線形性って何？」 ...

前回（Day8）は線形回帰分析の「加法性」と「線形性」という２つの前提について考えていきました。

その前提のために「シナジー効果」や「変化の加速・減速」を考慮できず、それらを考慮するためには分析の工夫が必要になるという話でした。

以下ではその他の線形回帰分析の注意点を見ていきたいと思います。

誤差のクセの強さ

線形回帰分析は過去のデータ（説明変数と目的変数のセット）を学習し、

各説明変数と目的変数との間に直線の関係性のルールを見出す分析手法でした。

この見出した直線の関係性のルールが、

学習したデータに対してちゃんと当てはまっているかどうか。

それを確認するために、見出した関係性のルールで学習済みのデータを再度解くことを考えてみます。

このとき重要なのが解答結果（予測値）と本当の答え（実測値）との誤差です。

もちろん誤差が小さくなっていることも重要ですが、誤差に「クセ」がないかどうかということも重要です。

というのも誤差にクセがあるということは、見出した関係性のルールではこの問題をうまく解けないことを示唆しているからです。

誤差にクセがある状態とはどういう状態でしょうか。

以下のマンションの価格と駅徒歩所要時間（以下「駅徒歩」）のデータで考えてみます。

学習用の問題と答えのデータ（上２行）に加えて、

見出した関係性のルールで予測した値と目的変数（実測値）との誤差（下２行）を表にしています。

上記の表の誤差には２つのクセがあることがわかります。

１つは両端の誤差のクセです。

駅徒歩５〜15分のときは誤差がプラスの値になっているのに対し、

両端の駅徒歩１分と20分のときの誤差はマイナスになっています。

このように誤差の値が両端部分だけ他の部分と変わってくることはしばしば起こりうることですので注意するようにしましょう。

もう１つの誤差のクセは誤差の規則性です。

もう一度先ほどの表を見てみましょう。

上記の例では駅徒歩５〜15分のときの誤差の値を見ると連続してプラスになっています。

この区間では誤差がプラスになるという規則性を見い出せます。

このような誤差の規則性もしばしば見られる誤差のクセですので注意しておきましょう。

外れ値は２タイプ

線形回帰分析では外れ値にも注意する必要があります。

というのも線形回帰分析が推定しようとする「直線の傾き度合い」は外れ値によって左右されやすいからです。

外れ値にも２つのタイプがあります。

１つは目的変数の値が「外れて」しまっているタイプ、

もう１つは説明変数の値が「外れて」しまっているタイプです。

以下のマンション（価格と駅徒歩）のデータで考えてみましょう。

まず駅徒歩10分のときの価格（目的変数の値）が「外れて」います。

駅徒歩10分のときの価格は7,500万円で、

駅徒歩８、９、11分のときの価格と比べて金額がかなり高くなっています。

これが「目的変数の値が外れるタイプ」です。

また、説明変数を見ると駅徒歩30分というデータがあります。

これはその他の説明変数の値（駅徒歩８〜11分）から大きく外れています。

このような外れ値が「説明変数の値が外れるタイプ」です。

なお、説明変数が複数種類あるときは説明変数を組み合わせたときの外れ具合も外れ値であるかどうかの判断材料となります。

このような外れ値は線形回帰分析により推定する「直線の傾き度合い」に大きな影響を与えます。

線形回帰分析は線形性、つまり傾き度合いは常に一定という前提を持っていますので、そのような傾き度合いへの影響は見過ごせません。

多重共線性

最後に多重共線性の話です。

多重共線性は説明変数が複数種類あるときに異なる説明変数間に強い関係性があることを言います。

前回（Day8）も見た以下のマンションに関するデータ（駅徒歩、面積、価格）を見てみましょう。

説明変数	駅徒歩３分	駅徒歩６分	駅徒歩９分
説明変数	面積80㎡	面積70㎡	面積65㎡
目的変数	8,000万円	7,700万円	7,200万円

多重共線性とは上記のデータで言うと、駅徒歩が長くなるほど面積は小さくなるというような説明変数間における関係性のことです。

多重共線性の問題点はどちらかの説明変数の影響力を打ち消してしまうことです。

上記の例では駅徒歩が長く、面積が小さくなるほど価格が安くなっています。

しかしこれを線形回帰分析すると、

駅徒歩が長くなるほど価格は安くなるという関係は抽出できるのですが、

面積が小さくなるほど価格が安くなると言う関係を見落とすことになります。

したがって線形回帰分析においては説明変数間に強い関係性がないかどうかをチェックした上で分析を行う必要があります。

まとめ

最後に今回の記事のポイントを整理します。

線形回帰分析はシンプルでわかりやすい一方で奥が深い分析手法です。

論点も多く理解が大変なところもあるかもしれませんが、

そんなときは線形回帰分析の本質である「加法性」と「線形性」に立ち戻って考えてみるとよいかもしれません。

今回は以上になります。

最後まで読んでいただきありがとうございました！

統計学ベーシック講座【確率分布・推定・検定】

統計学の基礎を効率的に学べるベーシック講座です。統計学の入り口となる「確率分布・推定・検定」について豊富な図を用いて説明していきます。

2021年3月リリース後すでに20,000人以上の方に受講いただき大人気ベストセラーコースとなっています！ぜひこの機会に統計学や確率思考という一生モノのスキルを一緒に身につけましょう！

統計学講座をみる

※上記リンクからですと時期によってはクーポンが自動適用されます。
※Udemyは世界最大級のオンライン学習プラットフォームです。以下記事にてUdemyをご紹介しておりますのでよろしければこちらもご覧ください。

Udemyとは？セールでお得な世界最大級のオンライン学習プラットフォームこの記事では世界最大級のオンライン学習プラットフォームであるUdemyをご紹介していきます！まだUdemyを使っていない方やこれから使お...