機械学習

線形回帰分析(応用その1) [Day8]

はじめに

こちらの記事は「線形回帰分析」に関する応用的な内容となっております。

「線形回帰分析の加法性や線形性って何?」

「説明変数間のシナジー効果を考慮するにはどうすればいいの?」

といった疑問に答えていきたいと思います!

tota
tota
文系出身データアナリストのtotaです!初心者でも分かるように解説していきますね!

なお「線形回帰分析」「重回帰分析」については以下の記事もご覧ください。

線形回帰分析とは? [Day6]はじめに この記事では機械学習における「線形回帰分析」について考えていきます。 「線形回帰ってなんで線形というの?」 「線...
重回帰分析とは? [Day7]はじめに この記事では機械学習における「重回帰分析」について考えていきます。 「重回帰分析ってどういうもの?」 「重回帰分...

線形回帰分析は単純思考型

少々おさらいですが、機械学習の学習スタンスには「丸暗記型」「単純思考型」があります。

丸暗記型は過去のデータ(説明変数と目的変数のセット)を丸暗記してしまうタイプ。

何を学習するかで答えが大きくブレるタイプです。

一方の単純思考型は物事を単純化しようという思いが強すぎるタイプ。

データの多様性を見過ごしてしまうタイプです。

機械学習の学習スタンスは「丸暗記型」と「単純思考型」がある!

この辺の話の詳細は以下の記事もご覧ください。

分散とバイアスのトレードオフとは? [Day2]この記事では機械学習における最重要論点である「分散とバイアスのトレードオフ」について、受験勉強における過去問学習を例にあげながら平易な言葉で説明します。...

本記事で考える線形回帰分析は、実は「単純思考型」の学習スタンスになります。

というのも線形回帰分析は「加法性」「線形性」という2つの前提を置くことで単純化を図っているからです。

線形回帰分析の加法性

まず「加法性」について。

加法性というのはある説明変数と目的変数との関係性のルールが他の説明変数とは無関係であるという前提です。

今回も以下のマンションに関するデータを見ながら具体的に考えてみましょう。

マンションデータで加法性を考えてみよう!
説明変数 駅徒歩3分 駅徒歩6分 駅徒歩9分
説明変数 面積80㎡ 面積70㎡ 面積65㎡
目的変数 8,000万円 7,700万円 7,200万円

このデータを見ると駅徒歩所要時間(以下「駅徒歩」)が長くなるほどマンション価格は安くなっているように思えます。

したがって画用紙の縦軸にマンション価格を、横軸に駅徒歩を設定すると、右肩下がりの傾きの直線が描けそうです。

線形回帰分析における関係性のルールとはこの傾き度合いのことです。

ここで線形回帰分析では横軸に「駅徒歩」を設定したときの傾き度合いが、別の説明変数である「部屋面積」からは何ら影響を受けないという前提を置いています。

つまり説明変数同士が互いの傾き度合いに影響を与えないという前提です。

これが線形回帰分析の加法性の前提と呼ばれるものです。

線形回帰分析は説明変数同士が相互に影響を与えない=加法性の前提がある!

線形回帰分析の線形性

次にもう一方の前提である「線形性」について。

これは傾き度合いが常に一定であることを言います。

駅徒歩とマンション価格の関係で考えると、

駅徒歩が1分から2分に変化したときのマンション価格の変化

駅徒歩が仮に20分から21分に変化したときのマンション価格の変化。

この変化の仕方が常に一定になるということです。

マンション価格の変化が常に一定のペースとなる。

これが「線形性」の前提になります。

線形回帰分析は変化のペースが常に一定=線形性の前提がある!

加法性線形性という前提。

これはかなり強固で頑固な前提です。

この前提のために確かに融通が効かない面もあります。

しかしこの前提のおかげで線形回帰分析は比較的シンプルで単純、

つまり単純思考型の学習スタンスと言えます。

線形回帰分析は加法性と線形性を前提としたシンプルで単純な手法!

シナジー効果の扱い

上記のような単純思考により見落としやすいものがあります。

それは説明変数間に隠れているシナジー効果です。

今回は書籍の販売に関する広告コスト(問題)書籍の販売部数(答え)のデータで考えてみましょう。

書籍販売データでシナジー効果を考えてみよう!
説明変数 電車広告10万円 電車広告150万円 電車広告290万円
説明変数 新聞広告290万円 新聞広告150万円 新聞広告10万円
目的変数 販売部数3万部 販売部数5万部 販売部数3万部

このデータを見るとどの場合も電車広告と新聞広告に費やしたコストの合計は300万円と同額になっていることがわかります。

しかしその結果としての販売部数は、電車広告か新聞広告のみにコストをかけた場合(表の右端と左端)よりも、電車広告と新聞広告に150万円ずつ費やした場合(表の中央)の方が多くなっています!

これは電車広告と新聞広告の間にシナジー効果が隠れていることを示唆しています。

つまり片方の広告による販売部数への効果の度合いが、もう片方の広告に費やしたコストの大きさに影響を受けているのです。

これは先に考えた線形分析の加法性と矛盾します。

加法性のもとでは片方の広告の販売部数への効果は、もう片方の広告に費やしたコストのレベル感には全く影響を受けないことになります。

したがって上記のようなシナジー効果を考慮するには分析における工夫が必要になります。

具体的にはシナジー効果を「掛け算」で表現します。

例えば上記の例で言えば、以下のような「電車広告と新聞広告のコストを掛け合わせた説明変数」を追加してあげます。

説明変数を追加してみよう!
説明変数 電車広告10万円 電車広告150万円 電車広告290万円
説明変数 新聞広告290万円 新聞広告150万円 新聞広告10万円
説明変数 上記の積=29百万円 上記の積=255百万円 上記の積=29百万円
目的変数 販売部数3万部 販売部数5万部 販売部数3万部

このような説明変数を追加してあげることで、加法性のもとでは考慮できなかったシナジー効果を線形回帰分析に盛り込むことが可能になります。

(上記の例では赤字の説明変数の「電車広告と新聞広告のコストを掛け合わせた金額」が増えるほど販売部数が増えるという関係性のルールを見出すことができます)

線形回帰分析はシナジー効果を見過ごしがち!

加速・減速の扱い

上記のシナジー効果は線形回帰分析の前提のうち加法性の問題に関する話でした。

一方で線形回帰分析の線形性についても注意すべき点があります。

ここでマンションの駅徒歩価格のデータを見てみましょう。

マンションデータで線形性の注意点を考えてみよう!
説明変数 駅徒歩1分 駅徒歩2分 駅徒歩20分 駅徒歩21分
目的変数 8,000万円 7,700万円 5,000万円 4,970万円

駅徒歩が長くなるほどマンション価格は安くなっています。

しかしその変化は「減速」していることがわかります。

駅徒歩が1分から2分に変化するとマンション価格は300万円安くなっています。

一方で駅徒歩が20分から21分に変化した際にはマンション価格は30万円しか安くなっていません。

これは線形回帰分析の線形性の前提と矛盾します。

というのも線形性の前提のもとでは、駅徒歩が1分長くなったときのマンション価格の下落幅は駅徒歩1分→2分だろうが20分→21分だろうが常に一定であるという想定があるからです。

上記の例のように変化の幅が減速したり加速したりする場合には工夫が必要です。

具体的には以下のように説明変数として駅徒歩を2乗した数字(駅徒歩2分なら2分×2分=4)を追加してあげます。

説明変数を追加して考えてみよう!
説明変数 駅徒歩1分 駅徒歩2分 駅徒歩20分 駅徒歩21分
説明変数 上記の2乗=1 上記の2乗=4 上記の2乗=400 上記の2乗=441
目的変数 8,000万円 7,700万円 5,000万円 4,970万円

(ここの解釈は少々複雑ですので慎重に考えていきましょう。)

駅徒歩が1分から2分に変化すると価格は8,000万円から7,700万円へと300万円安くなっています。

しかし「駅徒歩1分あたり300万円」というペースで安くなるとすると駅徒歩20分から21分の変化による価格の下落幅を大きく見積り過ぎてしまいます。

したがって駅徒歩20分から21分への変化によって価格が逆に高くなるように修正してあげたいと考えます(安くし過ぎる分を戻すイメージです!)

しかし駅徒歩1分から2分の変化に対しても同様に価格を高く修正してしまうと意味がありません。

そこで駅徒歩1分→2分の変化よりも、駅徒歩20分→21分の変化の方が大きいとみなせるような加工を行います。

その加工こそが上記表の赤字で追加した説明変数、つまり駅徒歩を2乗した数字になります。

2乗することで駅徒歩1分→2分の変化は「(2の2乗)ー(1の2乗)=3」なのに対し、

駅徒歩20分→21分の変化は「(21の2乗)ー(20の2乗)=41」となり、

後者の変化の方が大きいとみなすことができるようになります。

そしてこの変化のちがいを利用して価格変化の度合いを修正してあげることで、変化の減速(加速)を考慮した分析を行うことができるようになります。

まとめますと、線形性の前提のもとでは駅徒歩1分→2分の変化も、20分→21分の変化も同じ扱いとなり、変化の減速・加速を考慮できない。

そこで、変化の減速・加速を考慮するため、変化にちがいが生じるような加工を施す(今回の場合は2乗する)という話でした。

まとめ

最後に今回の記事のポイントを整理します。

  • 線形回帰分析には「加法性」「線形性」という前提がある
  • 加法性の前提は「シナジー効果」と矛盾する
  • シナジー効果を考慮するためには「掛け算」を使う
  • 線形性の前提は変化の「加速・減速」と矛盾する
  • 変化の加速・減速を考慮するためには変化にちがいが生じるような加工(2乗するなど)を施す

今回の記事は線形回帰分析の応用編ではありますが、線形回帰分析の本質に迫る論点でもありますのでぜひ一緒に理解しておきましょう。

今回は以上になります。

最後まで読んでいただきありがとうございました!

統計学ベーシック講座【確率分布・推定・検定】

統計学の基礎を効率的に学べるベーシック講座です。統計学の入り口となる「確率分布・推定・検定」について豊富な図を用いて説明していきます。

2021年3月リリース後すでに8,500人以上の方に受講いただきベストセラーとなっています!ぜひこの機会に統計学や確率思考という一生モノのスキルを一緒に身につけましょう!

※上記リンクからですと時期によってはクーポンが自動適用されます。
※Udemyは世界最大級のオンライン学習プラットフォームです。以下記事にてUdemyをご紹介しておりますのでよろしければこちらもご覧ください。

Udemyとは?セールでお得な世界最大級のオンライン学習プラットフォームこの記事では世界最大級のオンライン学習プラットフォームであるUdemyをご紹介していきます!まだUdemyを使っていない方やこれから使お...