はじめに
こちらの記事は「線形回帰分析」に関する応用的な内容となっております。
「線形回帰分析の加法性や線形性って何？」
「説明変数間のシナジー効果を考慮するにはどうすればいいの？」
といった疑問に答えていきたいと思います！
なお「線形回帰分析」「重回帰分析」については以下の記事もご覧ください。
線形回帰分析は単純思考型
少々おさらいですが、機械学習の学習スタンスには「丸暗記型」と「単純思考型」があります。
丸暗記型は過去のデータ（説明変数と目的変数のセット）を丸暗記してしまうタイプ。
何を学習するかで答えが大きくブレるタイプです。
一方の単純思考型は物事を単純化しようという思いが強すぎるタイプ。
データの多様性を見過ごしてしまうタイプです。
この辺の話の詳細は以下の記事もご覧ください。
本記事で考える線形回帰分析は、実は「単純思考型」の学習スタンスになります。
というのも線形回帰分析は「加法性」と「線形性」という２つの前提を置くことで単純化を図っているからです。
線形回帰分析の加法性
まず「加法性」について。
加法性というのはある説明変数と目的変数との関係性のルールが他の説明変数とは無関係であるという前提です。
今回も以下のマンションに関するデータを見ながら具体的に考えてみましょう。
| 説明変数 | 駅徒歩３分 | 駅徒歩６分 | 駅徒歩９分 |
|---|---|---|---|
| 説明変数 | 面積80㎡ | 面積70㎡ | 面積65㎡ |
| 目的変数 | 8,000万円 | 7,700万円 | 7,200万円 |
このデータを見ると駅徒歩所要時間（以下「駅徒歩」）が長くなるほどマンション価格は安くなっているように思えます。
したがって画用紙の縦軸にマンション価格を、横軸に駅徒歩を設定すると、右肩下がりの傾きの直線が描けそうです。
線形回帰分析における関係性のルールとはこの傾き度合いのことです。
ここで線形回帰分析では横軸に「駅徒歩」を設定したときの傾き度合いが、別の説明変数である「部屋面積」からは何ら影響を受けないという前提を置いています。
つまり説明変数同士が互いの傾き度合いに影響を与えないという前提です。
これが線形回帰分析の加法性の前提と呼ばれるものです。
線形回帰分析の線形性
次にもう一方の前提である「線形性」について。
これは傾き度合いが常に一定であることを言います。
駅徒歩とマンション価格の関係で考えると、
駅徒歩が１分から２分に変化したときのマンション価格の変化と
駅徒歩が仮に20分から21分に変化したときのマンション価格の変化。
この変化の仕方が常に一定になるということです。
マンション価格の変化が常に一定のペースとなる。
これが「線形性」の前提になります。
加法性と線形性という前提。
これはかなり強固で頑固な前提です。
この前提のために確かに融通が効かない面もあります。
しかしこの前提のおかげで線形回帰分析は比較的シンプルで単純、
つまり単純思考型の学習スタンスと言えます。
シナジー効果の扱い
上記のような単純思考により見落としやすいものがあります。
それは説明変数間に隠れているシナジー効果です。
今回は書籍の販売に関する広告コスト（問題）と書籍の販売部数（答え）のデータで考えてみましょう。
| 説明変数 | 電車広告10万円 | 電車広告150万円 | 電車広告290万円 |
|---|---|---|---|
| 説明変数 | 新聞広告290万円 | 新聞広告150万円 | 新聞広告10万円 |
| 目的変数 | 販売部数3万部 | 販売部数5万部 | 販売部数3万部 |
このデータを見るとどの場合も電車広告と新聞広告に費やしたコストの合計は300万円と同額になっていることがわかります。
しかしその結果としての販売部数は、電車広告か新聞広告のみにコストをかけた場合（表の右端と左端）よりも、電車広告と新聞広告に150万円ずつ費やした場合（表の中央）の方が多くなっています！
これは電車広告と新聞広告の間にシナジー効果が隠れていることを示唆しています。
つまり片方の広告による販売部数への効果の度合いが、もう片方の広告に費やしたコストの大きさに影響を受けているのです。
これは先に考えた線形分析の加法性と矛盾します。
加法性のもとでは片方の広告の販売部数への効果は、もう片方の広告に費やしたコストのレベル感には全く影響を受けないことになります。
したがって上記のようなシナジー効果を考慮するには分析における工夫が必要になります。
具体的にはシナジー効果を「掛け算」で表現します。
例えば上記の例で言えば、以下のような「電車広告と新聞広告のコストを掛け合わせた説明変数」を追加してあげます。
| 説明変数 | 電車広告10万円 | 電車広告150万円 | 電車広告290万円 |
|---|---|---|---|
| 説明変数 | 新聞広告290万円 | 新聞広告150万円 | 新聞広告10万円 |
| 説明変数 | 上記の積=29百万円 | 上記の積=255百万円 | 上記の積=29百万円 |
| 目的変数 | 販売部数3万部 | 販売部数5万部 | 販売部数3万部 |
このような説明変数を追加してあげることで、加法性のもとでは考慮できなかったシナジー効果を線形回帰分析に盛り込むことが可能になります。
（上記の例では赤字の説明変数の「電車広告と新聞広告のコストを掛け合わせた金額」が増えるほど販売部数が増えるという関係性のルールを見出すことができます）
加速・減速の扱い
上記のシナジー効果は線形回帰分析の前提のうち加法性の問題に関する話でした。
一方で線形回帰分析の線形性についても注意すべき点があります。
ここでマンションの駅徒歩と価格のデータを見てみましょう。
| 説明変数 | 駅徒歩１分 | 駅徒歩２分 | 駅徒歩20分 | 駅徒歩21分 |
|---|---|---|---|---|
| 目的変数 | 8,000万円 | 7,700万円 | 5,000万円 | 4,970万円 |
駅徒歩が長くなるほどマンション価格は安くなっています。
しかしその変化は「減速」していることがわかります。
駅徒歩が１分から２分に変化するとマンション価格は300万円安くなっています。
一方で駅徒歩が20分から21分に変化した際にはマンション価格は30万円しか安くなっていません。
これは線形回帰分析の線形性の前提と矛盾します。
というのも線形性の前提のもとでは、駅徒歩が１分長くなったときのマンション価格の下落幅は駅徒歩１分→２分だろうが20分→21分だろうが常に一定であるという想定があるからです。
上記の例のように変化の幅が減速したり加速したりする場合には工夫が必要です。
具体的には以下のように説明変数として駅徒歩を２乗した数字（駅徒歩２分なら２分×２分＝４）を追加してあげます。
| 説明変数 | 駅徒歩１分 | 駅徒歩２分 | 駅徒歩20分 | 駅徒歩21分 |
|---|---|---|---|---|
| 説明変数 | 上記の２乗=1 | 上記の２乗=4 | 上記の２乗=400 | 上記の２乗=441 |
| 目的変数 | 8,000万円 | 7,700万円 | 5,000万円 | 4,970万円 |
（ここの解釈は少々複雑ですので慎重に考えていきましょう。）
駅徒歩が１分から２分に変化すると価格は8,000万円から7,700万円へと300万円安くなっています。
しかし「駅徒歩１分あたり300万円」というペースで安くなるとすると駅徒歩20分から21分の変化による価格の下落幅を大きく見積り過ぎてしまいます。
したがって駅徒歩20分から21分への変化によって価格が逆に高くなるように修正してあげたいと考えます（安くし過ぎる分を戻すイメージです！）。
しかし駅徒歩１分から２分の変化に対しても同様に価格を高く修正してしまうと意味がありません。
そこで駅徒歩１分→２分の変化よりも、駅徒歩20分→21分の変化の方が大きいとみなせるような加工を行います。
その加工こそが上記表の赤字で追加した説明変数、つまり駅徒歩を２乗した数字になります。
２乗することで駅徒歩１分→２分の変化は「(２の２乗)ー(１の２乗)＝３」なのに対し、
駅徒歩20分→21分の変化は「(21の２乗)ー(20の２乗)＝41」となり、
後者の変化の方が大きいとみなすことができるようになります。
そしてこの変化のちがいを利用して価格変化の度合いを修正してあげることで、変化の減速（加速）を考慮した分析を行うことができるようになります。
まとめますと、線形性の前提のもとでは駅徒歩１分→２分の変化も、20分→21分の変化も同じ扱いとなり、変化の減速・加速を考慮できない。
そこで、変化の減速・加速を考慮するため、変化にちがいが生じるような加工を施す（今回の場合は２乗する）という話でした。
まとめ
最後に今回の記事のポイントを整理します。
- 線形回帰分析には「加法性」と「線形性」という前提がある
- 加法性の前提は「シナジー効果」と矛盾する
- シナジー効果を考慮するためには「掛け算」を使う
- 線形性の前提は変化の「加速・減速」と矛盾する
- 変化の加速・減速を考慮するためには変化にちがいが生じるような加工（２乗するなど）を施す
今回の記事は線形回帰分析の応用編ではありますが、線形回帰分析の本質に迫る論点でもありますのでぜひ一緒に理解しておきましょう。
今回は以上になります。
最後まで読んでいただきありがとうございました！
統計学の基礎を効率的に学べるベーシック講座です。統計学の入り口となる「確率分布・推定・検定」について豊富な図を用いて説明していきます。
2021年3月リリース後すでに20,000人以上の方に受講いただき大人気ベストセラーコースとなっています！ぜひこの機会に統計学や確率思考という一生モノのスキルを一緒に身につけましょう！
※上記リンクからですと時期によってはクーポンが自動適用されます。
※Udemyは世界最大級のオンライン学習プラットフォームです。以下記事にてUdemyをご紹介しておりますのでよろしければこちらもご覧ください。
