Lasso回帰とリッジ回帰の違いを徹底比較｜中学生にもわかるやさしい機械学習解説

---

Lasso回帰とリッジ回帰の基本を押さえよう

機械学習の世界には、データを使って未来を予測する「回帰」と呼ばれるやり方があります。予測の精度を高めるには、モデルが「過剰にデータに合わせすぎる」過学習を起こさないように、正則化という工夫を使います。この正則化には主に二つの方法があります。ひとつは Lasso回帰、もうひとつは リッジ回帰です。Lasso回帰は「L1正則化」と呼ばれ、特徴量の中で重要でないものをうっかり排除してしまう力があります。リッジ回帰は「L2正則化」で、すべての特徴量を少しずつ抑えつつ、全体のバランスを整える性質があります。式で見ると、Lassoは損失関数に Σ|β_j|という項を追加し、リッジは Σβ_j^2という項を追加します。ここでβ_jは各特徴量の係数、λは「どれだけ正則化を強くするか」を決める値です。λが大きいと規制が強くなり、係数はどんどん小さくなり、最終的にはいくつかのβが0になることもあります。これが「特徴量の選択」を自然にしてくれる点の特徴です。逆にλが小さいと、正則化の力は弱くなり、元の回帰に近い推定になりがちです。

つまり、Lassoは「必要な特徴だけを残して、あとは切る」ように働くことがあり、モデルをスリムにする手助けをしてくれます。リッジは、複数の特徴が互いに似ている（相関が高い）場合でも、それぞれの影響をできるだけ保ちながらごく小さく抑え、予測の安定性を高める傾向があります。

この二つをうまく使い分けるには、データの性質をまず知ることが大切です。データ中に意味のない特徴が混ざっていて、かつその数が多いならLassoの力を借りて特徴選択をするのが有利な場合があります。反対に、特徴同士が互いに情報を補い合っているような場面では、リッジを選ぶ方が良い結果になることが多いです。これらの判断を助けてくれるのが、交差検証と呼ばれる方法です。データを複数の層に分け、λを変えながらモデルを評価して、テストデータでの誤差が最も小さくなるλを探します。こうして適切なλを決めると、過学習を抑えつつ、解釈しやすさと予測力のバランスがとれたモデルを作ることができます。

表で見るLassoとRidgeの違い

<table>項目LassoRidge正則化の形L1L2特徴量の扱い重要でないものを0にする全特徴を少しずつ抑える特徴量選択の有無可能不可（0にはならないが小さくなるだけ）相関がある場合場合によって不安定安定解釈のしやすさ良いやや難しい

結論として、データの性質に合わせてLassoとリッジを選ぶことが大事です。どちらを使うべきか迷ったら、まず前処理と交差検証でλを探す癖をつけ、Elastic Netのような組み合わせも視野に入れてみましょう。

ピックアップ解説

今日はL1正則化についてのちょっとした雑談をひとつ。君が新しいゲームキャラを作るとき、ステータスをどう振るかを考える場面を思い出してみて。L1正則化は、データ内の重要でない能力値をぐっと抑え込み、必要なものだけ残してくれる仕組みだ。例えば、数多くの特徴のうち、影響が薄いものは0に近づけられ、結果的に解釈がしやすいモデルになる。これが「部屋の整理整頓」で、係数が0になるとその特徴は実際には使われていないと判断されるからだ。反対に、影響のある特徴にはしっかりと力を残して、合計の予測力を保つ。正則化の力はλというボリュームで決まる。大きいと強く、少ないと控えめ。そんな感じの話です。

---