検定を幾何で理解する 3: Score 検定は坂を見る

Wald 検定は、データにいちばん合う点まで行ってから、帰無仮説までの距離を測りました。

Score 検定は逆です。

帰無仮説の点に立ったまま、そこに坂道が残っているかを見ます。

尤度は地形として見られる

対数尤度 $\ell(\theta)$ は、地形の高さのように見ることができます。

高い場所ほど、データをよく説明します。

最尤推定量 $\hat{\theta}$ は、その地形でいちばん高い場所です。

帰無仮説の点 $\theta_0$ に立ったとき、もし周りに向かって強い上り坂があるなら、まだもっとデータに合う場所があるということです。

Score 検定は、この坂道を見ます。

Score は微分

Score は、対数尤度をパラメータで微分したものです。

$$U(\theta) = \frac{d}{d\theta}\ell(\theta)$$

高校数学の言葉で言えば、これは傾きです。

帰無仮説の点で

$$U(\theta_0)$$

が大きければ、その点ではまだ急な坂があります。

つまり、帰無仮説の場所はデータにとって自然な頂上ではなさそうです。

データが指す位置

制限あり/なしで見る対数尤度の差

帰無仮説 p0 と最尤点 p_hat の高さの差を 2 倍したものが、尤度比検定の統計量になります。

Wald との違い

Wald 検定は、いったん自由な最尤点まで行きます。

Score 検定は、帰無仮説の点から動きません。

この違いは実務でも大事です。

Score 検定では、対立仮説側の複雑なモデルを完全に推定しなくてもよい場合があります。

帰無仮説のモデルだけを当てはめ、その場所で「外へ出たがっている力」があるかを見るからです。

幾何では法線方向の力を見る

帰無仮説が地図の中の線や面だとします。

その線に沿った方向の坂は、帰無仮説の中で調整できます。

しかし、帰無仮説から外へ出る方向の坂が残っているなら、仮説の外へ動くともっとよくなる可能性があります。

Score 検定が見ているのは、この外向きの坂です。

今日のまとめ

Score 検定は、帰無仮説の点で尤度の坂を見る検定です。

推定値から距離を見る Wald 検定とは、見る場所が違います。

次回は、制限ありの頂上と制限なしの頂上の高さの差を見る尤度比検定を扱います。