統計で英語多読 5-2: 点推定 — 推定量が持つべき性質と不偏分散

「大人のための英語多読図書館」へようこそ。今回は、標本から母集団の値を一点で言い当てる「点推定」と、良い推定量が満たすべき不偏性・一致性・有効性、そして標本分散をn-1で割る理由を、英語の文章でたどっていきます。

📊 このユニットの情報 語数: 約740語 / 推定読了時間: 5〜8分 / 難易度: ★★☆☆☆(初中級)

Learning Objectives

みなさんこんにちは。大人のための英語多読図書館へようこそ。

サンプルをうまく選べたら、次はそのサンプルデータを使って母集団の姿を推測します。例えば、「サンプルの平均値」から「母集団の平均値（母平均）」を予測したいとします。このように、特定の一つの値で「ピンポイントに」母集団の値を予測することを「点推定」と呼びます。

しかし、どんな計算方法でも良い推定量と言えるわけではありません。良い推定量には、満たすべきいくつかの性質があります。今回は、「不偏性」「一致性」「有効性」という3つの重要な性質を学びます。さらに、多くの人が統計学でつまずくポイント、「なぜ標本分散を計算するときにn-1で割るのか？」という長年の疑問にも、ついに答えが出ます。

それでは今回も多読を楽しんでいきましょう。

Summary

Point estimation is the process of using a sample statistic to calculate a single value (an estimate) that serves as the best guess for an unknown population parameter.
An estimator is the rule or formula used to calculate the estimate (e.g., the sample mean formula). An estimate is the specific value obtained from a sample.
There are three desirable properties for a good estimator: unbiasedness, consistency, and efficiency.
Unbiasedness: An estimator is unbiased if its expected value (the average of estimates from all possible samples) is equal to the true population parameter.
Consistency: An estimator is consistent if the estimate gets closer to the true population parameter as the sample size (\(n\)) increases.
Efficiency: Among different unbiased estimators, the one with the smallest variance is the most efficient.
To estimate the population variance, we use unbiased variance, which has a denominator of \(n-1\). Dividing by \(n\) would consistently underestimate the true population variance, making it a biased estimator.

Explanation

Estimator vs. Estimate

Before we dive into the properties, let's clarify two key terms: estimator and estimate. Think of an estimator as a recipe and an estimate as the cake you bake. - An estimator is the formula or rule we use. For example, the formula for the sample mean, \(\bar{x} = \frac{\sum x_i}{n}\), is an estimator. - An estimate is the actual number we get after plugging our sample data into the formula. If our sample values are {2, 4, 6}, the estimate of the mean is \((2+4+6)/3 = 4\).

Our goal is to find the best "recipe" (estimator) to make the most accurate "cake" (estimate). So, what makes a good estimator?

Properties of a Good Estimator

Statisticians agree that good estimators should ideally have three properties: unbiasedness, consistency, and efficiency.

1. Unbiasedness An estimator is unbiased if, on average, it hits the true population parameter. Imagine you are shooting arrows at a target. You might not hit the bullseye every time, but if your shots are centered around the bullseye, your aim is unbiased.

Mathematically, the expected value of the estimator equals the true population parameter. The sample mean (\(\bar{x}\)) is a perfect example of an unbiased estimator for the population mean (\(\mu\)). If you were to take many, many samples and calculate the mean for each one, the average of all those sample means would be exactly equal to the true population mean.

2. Consistency An estimator is consistent if it gets more accurate as the sample size (\(n\)) increases. In other words, as you collect more data, your estimate gets closer and closer to the true value of the population parameter. The sample mean is also a consistent estimator. A mean calculated from a sample of 10,000 people will almost certainly be closer to the true population mean than a mean from a sample of 10 people.

3. Efficiency Suppose you have two different estimators that are both unbiased. How do you choose between them? You should choose the one that is more efficient. An efficient estimator is one that has less variability in its estimates. Its values don't jump around as much from sample to sample.

Statistically, this means it has the smallest variance. A smaller variance means your estimate from a single sample is more likely to be close to the true value. The sample mean is also the most efficient unbiased estimator of the population mean.

The Mystery of Dividing by n-1

Now, let's solve a common puzzle in statistics. When we calculate the variance of a population, we use the formula: \(\sigma^2 = \frac{\sum (x_i - \mu)^2}{N}\). It seems logical that to estimate this from a sample, we would use: \(\frac{\sum (x_i - \bar{x})^2}{n}\).

However, this formula gives an estimate that is, on average, slightly too small. It is a biased estimator.

Why? The reason is that we are using the sample mean (\(\bar{x}\)) in the formula instead of the true population mean (\(\mu\)). The sum of squared differences from the sample mean is always the smallest possible. This means \(\sum (x_i - \bar{x})^2\) is always a bit smaller than \(\sum (x_i - \mu)^2\) would be.

To correct for this slight underestimation, we make a small adjustment: we divide by \(n-1\) instead of \(n\). Unbiased Sample Variance: \(s^2 = \frac{\sum (x_i - \bar{x})^2}{n-1}\)

By making the denominator slightly smaller, we make the final value slightly larger, correcting the bias. This is why \(s^2\) is called the unbiased variance. It provides an unbiased estimate of the population variance, \(\sigma^2\). This concept, known as degrees of freedom (\(n-1\)), is a fundamental idea that we will see again in many statistical tests.

まとめ

今回は、標本の統計量を使って母集団の値を一点で言い当てる「点推定」を見てきました。計算の規則そのものである「推定量」と、そこから得られる具体的な値「推定値」を区別したうえで、良い推定量が満たすべき3つの性質、すなわち平均的に真の値を射抜く不偏性、サンプルを増やすほど真の値に近づく一致性、ばらつきが最も小さい有効性を学びました。そして、標本分散をnではなくn-1で割るのは、標本平均を使うことで生じる過小評価を補正し、不偏な推定にするためだ、という長年の疑問にも答えが出ました。

次回は、一点で言い当てる点推定の限界をふまえ、推定に「幅」を持たせる「区間推定」を取り上げ、「95%信頼区間」という言葉の正しい意味を見ていきます。

日本語訳(全文)

英文を最後まで読み終えてから、答え合わせ用にお使いください。多読の原則として、まずは訳を見ずに英文だけで理解を試みることをおすすめします。

Summary

点推定とは、未知の母数（母集団のパラメータ）に対する最良の推測となる単一の値（推定値）を、標本統計量を使って計算する手続きのことです。
推定量とは、推定値を計算するために使う規則や公式のことです（たとえば標本平均の公式）。推定値とは、ある標本から得られる具体的な値のことです。
良い推定量には、望ましい3つの性質があります。不偏性、一致性、有効性です。
不偏性: 推定量の期待値（あらゆる可能な標本から得られる推定値の平均）が、真の母数に等しいとき、その推定量は不偏であるといいます。
一致性: 標本サイズ（\(n\)）が大きくなるにつれて推定値が真の母数に近づいていくとき、その推定量は一致性を持つといいます。
有効性: 異なる不偏推定量のうち、分散が最も小さいものが、最も有効です。
母分散を推定するときには、分母が\(n-1\)である不偏分散を使います。\(n\)で割ると、真の母分散をつねに過小評価してしまい、偏った推定量になってしまいます。

推定量と推定値

性質に踏み込む前に、2つの重要な用語、推定量と推定値をはっきりさせておきましょう。推定量をレシピ、推定値を焼き上がったケーキだと考えてください。 - 推定量とは、私たちが使う公式や規則のことです。たとえば、標本平均の公式 \(\bar{x} = \frac{\sum x_i}{n}\) は推定量です。 - 推定値とは、標本データを公式に当てはめて得られる実際の数値のことです。もし標本の値が {2, 4, 6} なら、平均の推定値は \((2+4+6)/3 = 4\) です。

私たちの目標は、最も正確な「ケーキ」（推定値）を作るための最良の「レシピ」（推定量）を見つけることです。では、何が良い推定量を作るのでしょうか。

良い推定量の性質

統計学者たちは、良い推定量は理想的には3つの性質を持つべきだという点で一致しています。不偏性、一致性、有効性です。

1. 不偏性（Unbiasedness） 推定量が平均的に真の母数を射抜くとき、その推定量は不偏です。的に向かって矢を射ていると想像してください。毎回ど真ん中に当たるわけではなくても、もし射た矢が中心のまわりに集まっているなら、あなたの狙いは偏っていません。

数学的には、推定量の期待値が真の母数に等しい、ということです。標本平均（\(\bar{x}\)）は、母平均（\(\mu\)）に対する不偏推定量の完璧な例です。もし何度も何度も標本を取り、それぞれについて平均を計算したなら、それらすべての標本平均の平均は、ちょうど真の母平均に等しくなります。

2. 一致性（Consistency） 推定量が、標本サイズ（\(n\)）が大きくなるにつれてより正確になるとき、その推定量は一致性を持ちます。言い換えれば、より多くのデータを集めるほど、推定値は母数の真の値にどんどん近づいていきます。標本平均は一致推定量でもあります。10,000人の標本から計算した平均は、10人の標本から計算した平均よりも、ほぼ確実に真の母平均に近くなります。

3. 有効性（Efficiency） どちらも不偏である2つの異なる推定量があるとしましょう。どちらを選べばよいでしょうか。より有効なほうを選ぶべきです。有効な推定量とは、推定値のばらつきがより小さいもののことです。その値は、標本ごとにあまり大きく変動しません。

統計的には、これは分散が最も小さいことを意味します。分散が小さいほど、1つの標本から得た推定値が真の値に近い可能性が高くなります。標本平均は、母平均の最も有効な不偏推定量でもあります。

n-1で割ることの謎

それでは、統計学でよくあるパズルを解いてみましょう。母集団の分散を計算するとき、私たちは次の公式を使います。\(\sigma^2 = \frac{\sum (x_i - \mu)^2}{N}\)。これを標本から推定するには、\(\frac{\sum (x_i - \bar{x})^2}{n}\) を使えばよさそうに思えます。

しかし、この公式が与える推定値は、平均的にわずかに小さすぎます。これは偏った推定量なのです。

なぜでしょうか。その理由は、公式の中で真の母平均（\(\mu\)）の代わりに標本平均（\(\bar{x}\)）を使っているからです。標本平均からの偏差の二乗和は、つねに取りうる最小の値になります。つまり、\(\sum (x_i - \bar{x})^2\) は、\(\sum (x_i - \mu)^2\) がなるであろう値よりも、つねに少し小さくなるのです。

このわずかな過小評価を補正するために、ちょっとした調整を行います。\(n\) ではなく \(n-1\) で割るのです。 不偏標本分散: \(s^2 = \frac{\sum (x_i - \bar{x})^2}{n-1}\)

分母を少し小さくすることで、最終的な値が少し大きくなり、偏りが補正されます。これが、\(s^2\) が不偏分散と呼ばれる理由です。これは母分散 \(\sigma^2\) の不偏な推定を与えてくれます。自由度（\(n-1\)）として知られるこの考え方は、多くの統計的検定で再び目にすることになる、基本的なアイデアです。