第2章 | 統計数理
事象と確率、分布の表し方
包除原理、条件付き確率とベイズの定理、独立性、CDF・生存関数・ハザード、同時・周辺・条件付き分布、条件付き期待値
この章で学ぶこと
- 確率の公理と包除原理:「または」の確率を重なりを数え直して求める
- 条件付き確率とベイズの定理:情報が増えたときに確率をどう更新するか
- 独立性:2つの事象の独立と、3つ以上の事象の独立の違い
- 累積分布関数・生存関数・ハザード:1つの確率変数の分布を関数で表す
- 同時分布・周辺分布・条件付き分布と条件付き期待値:2つの確率変数をまとめて扱う
2.1 事象と確率、包除原理
確率の計算は、起こりうる結果の集合と、その部分集合に確率を割り当てる規則から始まります。この節では言葉と規則を確認し、「 または または 」の確率を求める包除原理を導きます。
標本空間と事象
試行で起こりうる結果をすべて集めた集合を標本空間といい、 と書きます。サイコロを1回投げるなら です。 の部分集合を事象といいます。「偶数の目が出る」は事象 です。
- (和事象)は「 または 」、(積事象)は「 かつ 」です。
- (余事象)は「 が起こらない」で、 から を除いた集合です。
- (共通部分がない)のとき、 と は排反であるといいます。
事象 に数 を割り当てる規則 が次の3つを満たすとき、 を確率といいます。
- すべての事象 で
- 互いに排反な事象の列 に対して
3つ目を可算加法性といいます。「重ならない事象の確率は足し算できる」という規則を、無限個の事象にまで認めたものです。この3つから、次の性質が導かれます。
2つ目の式は、 では の部分を2回数えているので、1回分を引く、という意味です。
包除原理
3つの事象では、次のようになります。
理由は、各部分が何回数えられているかを見るとわかります。 と足したときの回数を、図2-1に書き込みました。
2つだけが重なる部分は2回数えられているので、 などを引いて1回に直します。ところが真ん中の は3回数えられていて、3つの 、、 のどれにも含まれるので3回引かれ、0回になってしまいます。そこで最後に を足して1回に戻します。こうして、どの部分もちょうど1回ずつ数えられます。
個の事象でも同じ考え方で、「1つずつの和 − 2つの共通部分の和 + 3つの共通部分の和 − …」となります。
は、 個から 個を選ぶすべての選び方について、その 個の共通部分の確率を足したものです。
人が自分の席を1つずつ持っていて、全員がでたらめに( 通りの並び方が同じ確率で)座ります。少なくとも1人が自分の席に座る確率を求めます。
を「 番目の人が自分の席に座る」とします。決まった 人が全員自分の席に座る並び方は、残り 人の並べ方だけなので 通りです。 人の選び方は 通りなので
です。包除原理より
となります。誰も自分の席に座らない確率はその余事象なので で、 に を入れた式と比べると、 で に近づきます。 なら で、6通りの並び方のうち誰も自分の席でないものが2通りあることと一致します。
2.2 条件付き確率とベイズの定理
「 が起こった」と分かったときの の確率を、条件付き確率といいます。ベイズの定理は、その向きを入れ替えて「 が起きたとき、原因が である確率」を求める式です。
のとき、 が起こったという条件のもとでの の条件付き確率を
と定めます。
が起こったと分かれば、考える範囲は 全体から に狭まります。その中で も起こる部分 が占める割合が です。分母を払うと乗法定理 になります。
全確率の公式
事象 が互いに排反で、合わせると 全体になるとき、これを の分割といいます。このとき、どんな事象 についても
が成り立ちます。これを全確率の公式といいます。図2-2のように、 は分割によって重ならない部分 に切り分けられます。
可算加法性から で、各項に乗法定理 を使うと全確率の公式になります。
ベイズの定理
が の分割で、、 のとき
導き方は、条件付き確率の定義 の分子に乗法定理を、分母に全確率の公式を使うだけです。 を「原因」、 を「観測された結果」と見ると、 は結果を見る前の確率で事前確率、 は結果を見た後の確率で事後確率と呼ばれます。
ある病気の人の割合が1%で、検査は病気の人の99%を陽性と判定し、病気でない人の5%も陽性と判定するとします。 を「病気である」、 を「陽性」とすると、 が分割です。
陽性でも、病気である確率は約17%です。病気でない人がずっと多いので、その5%の誤判定が陽性の大部分を占めるからです。
答案では、どの事象で分割したか(ここでは と )を最初に書き、全確率の公式で分母を出してからベイズの定理に入ると、採点者に流れが伝わります。
2.3 独立性
2つの事象が独立とは、一方が起こったと分かっても、もう一方の確率が変わらないことです。3つ以上の事象では、どの組み合わせについても積の式が成り立つことを要求します。
のとき、 と は独立であるといいます。 なら、これは と同じです。
3つの事象 が相互独立であるとは、次の4つがすべて成り立つことです。
個の事象では、2個以上のどの組み合わせを選んでも、その共通部分の確率が確率の積になることを要求します。
最初の3つだけが成り立つことを対ごとに独立といいます。対ごとに独立でも、相互独立とは限りません。
公正なコインを2回投げ、=「1回目が表」、=「2回目が表」、=「2回の結果が一致する」とします。結果は(表表)(表裏)(裏表)(裏裏)の4通りで、どれも確率 です。
- です( は(表表)(裏裏)の2通り)。
- 、、 はどれも(表表)だけなので、確率は で、対ごとに独立です。
- しかし も(表表)だけで となり、 と一致しません。
と が両方起これば は必ず起こるので、3つをまとめて見ると独立ではありません。
なお、 と が独立なら、 と 、 と 、 と もそれぞれ独立です。たとえば と については次のとおりです。
2.4 分布の表し方:CDF・生存関数・ハザード
確率変数の分布は、累積分布関数1つで、離散型・連続型の区別なく表せます。寿命や待ち時間を扱うときは、それを裏返した生存関数と、そこから作るハザードを使います。
確率変数と累積分布関数
試行の結果に数を対応させる関数を確率変数といいます。コインを2回投げたときの「表の回数」 は、(表表)に2、(表裏)と(裏表)に1、(裏裏)に0を対応させる確率変数です。
確率変数 の累積分布関数(CDF)を、実数 に対して
と定めます。
CDF は次の性質をもちます。
- 非減少: なら 。
- で 、 で 。
- 右連続: に右側から近づいたときの極限が に一致する。
区間の確率は で求められます。1点の確率は、その点での跳びの大きさ です。ここで は に左側から近づいたときの極限です。
値が飛び飛びの確率変数を離散型といい、 を確率関数といいます。 なので、CDF は値のところで だけ跳ぶ階段になります。一方、 と書ける があるとき連続型といい、 を確率密度関数といいます。このとき CDF は跳びのない連続な曲線で、 が連続な点では です。図2-3で2つを比べます。
図2-3の左では、たとえば での跳びの大きさ が です。段の左端が黒丸なのは、 が を含むから(右連続だから)です。右の連続型では跳びがないので、どの1点でも です。
CDF は跳びと連続な部分を両方もつこともあります。たとえば確率 で 、確率 で密度 の指数分布に従う では、 で となり、 で だけ跳んだあと連続に増えます。このような分布も CDF なら同じ形で扱えます。
生存関数とハザード
を機械の寿命のような正の値をとる連続型の確率変数とします。寿命の分析では、「 までに壊れる確率」 よりも、「 を超えて生き残る確率」を使うほうが自然です。
を生存関数といいます。密度 をもつとき、 となる で
をハザード関数(危険率、故障率)といいます。
ハザードは、「 まで壊れなかった」という条件のもとで、直後の短い時間 に壊れる確率を で割ったもの(単位時間あたりの壊れやすさ)です。実際、条件付き確率の定義から
となります。密度 が「最初から見て 付近で壊れる割合」なのに対し、 は「 まで生き残ったものの中で 付近で壊れる割合」です。
なので です。 として両辺を から まで積分すると、ハザードから生存関数が復元できます。
密度 の指数分布では なので、 で一定です。
逆に、正の値をとる のハザードが一定値 なら、上の式から となり、 は指数分布に従います。つまりハザードが一定であることと、指数分布であることは同じです。
このとき
となり、すでに だけ生き残っていても、その先の寿命の分布は新品と変わりません。
2.5 同時分布・周辺分布・条件付き分布
2つの確率変数 をまとめて見た分布が同時分布です。同時分布から、片方だけの分布(周辺分布)と、片方の値を決めたときのもう片方の分布(条件付き分布)が求められます。
離散型:表で考える
が離散型なら、 を同時確率関数といいます。表2-1はその例です。
| の周辺 | |||
|---|---|---|---|
| 0.1 | 0.2 | 0.3 | |
| 0.2 | 0.1 | 0.3 | |
| 0.1 | 0.3 | 0.4 | |
| の周辺 | 0.4 | 0.6 | 1 |
表2-1 同時確率関数 (内側の6マス)と周辺確率関数(太字)
表2-1の各行を横に足すと だけの分布が、各列を縦に足すと だけの分布が得られます。
これを周辺確率関数といいます。表の余白(周辺)に書けることからこの名前があります。
と分かったときの の分布は、表の の列だけを取り出し、合計が1になるように列の和で割ったものです。
これを条件付き確率関数といいます。表2-1で の列を で割ると、 の確率は です。 の列を で割ると です。 の値によって の分布が変わっています。
すべての で (連続型なら )が成り立つとき、 と は独立であるといいます。条件付き分布で言えば、 の値によらず の条件付き分布が周辺分布に等しいことです。
表2-1では に対して なので、 と は独立ではありません。
連続型:積分で考える
連続型では、 となる を同時密度関数といいます。和が積分に変わるだけで、離散型と同じ形の式が成り立ちます。
を周辺密度関数、 を条件付き密度関数といいます。実際の計算でいちばん間違えやすいのは積分の範囲です。密度が正になる領域を図に描いて、範囲を読み取ります。
、それ以外では とします。密度が正の領域は、図2-4の三角形です(面積 なので、 を掛けると全体の確率が1になります)。
の周辺密度は、図2-4の高さ の横線に沿って で積分します。赤線のとおり は から まで動くので、 で
です。同じように縦に切ると は から まで動くので、 です。
のもとでの の条件付き密度は、 で
で、赤線の区間 上の一様分布です。 は と一致しないので、 と は独立ではありません。 の動く範囲が によって変わることからも、独立でないことがわかります。
2.6 条件付き期待値
条件付き分布の平均が条件付き期待値です。条件付き期待値の平均をとるともとの期待値に戻り(繰り返し期待値の法則)、分散は「条件付き分散の平均」と「条件付き期待値の分散」の和に分かれます(全分散の公式)。
のもとでの の条件付き期待値を、条件付き分布の平均として定めます。
離散型なら
連続型なら
これは の関数です。それを と書いたとき、 に確率変数 を入れた を と書きます。 は の値で決まる確率変数です。
連続型で確かめます。条件付き密度の定義 を使うと
です。離散型でも積分を和に変えれば同じです。
2.5節で求めた条件付き分布から
です。 は確率 で 、確率 で をとる確率変数なので
です。周辺分布から直接求めると
で、一致します。
全分散の公式
のもとでの の条件付き分布の分散を条件付き分散 といい、次の式で計算できます。
に を入れたものが です。
右辺の第1項は「 を決めても残るばらつきの平均」、第2項は「 によって平均が動くことによるばらつき」です。証明は、両方の項を2乗の期待値で書いて足すだけです。
どちらも繰り返し期待値の法則を使いました。2つを足すと が消え、 が残ります。
2.5節の例では、 のもとで は区間 上の一様分布でした。区間 上の一様分布の平均は 、分散は なので
です。 を使って各項を計算します。
ここで 、 を使いました。合計は です。
一方、 から直接求めると 、 なので で、一致します。
- 包除原理
- 和事象の確率を「1つずつの和 − 2つの共通部分の和 + 3つの共通部分の和 − …」で求める式。
- 条件付き確率
- 。 の中で が占める割合。
- ベイズの定理
- 分割 について、 を と全確率の公式から求める式。事前確率を事後確率に更新する。
- 相互独立
- 2個以上のどの組み合わせでも、共通部分の確率が確率の積になること。対ごとの独立より強い。
- 累積分布関数
- 。非減少・右連続で、跳びの大きさが1点の確率。
- 生存関数・ハザード
- 、。。ハザード一定 ⇔ 指数分布。
- 周辺分布・条件付き分布
- 同時分布を片方の変数について足す(積分する)と周辺分布、片方の値で切って周辺で割ると条件付き分布。
- 条件付き期待値
- 条件付き分布の平均に を入れた確率変数。。
- 「少なくとも1つ」の確率は、余事象か包除原理で求める。包除原理では が対称な形(モンモールの問題の など)になることが多い。
- ベイズの定理の答案では、分割を明示し、全確率の公式で分母を出してから代入する。
- 相互独立は、2つずつの積の式に加えて3つ以上の共通部分の積の式も確かめる。
- と、ハザード一定 ⇔ 指数分布を導けるようにする。
- 連続型の周辺密度・条件付き密度は、密度が正の領域を図に描いて積分範囲を決める。
- と は、混合分布や階層的なモデルの平均・分散を求めるときに使う。