第2章 | 統計数理

事象と確率、分布の表し方

包除原理、条件付き確率とベイズの定理、独立性、CDF・生存関数・ハザード、同時・周辺・条件付き分布、条件付き期待値

この章で学ぶこと

  • 確率の公理と包除原理:「または」の確率を重なりを数え直して求める
  • 条件付き確率とベイズの定理:情報が増えたときに確率をどう更新するか
  • 独立性:2つの事象の独立と、3つ以上の事象の独立の違い
  • 累積分布関数・生存関数・ハザード:1つの確率変数の分布を関数で表す
  • 同時分布・周辺分布・条件付き分布と条件付き期待値:2つの確率変数をまとめて扱う

2.1 事象と確率、包除原理

確率の計算は、起こりうる結果の集合と、その部分集合に確率を割り当てる規則から始まります。この節では言葉と規則を確認し、「 または または 」の確率を求める包除原理を導きます。

標本空間と事象

試行で起こりうる結果をすべて集めた集合を標本空間といい、 と書きます。サイコロを1回投げるなら です。 の部分集合を事象といいます。「偶数の目が出る」は事象 です。

確率の公理

事象 に数 を割り当てる規則 が次の3つを満たすとき、 を確率といいます。

  1. すべての事象 で
  2. 互いに排反な事象の列 に対して

3つ目を可算加法性といいます。「重ならない事象の確率は足し算できる」という規則を、無限個の事象にまで認めたものです。この3つから、次の性質が導かれます。

2つ目の式は、 では の部分を2回数えているので、1回分を引く、という意味です。

包除原理

3つの事象では、次のようになります。

理由は、各部分が何回数えられているかを見るとわかります。 と足したときの回数を、図2-1に書き込みました。

Ω A B C 1 1 1 2 2 2 3
図2-1  で各部分が数えられる回数。2つだけの重なりは2回、3つの重なり は3回数えられている

2つだけが重なる部分は2回数えられているので、 などを引いて1回に直します。ところが真ん中の は3回数えられていて、3つの 、、 のどれにも含まれるので3回引かれ、0回になってしまいます。そこで最後に を足して1回に戻します。こうして、どの部分もちょうど1回ずつ数えられます。

個の事象でも同じ考え方で、「1つずつの和 − 2つの共通部分の和 + 3つの共通部分の和 − …」となります。

包除原理

は、 個から 個を選ぶすべての選び方について、その 個の共通部分の確率を足したものです。

例:モンモールの問題(席の取り違え)

人が自分の席を1つずつ持っていて、全員がでたらめに( 通りの並び方が同じ確率で)座ります。少なくとも1人が自分の席に座る確率を求めます。

を「 番目の人が自分の席に座る」とします。決まった 人が全員自分の席に座る並び方は、残り 人の並べ方だけなので 通りです。 人の選び方は 通りなので

です。包除原理より

となります。誰も自分の席に座らない確率はその余事象なので で、 に を入れた式と比べると、 で に近づきます。 なら で、6通りの並び方のうち誰も自分の席でないものが2通りあることと一致します。

2.2 条件付き確率とベイズの定理

「 が起こった」と分かったときの の確率を、条件付き確率といいます。ベイズの定理は、その向きを入れ替えて「 が起きたとき、原因が である確率」を求める式です。

定義(条件付き確率)

のとき、 が起こったという条件のもとでの の条件付き確率を

と定めます。

が起こったと分かれば、考える範囲は 全体から に狭まります。その中で も起こる部分 が占める割合が です。分母を払うと乗法定理 になります。

全確率の公式

事象 が互いに排反で、合わせると 全体になるとき、これを の分割といいます。このとき、どんな事象 についても

が成り立ちます。これを全確率の公式といいます。図2-2のように、 は分割によって重ならない部分 に切り分けられます。

Ω B₁B₂B₃ A A∩B₁A∩B₂A∩B₃
図2-2  が を分割していると、 は重ならない3つの部分に分かれる。 はその3つの確率の和

可算加法性から で、各項に乗法定理 を使うと全確率の公式になります。

ベイズの定理

ベイズの定理

が の分割で、、 のとき

導き方は、条件付き確率の定義 の分子に乗法定理を、分母に全確率の公式を使うだけです。 を「原因」、 を「観測された結果」と見ると、 は結果を見る前の確率で事前確率、 は結果を見た後の確率で事後確率と呼ばれます。

例:検査で陽性になった人が病気である確率

ある病気の人の割合が1%で、検査は病気の人の99%を陽性と判定し、病気でない人の5%も陽性と判定するとします。 を「病気である」、 を「陽性」とすると、 が分割です。

陽性でも、病気である確率は約17%です。病気でない人がずっと多いので、その5%の誤判定が陽性の大部分を占めるからです。

答案では、どの事象で分割したか(ここでは と )を最初に書き、全確率の公式で分母を出してからベイズの定理に入ると、採点者に流れが伝わります。

2.3 独立性

2つの事象が独立とは、一方が起こったと分かっても、もう一方の確率が変わらないことです。3つ以上の事象では、どの組み合わせについても積の式が成り立つことを要求します。

定義(事象の独立)

のとき、 と は独立であるといいます。 なら、これは と同じです。

3つの事象 が相互独立であるとは、次の4つがすべて成り立つことです。

個の事象では、2個以上のどの組み合わせを選んでも、その共通部分の確率が確率の積になることを要求します。

最初の3つだけが成り立つことを対ごとに独立といいます。対ごとに独立でも、相互独立とは限りません。

例:対ごとに独立だが相互独立でない

公正なコインを2回投げ、=「1回目が表」、=「2回目が表」、=「2回の結果が一致する」とします。結果は(表表)(表裏)(裏表)(裏裏)の4通りで、どれも確率 です。

  • です( は(表表)(裏裏)の2通り)。
  • 、、 はどれも(表表)だけなので、確率は で、対ごとに独立です。
  • しかし も(表表)だけで となり、 と一致しません。

と が両方起これば は必ず起こるので、3つをまとめて見ると独立ではありません。

なお、 と が独立なら、 と 、 と 、 と もそれぞれ独立です。たとえば と については次のとおりです。

2.4 分布の表し方:CDF・生存関数・ハザード

確率変数の分布は、累積分布関数1つで、離散型・連続型の区別なく表せます。寿命や待ち時間を扱うときは、それを裏返した生存関数と、そこから作るハザードを使います。

確率変数と累積分布関数

試行の結果に数を対応させる関数を確率変数といいます。コインを2回投げたときの「表の回数」 は、(表表)に2、(表裏)と(裏表)に1、(裏裏)に0を対応させる確率変数です。

定義(累積分布関数)

確率変数 の累積分布関数(CDF)を、実数 に対して

と定めます。

CDF は次の性質をもちます。

区間の確率は で求められます。1点の確率は、その点での跳びの大きさ です。ここで は に左側から近づいたときの極限です。

値が飛び飛びの確率変数を離散型といい、 を確率関数といいます。 なので、CDF は値のところで だけ跳ぶ階段になります。一方、 と書ける があるとき連続型といい、 を確率密度関数といいます。このとき CDF は跳びのない連続な曲線で、 が連続な点では です。図2-3で2つを比べます。

離散型(表の回数)連続型(指数分布) xF(x) 1 1/2 3/41/4 012 跳び 1/2= P(X=1) xF(x) 1 0123 F(x) = 1 − e^(−x) 傾き = 密度 f(x)
図2-3 左:コインを2回投げたときの表の回数 のCDF。 で確率 だけ跳ぶ階段で、黒丸の側(右側)の値をとる。右:密度 の指数分布のCDF。跳びがなく、各点の傾きが密度

図2-3の左では、たとえば での跳びの大きさ が です。段の左端が黒丸なのは、 が を含むから(右連続だから)です。右の連続型では跳びがないので、どの1点でも です。

CDF は跳びと連続な部分を両方もつこともあります。たとえば確率 で 、確率 で密度 の指数分布に従う では、 で となり、 で だけ跳んだあと連続に増えます。このような分布も CDF なら同じ形で扱えます。

生存関数とハザード

を機械の寿命のような正の値をとる連続型の確率変数とします。寿命の分析では、「 までに壊れる確率」 よりも、「 を超えて生き残る確率」を使うほうが自然です。

定義(生存関数とハザード)

を生存関数といいます。密度 をもつとき、 となる で

をハザード関数(危険率、故障率)といいます。

ハザードは、「 まで壊れなかった」という条件のもとで、直後の短い時間 に壊れる確率を で割ったもの(単位時間あたりの壊れやすさ)です。実際、条件付き確率の定義から

となります。密度 が「最初から見て 付近で壊れる割合」なのに対し、 は「 まで生き残ったものの中で 付近で壊れる割合」です。

なので です。 として両辺を から まで積分すると、ハザードから生存関数が復元できます。

例:ハザードが一定なら指数分布

密度 の指数分布では なので、 で一定です。

逆に、正の値をとる のハザードが一定値 なら、上の式から となり、 は指数分布に従います。つまりハザードが一定であることと、指数分布であることは同じです。

このとき

となり、すでに だけ生き残っていても、その先の寿命の分布は新品と変わりません。

2.5 同時分布・周辺分布・条件付き分布

2つの確率変数 をまとめて見た分布が同時分布です。同時分布から、片方だけの分布(周辺分布)と、片方の値を決めたときのもう片方の分布(条件付き分布)が求められます。

離散型:表で考える

が離散型なら、 を同時確率関数といいます。表2-1はその例です。

の周辺
0.10.20.3
0.20.10.3
0.10.30.4
の周辺0.40.61

表2-1 同時確率関数 (内側の6マス)と周辺確率関数(太字)

表2-1の各行を横に足すと だけの分布が、各列を縦に足すと だけの分布が得られます。

これを周辺確率関数といいます。表の余白(周辺)に書けることからこの名前があります。

と分かったときの の分布は、表の の列だけを取り出し、合計が1になるように列の和で割ったものです。

これを条件付き確率関数といいます。表2-1で の列を で割ると、 の確率は です。 の列を で割ると です。 の値によって の分布が変わっています。

定義(確率変数の独立)

すべての で (連続型なら )が成り立つとき、 と は独立であるといいます。条件付き分布で言えば、 の値によらず の条件付き分布が周辺分布に等しいことです。

表2-1では に対して なので、 と は独立ではありません。

連続型:積分で考える

連続型では、 となる を同時密度関数といいます。和が積分に変わるだけで、離散型と同じ形の式が成り立ちます。

を周辺密度関数、 を条件付き密度関数といいます。実際の計算でいちばん間違えやすいのは積分の範囲です。密度が正になる領域を図に描いて、範囲を読み取ります。

例:三角形の上の一様な同時密度

、それ以外では とします。密度が正の領域は、図2-4の三角形です(面積 なので、 を掛けると全体の確率が1になります)。

xy 01 1 y = x f = 2 y x = yx = 1
図2-4 同時密度が正の領域 (青)。 で横に切ると、 の動く範囲は (赤線)

の周辺密度は、図2-4の高さ の横線に沿って で積分します。赤線のとおり は から まで動くので、 で

です。同じように縦に切ると は から まで動くので、 です。

のもとでの の条件付き密度は、 で

で、赤線の区間 上の一様分布です。 は と一致しないので、 と は独立ではありません。 の動く範囲が によって変わることからも、独立でないことがわかります。

2.6 条件付き期待値

条件付き分布の平均が条件付き期待値です。条件付き期待値の平均をとるともとの期待値に戻り(繰り返し期待値の法則)、分散は「条件付き分散の平均」と「条件付き期待値の分散」の和に分かれます(全分散の公式)。

定義(条件付き期待値)

のもとでの の条件付き期待値を、条件付き分布の平均として定めます。

離散型なら

連続型なら

これは の関数です。それを と書いたとき、 に確率変数 を入れた を と書きます。 は の値で決まる確率変数です。

繰り返し期待値の法則

連続型で確かめます。条件付き密度の定義 を使うと

です。離散型でも積分を和に変えれば同じです。

例:表2-1で確かめる

2.5節で求めた条件付き分布から

です。 は確率 で 、確率 で をとる確率変数なので

です。周辺分布から直接求めると

で、一致します。

全分散の公式

のもとでの の条件付き分布の分散を条件付き分散 といい、次の式で計算できます。

に を入れたものが です。

全分散の公式

右辺の第1項は「 を決めても残るばらつきの平均」、第2項は「 によって平均が動くことによるばらつき」です。証明は、両方の項を2乗の期待値で書いて足すだけです。

どちらも繰り返し期待値の法則を使いました。2つを足すと が消え、 が残ります。

例:図2-4の三角形で確かめる

2.5節の例では、 のもとで は区間 上の一様分布でした。区間 上の一様分布の平均は 、分散は なので

です。 を使って各項を計算します。

ここで 、 を使いました。合計は です。

一方、 から直接求めると 、 なので で、一致します。

包除原理
和事象の確率を「1つずつの和 − 2つの共通部分の和 + 3つの共通部分の和 − …」で求める式。
条件付き確率
。 の中で が占める割合。
ベイズの定理
分割 について、 を と全確率の公式から求める式。事前確率を事後確率に更新する。
相互独立
2個以上のどの組み合わせでも、共通部分の確率が確率の積になること。対ごとの独立より強い。
累積分布関数
。非減少・右連続で、跳びの大きさが1点の確率。
生存関数・ハザード
、。。ハザード一定 ⇔ 指数分布。
周辺分布・条件付き分布
同時分布を片方の変数について足す(積分する)と周辺分布、片方の値で切って周辺で割ると条件付き分布。
条件付き期待値
条件付き分布の平均に を入れた確率変数。。
試験に出るポイント
  • 「少なくとも1つ」の確率は、余事象か包除原理で求める。包除原理では が対称な形(モンモールの問題の など)になることが多い。
  • ベイズの定理の答案では、分割を明示し、全確率の公式で分母を出してから代入する。
  • 相互独立は、2つずつの積の式に加えて3つ以上の共通部分の積の式も確かめる。
  • と、ハザード一定 ⇔ 指数分布を導けるようにする。
  • 連続型の周辺密度・条件付き密度は、密度が正の領域を図に描いて積分範囲を決める。
  • と は、混合分布や階層的なモデルの平均・分散を求めるときに使う。

この章の出典