통계기초 정리

Probability

X가 RV, A가 집합이라면

\[P(X=x)=P(\{\omega:X(\omega)=x\})=P(A)\] \[A=\{\omega:X(\omega)=x\}\]\[\omega \in \Omega\]\[A \in \mathcal{F} \]

보다시피 \(P\)안에는 집합이 들어간다. 추가로, \(A\)가 집합이고 \(X\)는 RV일때

\[P(A|X)=P(A|\sigma(X))\]

이다. \(X\)만 쓰는 것은 축약된 표현이다.

 

Law of Total Probability

\[P(A)=\sum_{n}P(A\cap B_n)\]\[=\sum_{n}P(A|B_n)P(B_n)\]

Law of Total Expectation

\[E(A)=\sum_n E(A|B_n)P(B_n)\]

Conditional Entropy (discrete)

\[H(X|Y)=\sum_jH(X|Y=j)Pr(Y=j)\]

이 \(H(X|Y)\)는 law of total expectation이랑 헷갈리기 쉽다!!!! 이것 때문에 이 글을 정리함.