통계기초 정리

Probability

X가 RV, A가 집합이라면

$$P(X=x)=P(\{\omega :X(\omega )=x\})=P(A)$$ $$A=\{\omega :X(\omega )=x\}$$$$\omega \in \mathrm{\Omega }$$$$A\in \mathcal{F}$$

보다시피 $P$안에는 집합이 들어간다. 추가로, $A$가 집합이고 $X$는 RV일때

$$P(A|X)=P(A|\sigma (X))$$

이다. $X$만 쓰는 것은 축약된 표현이다.

 

Law of Total Probability

$$P(A)=\sum _{n}P(A\cap B_n)$$$$=\sum _{n}P(A|B_n)P(B_n)$$

Law of Total Expectation

$$E(A)=\sum _{n}E(A|B_n)P(B_n)$$

Conditional Entropy (discrete)

$$H(X|Y)=\sum _{j}H(X|Y=j)Pr(Y=j)$$

이 $H(X|Y)$는 law of total expectation이랑 헷갈리기 쉽다!!!! 이것 때문에 이 글을 정리함.