본문 바로가기

통계/확률론 및 수리통계학

(10)

Measure theoretic description of change-of-variables 1. SettingsTwo measurable spaces:

(X, A, μ) and (Y, B, μ_{T})

Consider a transform

T

T : X \to Y

where T is a measurable map. i.e.,

T^{- 1} (B) \in A \forall B \in B

T

induces a pushforward measure

μ_{T}

μ_{T} (B) = μ (T^{- 1} (B))

2. Change-of-variablesLet

ν

μ_{T}

are measures defined on

Y

Measure theoretic description of KL divergence In this writing, I consider the KL divergence with measure theoretic approach. Suppose

P

Q

are probability measures on a measurable space

(Ω, F)

P ≪ Q

P

is absolutely continuous with respect to

Q

. (Or, equivalently,

Q

P

) KL divergence is defined as below:\[\begin{aligned} \mathcal{D}_{KL}(P||Q)&:=E_P\left[\log \frac{dP}..

Metric vs distance measure Metric은 symmetry를 만족해야함. d(x,y)=d(y,x) Distance measure는 symmetry를 만드시 만족할 필요 없음. ex) KL-divergence. 그러면

M e t r i c \subset D i s t a n c e M e a s u r e

인가? Metric은 distance measure의 특수한 경우가 되는건가?? ------------------------------------------------------------------------ (2024.01.31 수정) "Although the KL divergence measures the “distance” between two distributions, it is not a distance measure. This is beca..

Is a pdf a probability measure? No. Conditions of a Probability Measure (

P

P

must return results in

[0, 1]

... Conditions of a PDF (

f

\int_{- \infty}^{\infty} f (x) d x = 1

... Differences Pdf는 output이 1을 넘을 수 있음. 그러나 probability measure는 output이 [0,1]에 있어야 함. 또한 pdf는 리만-스틸체스 적분을 사용. Probability measure는 르벡적분을 사용. 따라서 pdf는 probability measure가 아님. 의미를 보면 다음과 같음.

f : R \to R

Covariance matrix의 다양한 이름들 & Autocorrelation matrix Covariance matrix

C o v (x) = E [(x - E [x]) (x - E [x])^{T}]

Covariance matrix = auto-covariance matrix = variance-covariance matrix = variance matrix = dispersion matrix 진짜 헷갈린다. 각자 다 다른 것 같이 보이지만 모두 covariance matrix를 의미한다. Autocorrelation matrix

R_{x x} = E [x x^{T}]

확률 P와 기대값의 부등식

P (X \geq ε) \leq \frac{E (X)}{ε}

를 증명한다. 르벡적분을 이용하면,

P (X \geq ε) = \int_{[X \geq ε]} d P

= \int_{Ω} 1_{[X \geq ε]} d P

\leq \int_{Ω} \frac{X}{ε} 1_{[X \geq ε]} d P

\leq \int_{Ω} \frac{X}{ε} d P

기대값의 정의에 의해

= \frac{E (X)}{ε}

Limsup Liminf Intution

lim sup

lim inf

를 직관적으로 접근하는 법

A_{n}

S_{1} = A_{1} \cap A_{2} \cap A_{3} \cap \dots \subset A_{1} \subset A_{1} \cup A_{2} \cup A_{3} \cup \dots = B_{1}

S_{2} = A_{2} \cap A_{3} \cap \dots \subset A_{2} \subset \cup A_{2} \cup A_{3} \cup \dots = B_{2}

S_{3} = A_{3} \cap \dots \subset A_{3} \subset A_{3} \cup \dots = B_{3}

이렇게 하면 당연히

S_{n}

은 increasing set이고

B_{n}

Maximum A Posteriori (MAP)

\hat{m} = \arg max_{i} P_{m | \vec{R}} (i | \vec{r}) = \arg max_{i} P_{\vec{R} | m} (\vec{r} | i) P_{m} (i) = \arg max_{i} P_{\vec{R} | m} (\vec{r} | i)

마지막은 상수라고 가정하면 제거가능 ex)

\frac{1}{M}

목록 더보기

티스토리툴바