통계 (27) 썸네일형 리스트형 Map of Bernoulli Variants TrialsCategories 1...n1Bernoulli(p) Binomial(n,p)... kCategorical(p_2,...,p_k)(Multinoulli)where p1=1-∑p_i Multinomial(n,p_2,...p_k) Reynolds transport theorem Reynolds tranport theorem은 Leibniz integral rule의 3차원 generalization 버전이다.Statement\[\frac{d}{dt}\int_{\Omega(t)}f(t,x)dx=\int_{\Omega(t)}[\partial_t f+\nabla \cdot (fv)](t,x)dx\]여기서 divergence theorem에 의해\[\frac{d}{dt}\int_{\Omega(t)}f(t,x)dx=\int_{\Omega(t)}\partial_t fdx +\int_{\partial \Omega(t)}fv\cdot ndS\]이때 \(\partial_t f(t,x)=\lim_{h\rightarrow 0}\frac{f(t+h,x)-f(t,x)}{h}\)이고 \(v\)는 아래를.. Gradient과 convolution이 있을 때 equality \[\begin{aligned}(p_0 * \phi)(U)&=\int p_0(W)\phi(U-W)dW\\\nabla (p_0 * \phi)(U)&=\nabla \int p_0(W)\phi(U-W)dW\\&=\frac{\partial}{\partial U}\int p_0(W)\phi(U-W)dW\\&=\int p_0(W) (\frac{\partial}{\partial U} \phi(U-W))dW\\&=(p_0 * \nabla \phi)(U)\end{aligned}\]Gradient가 어느 한 쪽으로 몰아 들어갈 수 있다. Partial derivative가 적분 안으로 들어갈 때의 조건은 생략한다. Trace technique Trace technique은 굉장히 간단하다. 많이 쓰이니 특정 조건 하에서의 결과까지 기억해두는게 좋다.\(\epsilon\)은 random vector이고 평균은 \(\mu\), 분산은 \(\Sigma\)이다. \(A\)는 constant square matrix이다.\[\begin{aligned}E[\epsilon^\top A \epsilon]&=E[tr(\epsilon^\top A \epsilon)]\\&=E[tr(A\epsilon \epsilon^\top)]\\&=tr(E[A\epsilon \epsilon^\top])\\&=tr(AE[\epsilon \epsilon^\top])\\&= tr(A(\Sigma+\mu \mu^\top))\\&=tr(A\Sigma)+\mu^\top A \mu\end{.. Generalized Leverage Leverage란 어떤 관측치가 회귀선에 어느정도 영향을 발휘하였는지를 수치화하는 도구다. 선형회귀에서 등장한다. 디자인 행렬 \(X\)가 있을때,\[\hat{y}=X(X^{\top}X)^{-1}X^{\top}y,\]선형회귀의 해는 위와 같다. 여기서 \(X(X^{\top}X)^{-1}X^{\top}\)만을 취해보자. \(i\)번째 데이터가 \(j\)번째 적합값(fitted value, \(\hat{y}\))에 미친 영향은 \([X(X^{\top}X)^{-1}X^{\top}]_{i,j}=x_i^{\top}(X^{\top}X)^{-1}x_j\)이다. 이때 \(i\)번째 데이터가 \(i\)번째 적합값에 미친 영향을 \(i\)번째 leverage라고 한다.\[h_{ii}=x_i^{\top}(X^{\top}X).. Copula, 그리고 multiple response regression에 대한 단상 랜덤 변수 \(X\sim F\)에서 랜덤 표본을 생성하는 한가지 방법으로 역변환법(\(F^{-1}(U), U\sim U[0,1]\)) 을 이용할 수 있다. 만약, 랜덤 변수가 아닌, 랜덤 백터라면 어떻게 역변환법을 이용할 수 있을까? 각 차원에 대해 똑같이 하면 될까? 각 차원 \(X_i\)에 대해 개별적으로 역변환법을 시도한다면 각 차원은 서로 dependency가 없다는 가정을 한 것과 마찬가지이다. 이건 상황이 좋으면 가정이 성립하겠지만 대체로 비현실적이다. Copula는 랜덤 벡터 \(\boldsymbol{X}=(X_1,\ldots, X_p)\)에 대해서 역변환법을 통해 샘플 생성을 가능하게 해준다. 랜덤 벡터의 각 랜덤 변수들의 cdf \(F_1,\ldots, F_p\)가 있을때 이것들의 joi.. Probability integral transform 어떤 랜덤 변수 X가 있을때 그것의 CDF는 uniform distribution을 따른다는 것을 의미한다. 통계계산에서 나오는 uniform distribution으로부터 다양한 분포의 샘플 생성을 가능하게 해주는 변환이다. 이름까지 붙어있는줄은 몰랐으나 최근에 copula를 보다가 이름이 있다는 걸 알게 되어서 정리한다.1. Statement\[\begin{aligned}X\sim F, \quad &Y:=F_X(X)\\ \Rightarrow Y&\sim U[0,1] \end{aligned}\] 확률론 관점에서는, 다음과 같이 기술할 수 있다.\[\begin{aligned} (X, \mathcal{B}, P_X) \underset{F_X}{\rightarrow} (Y, \mathcal{G}, P_Y)\.. Conditional expectation Conditional expectation given a sigma-algebra \(\mathcal{G}\)\[\forall G \in \mathcal{G}, \quad \int_G X(w) dP(w) = \int_G E[X|\mathcal{G}](w)dP(w)\]Conditional expectation expressed by simple functionsFor simplicity and without loss of generality, I limit the situation to be \(\mathcal{G}=(\emptyset, G, G^\complement, \Omega)\).\[E[X|\mathcal{G}](\omega)=E[X|G]1_{G}(\omega)+E[X|G^\complement]1_.. 이전 1 2 3 4 다음