전체 글 (96) 썸네일형 리스트형 Map of Bernoulli Variants TrialsCategories 1...n1Bernoulli(p) Binomial(n,p)... kCategorical(p_2,...,p_k)(Multinoulli)where p1=1-∑p_i Multinomial(n,p_2,...p_k) Minor notes about variational methods Choice of quantities in KL divergenceThere are two choices using KL divergence given an optimal distribution \(Q^*\) and an approximating distribution \(Q\).Since the KL divergence is asymetric, two choices can not be interchanged. For example, if we let \(g=dQ^{*}/dQ\), then\[D_{KL}(Q^{*}||Q):=\int \log \frac{dQ^{*}}{dQ}dQ^{*}=-\int \left(\log \frac{dQ}{dQ^{*}}\right)\frac{dQ^{*}}{dQ}dQ=-\int \.. Gateaux derivative Gateux derivative\[\begin{aligned}D_hf(x)&=\lim_{\epsilon\rightarrow 0}\frac{f(x+ \epsilon h)-f(x)}{ \epsilon }\\&=\lim_{ \epsilon \rightarrow 0}\frac{\frac{\partial f(x+ \epsilon h)}{\partial \epsilon }}{1}\\&=\frac{d }{d \epsilon }f(x+ \epsilon h)|_{ \epsilon =0}\end{aligned}\]? Reynolds transport theorem Reynolds tranport theorem은 Leibniz integral rule의 3차원 generalization 버전이다.Statement\[\frac{d}{dt}\int_{\Omega(t)}f(t,x)dx=\int_{\Omega(t)}[\partial_t f+\nabla \cdot (fv)](t,x)dx\]여기서 divergence theorem에 의해\[\frac{d}{dt}\int_{\Omega(t)}f(t,x)dx=\int_{\Omega(t)}\partial_t fdx +\int_{\partial \Omega(t)}fv\cdot ndS\]이때 \(\partial_t f(t,x)=\lim_{h\rightarrow 0}\frac{f(t+h,x)-f(t,x)}{h}\)이고 \(v\)는 아래를.. Gradient과 convolution이 있을 때 equality \[\begin{aligned}(p_0 * \phi)(U)&=\int p_0(W)\phi(U-W)dW\\\nabla (p_0 * \phi)(U)&=\nabla \int p_0(W)\phi(U-W)dW\\&=\frac{\partial}{\partial U}\int p_0(W)\phi(U-W)dW\\&=\int p_0(W) (\frac{\partial}{\partial U} \phi(U-W))dW\\&=(p_0 * \nabla \phi)(U)\end{aligned}\]Gradient가 어느 한 쪽으로 몰아 들어갈 수 있다. Partial derivative가 적분 안으로 들어갈 때의 조건은 생략한다. Trace technique Trace technique은 굉장히 간단하다. 많이 쓰이니 특정 조건 하에서의 결과까지 기억해두는게 좋다.\(\epsilon\)은 random vector이고 평균은 \(\mu\), 분산은 \(\Sigma\)이다. \(A\)는 constant square matrix이다.\[\begin{aligned}E[\epsilon^\top A \epsilon]&=E[tr(\epsilon^\top A \epsilon)]\\&=E[tr(A\epsilon \epsilon^\top)]\\&=tr(E[A\epsilon \epsilon^\top])\\&=tr(AE[\epsilon \epsilon^\top])\\&= tr(A(\Sigma+\mu \mu^\top))\\&=tr(A\Sigma)+\mu^\top A \mu\end{.. Generalized Leverage Leverage란 어떤 관측치가 회귀선에 어느정도 영향을 발휘하였는지를 수치화하는 도구다. 선형회귀에서 등장한다. 디자인 행렬 \(X\)가 있을때,\[\hat{y}=X(X^{\top}X)^{-1}X^{\top}y,\]선형회귀의 해는 위와 같다. 여기서 \(X(X^{\top}X)^{-1}X^{\top}\)만을 취해보자. \(i\)번째 데이터가 \(j\)번째 적합값(fitted value, \(\hat{y}\))에 미친 영향은 \([X(X^{\top}X)^{-1}X^{\top}]_{i,j}=x_i^{\top}(X^{\top}X)^{-1}x_j\)이다. 이때 \(i\)번째 데이터가 \(i\)번째 적합값에 미친 영향을 \(i\)번째 leverage라고 한다.\[h_{ii}=x_i^{\top}(X^{\top}X).. Copula, 그리고 multiple response regression에 대한 단상 랜덤 변수 \(X\sim F\)에서 랜덤 표본을 생성하는 한가지 방법으로 역변환법(\(F^{-1}(U), U\sim U[0,1]\)) 을 이용할 수 있다. 만약, 랜덤 변수가 아닌, 랜덤 백터라면 어떻게 역변환법을 이용할 수 있을까? 각 차원에 대해 똑같이 하면 될까? 각 차원 \(X_i\)에 대해 개별적으로 역변환법을 시도한다면 각 차원은 서로 dependency가 없다는 가정을 한 것과 마찬가지이다. 이건 상황이 좋으면 가정이 성립하겠지만 대체로 비현실적이다. Copula는 랜덤 벡터 \(\boldsymbol{X}=(X_1,\ldots, X_p)\)에 대해서 역변환법을 통해 샘플 생성을 가능하게 해준다. 랜덤 벡터의 각 랜덤 변수들의 cdf \(F_1,\ldots, F_p\)가 있을때 이것들의 joi.. 이전 1 2 3 4 ··· 12 다음