Trace technique

Trace technique은 굉장히 간단하다. 많이 쓰이니 특정 조건 하에서의 결과까지 기억해두는게 좋다.

\(\epsilon\)은 random vector이고 평균은 \(\mu\), 분산은 \(\Sigma\)이다. \(A\)는 constant square matrix이다.

\[\begin{aligned}
E[\epsilon^\top A \epsilon]&=E[tr(\epsilon^\top A \epsilon)]\\
&=E[tr(A\epsilon \epsilon^\top)]\\
&=tr(E[A\epsilon \epsilon^\top])\\
&=tr(AE[\epsilon \epsilon^\top])\\
&= tr(A(\Sigma+\mu \mu^\top))\\
&=tr(A\Sigma)+\mu^\top A \mu
\end{aligned}\]
참고로 \(\Sigma=E[(\epsilon-\mu)(\epsilon-\mu)^\top]=E[\epsilon \epsilon^\top]-\mu\mu^\top \Rightarrow E[\epsilon \epsilon^\top]=\Sigma+\mu\mu^\top\)이다.

여기서 만약 \(\mu=0\)이고 \(\Sigma=I\)라면,

\[\begin{aligned}
tr(A)&=E[\epsilon^\top A \epsilon]
\end{aligned}\]
가 성립한다! 따라서 행렬 A의 trace를 구하고자 할 때 오른쪽의 기댓값을 구하는 문제로 전환할 수 있고 해당 기댓값은 MC 방식으로 근사할 수 있다. Wow! 이걸 Hutchinson's trace estimator라고 한다.