통계 (16) 썸네일형 리스트형 limsup <=> inf{sup} 원래 알던 정의:$$\limsup_n x_n := \lim_{n\rightarrow \infty} \sup_{k \geq n} x_k$$새로 발견한 정의:$$\limsup_n x_n := \inf_m \{ \sup_{n\geq m}x_n\}$$둘이 동치임을 증명:$$X_m = \sup_{n \geq m} x_n$$이라 하면 \(X_m\)은 \(X_{m+1} \subset X_m\) 이므로 decreasing set임.$$\Rightarrow \lim_{m\rightarrow \infty} X_m = \inf_m X_m$$$$\Rightarrow\lim_{m\rightarrow \infty} \sup_{n \geq m} x_n= \inf_m \{ \sup_{n\geq m}x_n\}$$ 마찬가지로 limin.. 급수 수렴 판정법 1. Partial Sum$$ \left\{S_n=\sum_{i=1}^n a_i\right\}_{n=1}^\infty\quad \mathrm{converges}\quad\rightarrow \quad \sum_{i=1}^n a_i\quad \mathrm{converges} $$$$\left\{S_n=\sum_{i=1}^n a_i\right\}_{n=1}^\infty\quad \mathrm{diverges}\quad\rightarrow \quad \sum_{i=1}^n a_i \quad \mathrm{diverges}$$2. Cauchy Criterion$$\forall \epsilon >0,\;\exists N \quad s.t.$$$$n>m>N\;\rightarrow\;\left|\sum_{i=m+1}.. 수열 수렴 판정법 1. Direct Method (epsilon-delta)$$\forall \epsilon > 0,\;\exists N \in \mathbb{Z}^+\quad s.t.$$$$n>N\;\rightarrow\;|a_n-c|2. Box Method(i) Bounded below (above)(ii) Monotone decreasing (increasing)\(\rightarrow\) \(a_n\) converges.3. Cauchy Criterion$$\forall \epsilon>0,\;\exists N \in \mathbb{Z}^+\quad s.t.$$$$m,n>N\;\rightarrow\;|a_m-a_n| LASSO, Ridge regression LASSO$$\min_{\beta}(y-X\beta)^T(y-X\beta)$$$$\mathrm{subject\;to}\quad||\beta||_1\leq t$$\(\beta_i\)가 0이 되는 걸 허용한다. 0이 됨으로써 variable selection도 되는 듯.Ridge regression$$\min_{\beta}(y-X\beta)^T(y-X\beta)$$$$\mathrm{subject\;to}\quad||\beta||_2= c$$ Lagrangian당연히 둘 다 constraint를 Lagrangian을 이용해 objective에 포함시킬 수 있다. Referenceshttps://en.wikipedia.org/wiki/Lasso_(statistics)https://en.wikipedia.org/.. 2d symmetric KL-divergence Implementation import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D def normal2d(mu:np.array, sigma): def normal2d_(x, y): x = np.array([x,y]) x = x.reshape((2,1)) I = np.eye(2) V = sigma**2*I V_inv = np.linalg.inv(V) mul = np.linalg.det(2*np.pi*V)**(-0.5) px = -0.5*(x-mu).T@V_inv@(x-mu) result = mul*np.exp(px[0]) return result[0] return normal2d_ def calcul.. Metric vs distance measure Metric은 symmetry를 만족해야함. d(x,y)=d(y,x) Distance measure는 symmetry를 만드시 만족할 필요 없음. ex) KL-divergence. 그러면 \(Metric \subset Distance \: Measure\)인가? Metric은 distance measure의 특수한 경우가 되는건가?? ------------------------------------------------------------------------ (2024.01.31 수정) "Although the KL divergence measures the “distance” between two distributions, it is not a distance measure. This is beca.. Is a pdf a probability measure? No. Conditions of a Probability Measure (\(P\)) 1) \(P\) must return results in \([0,1]\) ... Conditions of a PDF (\(f\)) 1) \(\int_{-\infty}^\infty f(x)dx=1\) ... Differences Pdf는 output이 1을 넘을 수 있음. 그러나 probability measure는 output이 [0,1]에 있어야 함. 또한 pdf는 리만-스틸체스 적분을 사용. Probability measure는 르벡적분을 사용. 따라서 pdf는 probability measure가 아님. 의미를 보면 다음과 같음. \(f: \mathbb{R} \rightarrow \mathbb{R}\) \(P: .. Covariance matrix의 다양한 이름들 & Autocorrelation matrix Covariance matrix $$Cov(\mathbf{x})=\mathbb{E}[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(\mathbf{x}-\mathbb{E}[\mathbf{x}])^T]$$ Covariance matrix = auto-covariance matrix = variance-covariance matrix = variance matrix = dispersion matrix 진짜 헷갈린다. 각자 다 다른 것 같이 보이지만 모두 covariance matrix를 의미한다. Autocorrelation matrix $$\mathbf{R}_{xx}=\mathbb{E}[\mathbf{x}\mathbf{x}^T]$$ 이전 1 2 다음
