LASSO, Ridge regression

LASSO

$$\min_{\beta}(y-X\beta)^T(y-X\beta)$$

$$\mathrm{subject\;to}\quad||\beta||_1\leq t$$

\(\beta_i\)가 0이 되는 걸 허용한다. 0이 됨으로써 variable selection도 되는 듯.

Ridge regression

$$\min_{\beta}(y-X\beta)^T(y-X\beta)$$
$$\mathrm{subject\;to}\quad||\beta||_2= c$$

 

Lagrangian

당연히 둘 다 constraint를 Lagrangian을 이용해 objective에 포함시킬 수 있다.

 

References

https://en.wikipedia.org/wiki/Lasso_(statistics)

https://en.wikipedia.org/wiki/Ridge_regression