LASSO, Ridge regression

LASSO

$$\underset{\beta }{min}(y-X\beta {)}^T(y-X\beta )$$

$$\mathrm{subject}\mathrm{to}||\beta |{|}_1\le t$$

${\beta }_i$가 0이 되는 걸 허용한다. 0이 됨으로써 variable selection도 되는 듯.

Ridge regression

$$\underset{\beta }{min}(y-X\beta {)}^T(y-X\beta )$$
$$\mathrm{subject}\mathrm{to}||\beta |{|}_2=c$$

 

Lagrangian

당연히 둘 다 constraint를 Lagrangian을 이용해 objective에 포함시킬 수 있다.

 

References

https://en.wikipedia.org/wiki/Lasso_(statistics)

https://en.wikipedia.org/wiki/Ridge_regression