※ 가중치 감쇠, L1 규제, L2 규제 L1 규제화 (Lasso Regression) L2 규제화 (Ridge Regression) L1 규제화와 L2 규제화는 식만 비교해보았을 때에는 별반 차이 없어보인다. 하지만 분명 둘은 다른 역할을 한다.
지금부터 둘의 차이가 무엇인지 알아보자. L1 규제화 (Lasso Regression) 먼저 L1 규제화를 그래프로 그려보는 과정을 거쳐보자.
우리는 어떤 2차 다항 회귀를 가지고 있다고 하자. 먼저 L1 규제화를 예로 들어보자 ※ 규제화는 일반적으로 곡선을 다루기 때문에 곡선을 다루는 모델 중 하나인 다항회귀를 예로 들것이다. θ0 은 규제화 식에 포함되지 않으니깐 어떤 상수라 하고 λ 가 1이라고 가정할 때 L1 규제화의 손실함수는 아래와 같을 것이다.
위 손실함수를 이용하여 경사 하강을 모두 마친 값 θ1, θ2이 각각 a, b라고 가정하자. 그리고 난 후 |a| + |b| = k 라고 할 때 k는 정규화 항의 값이 될 것이다.
위 ...
