W의 절대값에 페널티를 부여하는 L1규제를 선형 회귀에 적용한것이 Lasso 회귀이다.
L1 규제는 alpha * | |W| | 를 의미하며, 라쏘 회귀 비용함수의 목표는 RSS(W) + alpha * | |W| | 식을 최소화 하는 W를 찾는것이다. L2 규제 (Ridge)가 회귀 계수의 크기를 감소시키는데 반해, L1규제는 불필요한 회귀 계수를 아예 0으로 만들고 제거시킨다. L1 규제는 feature selection 의 성격을 띈다.
엘라스틱넷 회귀는 L2규제와 L1규제를 결합한 회귀이다. Lasso는 상관관계가 높은 피쳐들의 경우에 이들중에서 중요피쳐만들 셀렉션하고 다른 피쳐들은 회귀계수를 0으로 만드는 성향이 강하다. -> alpha값에 따른 회귀계수의 값이 급격힌 변동한다. 이를 완화하기 위해 L2규제를 라쏘 회귀에 추가한다.
엘라스틱넷 목표 : RSS(W) + alpha * | |W| | + alpha *( | |W| |^2) 완화
엘라스틱넷의 파라미터 : alpha값은 a+b (L1규제의 alpha값a + L2규제의 alpha값b), l1_ratio(a/a+b, 즉 alpha중 a의 비율)
'머신러닝 > 인프런' 카테고리의 다른 글
| 로지스틱 회귀 (0) | 2021.05.16 |
|---|---|
| 선형 회귀 모델을 위한 데이터 변환 (0) | 2021.05.15 |
| 회귀 (0) | 2021.03.28 |
| feature selection (0) | 2021.03.28 |
| 부스팅 (0) | 2021.03.11 |