L1, L2 (loss, regularization, norm)

 

L1 loss : MAE

실제값 yi 와 예측값 f(xi)의 편차의 절댓값의 합

 

L1 loss : MAE

L1 regularization  (계수가 데이터에 overfitting 되지 않도록 하는 기능)

https://seongkyun.github.io/study/2019/04/18/l1_l2/

L2 loss : MSE

실제값 yi 와 예측값 f(xi)의 편차의 제곱의 합

L2 loss : MSE

L2 regularization

https://seongkyun.github.io/study/2019/04/18/l1_l2/

https://seongkyun.github.io/study/2019/04/18/l1_l2/

Robust : L1 > L2

• L1이 outlier에 더 robust 하다. (=loss function이 영향을 덜 받는다)  왜냐하면, L2는 편차에 제곱까지 해버리기 때문에 이상치가 나오면 그 편차를 제곱해서 그 영향이 클 수 밖에 없다. outlier가 무시되길 원하면 비교적 영향을 작게받는 L1 loss가 적합하다.

Stablity : L2 > L1

• L2 loss는 smooth한 convex 형태의 함수로 그래프또한 원형. 그래서 모든 점에서 미분이 가능하다. 그렇기 때문에 미분이 전부인 딥러닝에서는 L2가 계산에 더 안정적이라고 본다. 

Sparsity : L1 > L2

• 하지만 L1 같은 경우는 그래프가 sharp하고 절대값이기 때문에, 어떠한 임의의 값을 곱했을 때 같은 값들이 나올 확률이 더 높다. (L2는 모두 서로 다른 실수값으로 매칭되기 때문에 고유함) L1 regularization은 상수값을 빼주도록 되어 있기 때문에 작은 가중치들이 거의 0으로 수렴하게 되고, 그렇게 되면 벡터 값이 spase 하게 된다. 0이 아닌 다른 값들은 중요한 가중치가 남았다고 볼 수 있으며, 그래서 Feature selection을 할 때에는 더 용이하다는 이점이 있다. 

 

 

 

https://seongkyun.github.io/study/2019/04/18/l1_l2/

L1 & L2 loss/regularization · Seongkyun Han's blog