Regularization(정칙화)

• 정칙화라고 불리며, **오버피팅(overfitting)**을 해결하기 위한 방법 중의 하나
  • 오버피팅은 한국어로 과적합이라고 하며, train set은 매우 잘 맞히지만, validation/test set은 맞히지 못하는 현상을 말함
  • 오버피팅은 기출문제는 외워서 잘 맞히지만 새로운 응용 문제로 시험을 볼 때는 잘 풀지 못하는 경우
• L1, L2 Regularization, Dropout, Batch normalization 등이 있음
• Regularization 기법들은 모델이 train set의 정답을 맞히지 못하도록 오버피팅을 방해(train loss가 증가) 하는 역할

Norm

• 벡터의 크기를 계산하는 방법

• 벡터 v의 Norm은 ||v||로 표기하며, 일반적으로 Lp Norm으로 표현됩니다. Lp Norm은 벡터의 각 요소를 p 제곱한 뒤 더한 값에 p 제곱근을 취한 것입니다. 즉, 벡터 v의 Lp Norm은 아래와 같이 계산됩니다.

• ||v||_p = (|v_1|^p + |v_2|^p + ... + |v_n|^p)^(1/p)

• 여기서, p는 1 이상의 정수이며, 일반적으로 p=1, 2, 무한대일 때 사용

• L1 Norm은 벡터의 요소들의 절대값의 합입니다. 벡터의 각 요소에 절대값을 취한 뒤 더한 값이므로, L1 Norm은 각 요소들의 절대적인 크기를 모두 고려합니다. L1 Norm은 sparsity를 유도하는 데 사용됩니다.

• L2 Norm은 벡터의 유클리드 거리입니다. 각 요소들을 제곱하여 더한 뒤 제곱근을 취하므로, 벡터의 각 요소들이 모두 동일하게 고려됩니다. L2 Norm은 Euclidean distance를 사용하는 것이기 때문에, 일반적으로 기하학적인 문제에서 사용됩니다.

L1 Regularization

• L1 regularization은 Lasso regularization이라고도 불리며, 가중치의 절대값을 추가적인 비용으로 포함