정의

• 딥러닝에서 사용하는 인공신경망들은 일반적으로 이전 레이어로부터 값을 입력받아 “어떠한 함수”를 통과시킨 후 그 결과를 다음 레이어로 출력
• 이때 “어떠한 함수” 즉 인공신경망의 은닉층(hidden layer)에 사용되는 함수를 활성화 함수라고 합니다.
• 노드에 입력으로 들어오는 값이 어떤 '**임계치'**를 넘어가면 활성화(activated) 되고, 넘어가지 않으면 비활성화(deactivated)

선형과 비선형

선형

• 선형 변환은 선형이라는 규칙을 지키면 V공간상의 벡터를 W공간상의 벡터로 바꿔주는 역할

선형 변환의 정의V 와 W 가 어떤 벡터 공간이고 둘 모두 실수 집합에 있다고 가정할 때 함수 T:V→W 가 다음 두 조건을 만족할 때,

• 가산성(Additivity) : 모든 x,y∈V 에 대해, T(x+y)=T(x)+T(y)
• 동차성(Homogeneity) :모든 x∈V,c∈R 에 대해, T(cx)=cT(x)함수 T 를 선형 변환(linear transformation) 이라고 한다.

비선형

• 딥러닝에서는 모델의 표현력을 향상시키기 위해 비선형 활성화 함수를 사용
  • 선형함수끼리의 합성함수도 선형함수이기 때문에 활성화 함수로 선형 함수를 쓰면 다층 신경망을 구성하는 이유가 없음 (결국은 하나의 선형함수로 표현 가능하기 때문)
  • 즉, 선형 활성화 함수를 사용한다면, 노드의 개수를 아무리 많이 붙여도 결국 하나의 노드를 사용하는 것과 차이가 없음

활성화 함수의 종류

1. 이진 계단 함수

• 이진 계단 함수(Binary step function)는 들어온 입력이 특정 임계점을 넘으면 1(혹은 True)를 출력하고 그렇지 않을 때는 0을 출력하며, 간단한 이진 분류 문제에 쓰임