활성함수가 없으면 신경망이 아님 (Activation Function)

지금까지 작성했던 수능점수 예측모델은 결함이 하나 있습니다.

중간에 히든 레이어를 넣든 안넣든 예측결과는 똑같을걸요? 

실제로 머신러닝 돌려보면 레이어 있나없나 거의 결과가 똑같습니다. 

우리가 의도했던 "뇌처럼 생각하는 공간" 역할의 레이어가 제 역할을 해주지 못하고 있는겁니다.

그러니 앞으로 복잡한 예측도 전혀 못할 것 같군요.

이걸 해결하고 싶으시면 레이어안의 Node 연산결과를 짜부라트리면 됩니다. 

활성함수 안에 집어넣어서요. 

활성함수는 여러가지 종류가 있습니다.

hyperbolic tangent

sigmoid

softmax

rectified linear

등이 있습니다. 

▲ 예를 들면 sigmoid 활성함수는 이렇게 생겼습니다. 

여기 x 부분에 여러분이 연산한 node값을 집어넣자는겁니다.

그러면 값이 0과 1사이로 압축되어서 나오게 됩니다. 

이렇게 node 값을 한번 짜부라트리면 아까와같은 문제가 발생하지 않습니다.

의도했던 대로 약간 더 복잡한 예측을 할 수 있다는 것입니다. 

활성함수는 마음에 드는거 아무거나 써보면 됩니다. 

물론 상황에 따라 결과가 좋은 활성함수가 있을 수 있기 때문에

나중에 직접 딥러닝 돌리면서 내 모델이나 레이어에 맞는 함수가 뭔지는 실험해보면서 찾아야합니다.