Neural Network 써서 다시 계산해보자 & 손실함수 (Loss function)

Neural Network가 뭔지 배워봤으니 이걸 사용해서 다시 한번 수능점수를 예측해봅시다.

레이어에서 동그란건 Node라고 부릅니다. Node의 실체는 별거아니고 그냥 숫자일 뿐입니다. 

Node안에 들어갈 숫자 계산법은 크게 어려운게 아니라 그냥 저번강의에서 perceptron 계산하듯 똑같이 하면 됩니다. 

Node와 연결된 모든 이전노드들을 다 더하면 됩니다.

가중치(weight)를 곱해서요. 가중치는 아직 무슨 숫자가 들어갈지 모르니 일단 미지수로 맘대로 정하면 됩니다. 

그럼 계산법을 알았으니 이제 최종수능점수도 직접 계산해볼 수 있겠죠? 

해보십시오. 

근데 이번엔 정확히 예측이 되었는지 평가하기 위해 손실함수 (멋진 미국말로 Loss function) 라는 것도 사용해봅시다.

컴퓨터에게 대충써놓은 w값들을 찾아라 ~ 라고 명령을 줄건데 

컴퓨터는 천재가 아닙니다. w값을 찾는 기준을 정확히 명령주셔야합니다. 

그건 쉽습니다. 실제 학생들의 6월, 9월 데이터를 많이 수집해놓습니다.

이 데이터를 바탕으로 학생들의 예측 수능점수를 계산해봅니다. 

그리고 여기서 학생들의 실제 수능성적값을 빼거나 하면 오차가 나오겠죠?

그니까 예를 들면 학생1의 수능점수를 내 모델이 70점이라고 예측했는데 얘는 실은 80점을 맞은겁니다.

두개의 점수는 10만큼의 오차가 발생하죠?

이 오차를 최소화하는 방향으로 w값을 찾아라~ 라고 명령을 주면 됩니다. 

그리고 총오차를 계산하는 수식을 우리가 loss function 이라고 부릅니다. 

일부 교재에선 cost function 이라고도 합니다. 

loss 를 계산하는 수식은 여러개가 있습니다.

특정 숫자값을 예측하는 문제에선 Mean Squared Error

확률이나 classification 문제에선 Binary Cross Entropy 이런 함수를 사용합니다. 

외에도 여러가지 loss function들이 있으며 

마음에 안들면 여러분이 직접 총 오차를 구하는 식을 만드셔도 됩니다.