신경망 학습에서는 '지표'를 가지고 최적의 매개변수 값을 탐색하는데 이때 사용하는 '지표'가 손실 함수이다. 이 손실 함수에서는 일반적으로 '오차제곱합'과 '교차 엔트로피 오차'를 사용한다. 이 중에서 가장 많이 쓰이는 손실 함수는 오차제곱합이다. 오차제곱합이란 말 그대로 오차를 제곱한 것의 합이다. 수식으로는 위와 같이 나타낼 수 있다. 여기서 y는 신경망의 출력이고, t는 정답 레이블, k는 데이터 차원의 수이다. 따라서 손실 함수의 출력이 작으면 정답 레이블과의 오차도 작다는 것이다. 즉, 오차제곱합 기준으로 오차가 더 작은 추정 결과가 정답에 더욱 가까울 것으로 판단할 수 있다. 또 다른 손실 함수로서 교차 엔트로피 오차도 자주 이용한다. 수식은 위와 같이 나타낼 수 있다. 오차제곱합과 마찬가지로..
