신경망 학습에서는 '지표'를 가지고 최적의 매개변수 값을 탐색하는데
이때 사용하는 '지표'가 손실 함수이다.
이 손실 함수에서는 일반적으로 '오차제곱합'과 '교차 엔트로피 오차'를 사용한다.
이 중에서 가장 많이 쓰이는 손실 함수는 오차제곱합이다.
오차제곱합이란 말 그대로 오차를 제곱한 것의 합이다.
수식으로는 위와 같이 나타낼 수 있다.
여기서 y는 신경망의 출력이고, t는 정답 레이블, k는 데이터 차원의 수이다.
따라서 손실 함수의 출력이 작으면 정답 레이블과의 오차도 작다는 것이다.
즉, 오차제곱합 기준으로 오차가 더 작은 추정 결과가 정답에 더욱 가까울 것으로 판단할 수 있다.
또 다른 손실 함수로서 교차 엔트로피 오차도 자주 이용한다.
수식은 위와 같이 나타낼 수 있다.
오차제곱합과 마찬가지로 t는 정답 레이블이고, y는 신경망의 출력이다.
또 t는 정답에 해당하는 인덱스 원소만 1이고 나머지는 0이다. (원-핫 인코딩)
따라서 위 수식은 실질적으로 정답일 때의 추정(t가 1일 때의 y)의 자연로그를 계산하는 식이 된다. (정답이 아닌 나머지 모두는 t가 0이므로, log와 연산이 되어도 결과에 영향을 주지 않는다.)
즉, 교차 엔트로피 오차는 정답일 때의 출력이 전체 값을 정하게 된다.