MSE에서 왜 제곱할까?

MSE는 Mean Squared Error, 즉 "제곱 오차의 평균"입니다.

제곱하지 않으면 어떻게 될까?

실제값:    [10, 20, 30]
예측값:    [15, 15, 35]
오차:      [-5, +5, -5]

그냥 합:   -5 + 5 + -5 = -5
평균 오차: -5 / 3 = -1.67

오차가 음수와 양수가 섞이면 서로 상쇄되어 정확한 측정이 안 됩니다.

제곱하면?

오차:       [-5, +5, -5]
오차 제곱:   [25, 25, 25]   ← 모두 양수!

합계:       75
평균(MSE):  25

모든 값이 양수가 되어 상쇄 없이 정확히 측정 가능합니다.

제곱의 두 가지 효과

1. 음수를 양수로 (부호 통일)

(-5)² = 25
(+5)² = 25

2. 큰 오차에 더 큰 페널티

오차 1 → 1² = 1
오차 2 → 2² = 4   (4배)
오차 5 → 5² = 25  (25배)
오차 10 → 10² = 100 (100배)

작은 오차보다 큰 오차를 더 심각하게 취급합니다. 즉, 모델이 큰 실수를 줄이는 데 집중하게 됩니다.

절댓값을 쓰면 안 되나? (MAE)

절댓값을 쓰는 손실 함수도 있습니다:

MSE가 미분 가능해서 학습 알고리즘(경사하강법)이 잘 작동하기 때문에 가장 많이 쓰입니다.

직관적 비유

시험 점수 차이를 평가할 때:

학생 A: 1점 차이
학생 B: 10점 차이

• 그냥 차이: B는 A보다 10배 차이 → 보통
• 제곱 차이: B는 A보다 100배 차이 → 매우 심각하게 평가

큰 실수를 더 무겁게 봐서 줄이려는 의도입니다.

💡 핵심: 제곱은 ① 부호 통일과 ② 큰 오차 강조라는 두 가지 효과로 학습에 적합한 손실값을 만듭니다.