[직딩잇템] 어서와 데이터는 처음이지 - Part3. 미래 예측을 위한 기초 개념: Chapter 7. 예측을 해보자(2) - 최적의 선을 찾는 방법, 최소제곱법

Chapter 7. 예측을 해보자(2) - 최적의 선을 찾는 방법, 최소제곱법

Model과 Parameter

회귀의 목적 : 데이터간의 관계성을 가장 잘 설명하는 방정식 찾기
회귀분석 = Data-fitting = Modeling

Model : 원하는 목표 방정식 (Y = AX + B)
매개변수(Parameter) : Model을 구하기 위해 반드시 필요한 변수 (기울기와 절편)

 

최소 제곱법 (LMS)

최적의 Parameter를 정확히 어떻게 구할까?

x가 1인 경우
  - 실제값 (1, 6)
  - 예측값 (1, 5)
오차 = 실제값 - 예측값 = 1

오차의 평균이 가장 작은 선 = 최적의 방정식
오차의 방향성 (+, -) 존재
오차의 부호를 없애려면? 절대값 or 제곱

최적의 Model
#1 (실제값 - 예측값)을 오차로 정의하고, 모든 데이터의 오차를 다 구한다.
#2 오차를 일일이 다 제곱하고 그 제곱 오차의 평균을 구한다.
#3 제곱 오차의 평균이 가장 작은 것이 최적의 Model이다.
=> 최소 제곱법 (LMS: Least Mean Squared)

 

오차 제곱 평균 (MSE)

오차 제곱 평균 (MSE: Mean Squared Error)
  - MSE가 작다 = 오차가 작다 = 예측력이 높다

RMSE(Root Mean Squared Error)
  - √MSE (MSE 수치에 제곱근을 씌움)
  - 예측 모델의 정확도를 나타낼 때 많이 사용
  - RMSE가 작다 = 오차가 작다 = 좋은 Model이다

 

정리

1. Model과 Parameter
  - Model : 회귀의 목적인 방정식
  - Parameter : Model을 구해내는데 필요한 매개변수(기울기와 Y절편)
  → 'Model을 구하라' = '최적의 Parameter를 찾아내라'
2. 최소 제곱법(LMS)
  - 실제 데이터 - 예측 결과 = 오차
  - 오차를 제곱하여 평균 내어 오차 제곱 평균을 구한 후, 이것을 최소로 만들면 최적이라고 할 수 있음
3. 오차 제곱 평균(MSE)
  - 이 수치는 제곱 되어있기 때문에 이것의 제곱근을 구한 것이 RMSE임
  - RMSE는 예측모델의 정확도를 나타내는데 많이 쓰임
  - RMSE가 낮을수록 오차 평균이 적다는 의미 = 좋은 예측모델