모두의 딥러닝 - 3장(선형 회귀)

선형 회귀는 독립 변수 x를 사용해 종속 변수 y의 변화를 예측하는 작업이다.

독립 변수 x가 하나인 경우 단순 선형 회귀라고 하고, x가 여러개인 경우에는 다중 선형 회귀라고 한다.

 

우선 단순 선형 회귀의 경우부터 살펴보면, 통계적으로 최소 제곱법이라는 표준 방식이 있다.

이런 공식으로 설명 가능하다. 

여러 개의 (x,y) 데이터에 대해 위의 공식을 적용하면, 선형 회귀식 y = ax+b에서 기울기 a를 구할 수 있다.

y절편 b는 이렇게 구할 수 있다.

이렇게 선형 회귀로 그어진 선은 데이터와의 차이가 있다.

이 오차를 평가하는 방법 중 대표적인 것이 평균 제곱근 오차이다.

rmse는 이 식으로 계산된다.

p(i)는 예측값이고, y(i)는 실제값이다.

굳이 오차를 제곱해서 더하고, 평균을 낸 뒤 루트를 씌우는 이유는 양의 오차와 음의 오차를 그냥 더해버리면

줄어들기 때문에 제곱해서 평균을 내는 것이고, 제곱의 합을 그대로 써버리면 크기가 너무 커져서 계산 속도에 영향을 주기 때문에

다시 루트를 해서 계산한다.

 

선형 회귀는 어떤 직선 ax+b를 그어서 주어진 실제 데이터 값들에 대한 rmse 값이 가장 작아지도록 하는 a,b를 찾아내는 작업이다.

rmse 계산을 구현한 코드이다.

 

이 rmse값을 줄여 나가기 위한 방법인 경사 하강법에 대해서는 다음 장에서 알아볼 것이다.