회귀 분석

회귀 분석(regression analysis)이란?

- 둘 또는 그 이상의 변수간의 상관관계를 모델링하여 변수들의 값을 예상하는 방법

- 예측 값이 연속형 숫자 값으로 나타남

 

※ 모델이란?

시스템을 정보로서 표현한 것

회귀 분석 종류

 - 선형 회귀분석(linear regression)

    두 변수 간의 데이터 분포를 직선의 식으로 표현

 

 - 비선형 회귀분석(non-linear regression)

    변수들 간의 관계를 직선의 관계가 아닌 곡선의 관계가 있는 데이터를 다항식으로 표현한 것

 

선형회귀 함수

   fx = Wx + b

 

최소 제곱법(least squares method)

어떤 계의 해방정식을 근사적으로 구하는 방법, 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합(SS)이 최소가 되는 해를 구하는 방법

오차 계산식

n : 주어진 데이터 개수

yi : 주어진 데이터의 실제값

xi : 주어진 데이터의 입력값

f(xi) : 선형회귀 모델에 의해 구해진 값

 

 

그림의 예측 함수 값이 직선은 아니지만, 예측 값과 빨간 점 사이의 오차를 누적하여 에러 값을 계산함

에러 값이 가장 적은 함수를 선택함

 

경사하강법(Gradient Descent)

- 오차를 최소화 하는 파라미터 값을 찾기 위해 미분 값을 뺌으로써 함수의 극소값을 찾는 방법

- 최적화 방법 중 가장 기본적인 알고리즘

- 비용을 줄이는 방향으로 W(가중치)을 조절해가며 E(비용)=0인 W값을 찾는다

 

※ 비용함수

선형회귀모델 함수 H(x) = Wx+b라고 가정할 때 (W : 비용, b : 오차, y : 데이터 값) 

cost을 최소화 하는 W와, b를 구하면 됨

 

경사하강법은 가중치(W)를 이용하여 비용함수가 최소가 되도록 반복하는 방법이다

이 과정에서 반복 횟수를 에폭(epoch)이라 하고,

가중치를 갱신하는 과정에서 가중치에 기울기와 학습율을 곱한 값을 더해 준다.

 

Wt+1 : 이동 후 가중치, Wt = 현재 가중치