[머신러닝] 선형회귀모델(개요, 모델가정, 파라미터 추정, 최소제곱법)

📝 수치예측, 범주예측

🔵 수치예측(예측)

• X, Y를 설명하는 데이터가 주어졌을 때 관계를 잘 설명할 수 있는 함수식

 

🔵 범주예측(분류)

• - 실제 숫자를 예측하는게 아니라, 새로운 데이터가 발생했을 때 두 범주사이에서 어떤 범주에 속하는지 예측하는 것

---

변수 사이의 관계

- x변수(원인)과 y변수(결과) 사이의 관계

확정적 관계 : X변수만으로 Y를 100% 표현(오차항 없음)

예) 힘 = f(질량, 가속도), 주행거리 = f(속도, 시간)

  확률적 관계 : X변수와 오차항이 Y를 표현(오차항 있음)

예) 반도체 수율 = f(설비 파라미터들의 상태, 온도, 습도) + ε
      포도주 가격 = f(강우량, 온도, 포도품종) + ε
      위조카드 여부 = f(사용시간, 사용액, 사용장소) + ε

📝 선형회귀 모델

입력변수 X와 출력변수 Y 평균과의 관계를 설명하는 선형식 찾기

- 선형회귀모델 : 출력변수 Y를 입력변수 X들의 선형결합으로 표현한 모델

  * 선형결합 : 변수들은(상수 배와) 더하기 빼기를 통해 결합

🟣 선형회귀모델링 목적

- X변수와 Y변수 사이의 관계를 수치로 설명
- 미래의 반응변수 (Y) 값을 예측

 

🟣 선형회귀모델링 분류

🟣 선형회귀 모델 가정

---

📝 선형회귀 모델 파라미터 추정 알고리즘

비용함수를 최소화시키는 파라미터 구하기

이를 알고리즘을 통해 베타0과 베타1을 구하기

 

 

• Cost function is convex → globally optimal solution exists(전역 최적해 존재)
• Algorithm : Least Squares Estimation Algorithm(최소제곱법, 최소자승법)

잔차(Residual) : 

• 잔차 e는 확률오차 엡실론(ε) 실제로 구현된 값