[자연언어처리 개론] (5) 선형 회귀와 경사 하강법 (Linear regression & gradient descent)

앞서 기계학습의 Supervised learning 카테고리에 linear model이 포함된다고 소개했습니다. 1. Linear regression의 소개 어떤 변수 X와 Y 사이의 관계를 linear(선형)하게 예측하는 모델입니다.

즉, X와 Y의 관계가 직선입니다. 즉, 와 같은 꼴의 식에 들어가는 W와 b의 값을 찾아야 합니다.

그렇다면 W와 b의 값은 어떻게 찾아야 할까요? 당연하게도 주어진 training 데이터에 가장 '맞는' 직선을 찾아야 합니다. 2.

Linear model을 찾는 법 Cost function / Loss function (오류 함수) 그 전에 먼저 직선 식의 출력값에서 학습 데이터 값을 뺀 것의 제곱에 대해 생각해 봅시다. 출처 https://www.youtube.com/watch?

v=zPG4NjIkCjc 즉 위 그림에서 세로로 된 직선의 길이를 제곱한 것입니다. 이것이 한 점에 대한 오류입니다.

그렇다면 전체 학습 데이터 m개에 대한 오류의 평균은...