머신러닝, 딥러닝 이론 - 경사하강법 (Gradient Descent) 기초, 구현

학습 모델의 궁극적인 목표는 비용(Cost, Loss) 함수를 최소화하는 것인데, 이를 위해 정확한 예측값을 계산하는 가중치를 찾기 위한 방법 중 하나가 경사하강법 (gradient Descent)이다. 경사하강법 (Geadient Descent)은 함수의 기울기를 구하여 기울기가 낮은 쪽으로 이동시키면서 최저점에 도달할 때까지 기울기를 반복해서 업데이트하는 것이다.

여기서 말하는 최저점은 기울기가 0 즉, w=0인 지점을 말한다. 학습률 (Learning Rate)은 기울기를 업데이트할 때의 보폭을 의미하며, 한 번 학습할 때 얼마만큼 가중치(weight)를 업데이트해야 하는지 학습량을 말한다.

보폭이 작으면 즉, 학습률 (Learning Rate)이 너무 작으면 가중치 갱신이 충분히 되지 않은 상태로 학습이 끝나버려 과소 적합 상태로 남는 문제가 발생하고, 학습률이 너무 크면 계속 발산하는 형태로 minimum에 도달하지 못하는 문제가 발생한다. 위에서 설명한 것처럼 경사하강법 ...

요청 처리 중입니다...

머신러닝, 딥러닝 이론 - 경사하강법 (Gradient Descent) 기초, 구현

등록된 다른 글