[파이썬 수학] 단계 크기와 입실론(ε)의 역할

이전 포스팅의 그레디언트 상승 알고리즘을 보면 변수에 대한 다음 값은 아래 방정식을 이용하여 계산한다. 식에서 λ는 단계 크기이다.

단계 크기는 다음 단계의 거리를 결정한다. 최대값을 감지하지 못하고 지나치는 것을 방지하려면 단계 크기는 작아야 한다.

즉, x의 현재값이 함수의 최대값에 근사한다면 다음 단계는 최대값을 지나쳐서는 안 된다. 만약 최대값을 감자하지 못 하고 지나치게 된다면 좋은 알고리즘이라고 할 수 없다.

하지만 최대값을 감지하기 위해 단계 크기를 무작정 매우 작게 설정한다면 계산하는 과정에 많은 시간이 소모된다. 단계 크기로 고정값 10-3을 사용했지만 이 값이 모든 함수에 대해 가장 적합하지는 않다.

알고리즘의 반복을 중단할 시점을 결정하는 입실론(ε)의 값은 x의 값이 변하지 않음을 입증할 만큼 충분히 작은 값이어야 한다. 1차 미분 f(x)는 최대값에서 0이어야 하고 이상적으로 절대값 차이 |θold - θnew|는 0이 되어야 한다. 그러나 값의 비정확성 때문...

요청 처리 중입니다...

[파이썬 수학] 단계 크기와 입실론(ε)의 역할

등록된 다른 글