1. Adaptive learning rate - 매개변수마다 모두 동일한 learning rate를 가지고 매개변수를 업데이트하는 문제를 해결하기 위해 등장 - 각 매개변수마다 자신의 상황에 따라 학습률을 조정해 사용 - 일정한 시간적 규칙을 가지고 학습률을 조정하는 것이 아니라, 매개변수 마다 사용한다는 점 - ex.
AdaGrad, RMSProp, Adam 2. Learning rate scheduler - 일련의 학습과정에서 동일한 학습률을 가지고 업데이트하는 문제를 해결하기 위해 등장 - 미리 정한 시간적 규칙(scheduler)을 통해 학습률(learning rate)를 decay(낮추는)시키는 방법 - ex. time-based decay, step decay, exponential decay...
Adaptive learning rate vs Learning rate scheduler 의 차이에 대한 요약내용입니다.
자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.