PyTorch : Learning_Rate_Decay

Learning Rate Decay는 기존의 Learning Rate가 높은 경우 loss 값을 내릴 수는 있지만, 최적의 학습을 벗어나는 경우가 생기고 낮은 경우 최적의 학습을 할 수 잇지만 그 단계까지 너무 오랜 시간이 걸린다. 따라서, 처음 시작에는 Learning Rate 값을 크게 준 후 일정 epoch 마다 값을 감소시켜서 최적의 학습까지 더 빠르게 도달할 수 있게 해준다. import libraries import numpy as np import torch import torch.nn as nn import torch.optim as optim import torch.nn.init as init import torchvision.datasets as dset import torchvision.transforms as transforms from torch.optim import lr_scheduler from torch.utils.data import DataLoade...