Training 시 겪은 문제 상황

: 우선순위, Training시 먼저 고려해야할 점 1. Learning rate 2.

Momentum, Mini batch, size, Hidden units 3. Layers, Learning rate decay 4. beta1 0.9, beta2 0.999, epsilon 10^(-8) : Hyperparameter를 뭐를 사용할까?

1. Random search 후 결과 좋은쪽에서 밀집해서 재탐색 - 아래 네모 사각형(2차원, 하이퍼파라미터 2가지-2축를 탐색하기 위해 고려, Orthogonalization, 직교화) - 아래 하늘색(Random search, Random sampling)이 빨간색(Grid search)보다 더 많이 시도할 수 있다. - 추후 결과가 좋은 쪽에서 밀집하여 재탐색 : Trainingset과 Testset의 비율은 어떻게 해야할까?

2,000장 미만인 Small dataset인 경우, 60%, 20%, 20%를 많이 사용하나, 1,000,000장...