순환신경망

import numpy as np timesteps = 10 # 시점의 수. NLP에서는 보통 문장의 길이가 된다. input_size = 4 # 입력의 차원.

NLP에서는 보통 단어 벡터의 차원이 된다. hidden_size = 8 # 은닉 상태의 크기. 메모리 셀의 용량이다. inputs = np.random.random((timesteps, input_size)) # 입력에 해당되는 2D 텐서 hidden_state_t = np.zeros((hidden_size,)) # 초기 은닉 상태는 0(벡터)로 초기화 # 은닉 상태의 크기 hidden_size로 은닉 상태를 만듬. print(hidden_state_t) # 8의 크기를 가지는 은닉 상태.

현재는 초기 은닉 상태로 모든 차원이 0의 값을 가짐. Wx = np.random.random((hidden_size, input_size)) # (8, 4)크기의 2D 텐서 생성.

입력에 대한 가중치. Wh = np.random.ran...