[pytorch]RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`

오늘의 에러 RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)` 더불어, 아래와 같은 warning도 같이 등장했다. /pytorch/aten/src/ATen/native/cuda/Indexing.cu:662: indexSelectLargeIndex: block: [257,0,0], thread: [64,0,0] Assertion `srcIndex < srcSelectDimSize` failed.

원인 - torch.nn.Embedding layer에 정의된 크기보다, 모델의 input으로 주어지는 값이 더 크기 때문. 즉, torch.nn.Embedding(3, 256) 일 때, input sequence는 [0, 10, 10]과 같이 embedding 숫자보다 더 큰 값이 들어갔기 때문이다.

해결 방법 1. 가장 큰 이유는 tokenizer가 잘못 됐을 가능성이 크다....