[개발자를 위한 LLM] 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

이번 포스팅에서는 트랜스포머가 어떤 순서로 훈련과 예측을 수행하는지 알아보겠습니다. 트랜스포머 훈련과 예측 스텝 1트랜스포머 모델이 '어제 카페 갔었어'라는 한글 문장을 영어로 번역하는 과정을 살펴보겠습니다.

이 과정을 통해 트랜스포머의 훈련과 예측이 어떤 과정을 거치는지 이해할 수 있습니다. - 인코더 입력: 한글 소스 시퀀스 전체- 디코더 입력: 인코더의 출력 + 토큰 (시작 스페셜 토큰)- 최종 출력: 영어 번역 출력 I 이 단계에서 인코더는 한글 문장을 처리해 디코더로 전달하고, 디코더는 이 정보와 시작 토큰을 바탕으로 첫 번째 영어 단어 'I'를 예측합니다.좀 더 자세히 설명하면 인코더는 입력 소스 시퀀스를 압축해 디코더로 보내고, 디코더는 인코더에서 보내온 정보와 현재 디코더 입력을 모두 고.....