로딩
티스토리 데이터 처리 중입니다.

Pretrained Language Model - 7. Attention

 Pretrained Language Model - 7. Attention

Natural Language Generation은 auto-regressive task로 접근합니다. 즉, Language Model은 주어진 단어들을 바탕으로 다음 단어를 예측하는 형태이고 가장 기본이 되는 것이 Sequence to Sequence(seq2seq) 입니.....

Pretrained Language Model - 7. Attention에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.