BART (Bidirectional and Auto-Regressive Transformers) 개요 19년 10월에 Facebook에서 발표한 BART는 Denoising Auto Encoder이다. Training을 할 때는 Auto Encoder에서의 학습 방법과 유사하게 손상된 text를 reconstruction하는 방법으로 모델을 학습시킨다. word2vec, BERT, SBERT, XLNET, Roberta와 같은 self-supervised 기반의 모델들은 분명히 다양한 분야의 NLP task에서 좋은 성능을 보여줬다.
하지만 위 모델들과 같은 MLM(Masked Language Model)은 특정 Task에만 집중을 하기 때문에 특정 분야를 벗어나게 되면 활용성이 떨어진다는 단점이 있다. 이런 한계점을 극복하기 위해 BART가 만들어졌다고 생각하면된다.
Architecture BART는 BERT와 GPT를 합친 구조이다. 즉, BERT의 Bidirectional 특징...
원문 링크 : (자연어 처리) BART 개념
