구글 BERT의 정석에 정정요청을 해보았다

요즘 NLP 관련된 논문들을 쭉 읽어오고 있었는데, 어느덧 RoBERTa 논문을 보게 될 차례가 왔다. 보통 논문을 볼 때 한번 쭉 읽고 다시 처음으로 돌아가서 하나씩 뜯어보는 방법으로 봐왔는데, 이때 이해가 잘 가지 않는다면 이런저런 자료들을 찾아가며 공부하곤 한다.

어김없이 RoBERTa 논문에서도 살짝 막히는 부분이 있었고, 이를 해결하기 위해 여러 자료들을 찾던 중 한빛미디어에서 출간한 구글 버트의 정석이라는 책을 참고하게 되었다. 그런데, 교재에서 RoBERTa를 설명할 때 dynamic masking 부분이 더욱 이해가 가질 않았다.

교재에 의하면, dynamic masking(동적 마스킹)은 하나의 문장을 10개 복사한 뒤, 10개의 문장에 각기 다른 masking pattern을 적용하여 .....