DeBerta V3 relative position 관련 몇 가지 코드 정리

Bucket Algorithm NLP에서 relative position을 사용하는 T5, DeBERTa 등의 모델들은 relative position encoding할 때 bucket을 사용한다. DeBERTa bucket Link : https://github.com/microsoft/DeBERTa/blob/c558ad99373dac695128c9ec45f39869aafd374e/DeBERTa/deberta/da_utils.py#L8 DeBERTa/da_utils.py at c558ad99373dac695128c9ec45f39869aafd374e · microsoft/DeBERTa The implementation of DeBERTa.

Contribute to microsoft/DeBERTa development by creating an account on GitHub. github.com 위 링크를 seq_len 15로 설정하여 결과를 확인한다. import torch i...