개요 AI가 발전함에 따라 모델의 규모가 기하급수적으로 커지게 되었고, 더 이상 사용자 레벨에서 학습하기는 어려워지게 되었다. 때문에 언어모델(LM) 대부분의 파라미터를 freeze한 후 극히 일부분만 fine-tuning시키는 여러가지 방법이 만들어졌으며, 이런 학습 방식을 통틀어 PEFT라 부르게 되었다.
PEFT 우선 Huggingface 홈페이지에서 아래와 같이 해보라고 가이드라인을 제공하고 있다. 한번 훑어보고 오는 것을 추천한다.
Parameter-Efficient Fine-Tuning using c PEFT Back to blog 珞 PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware Published February 10, 2023. Update on GitHub smangrul Sourab Mangrulkar sayakpaul Sayak Paul Motivation...
#
gpt
