※ 정말 유용한 옵션들이 많기 때문에 계속해서 수정해보도록 하겠습니다. Transformer Pipeline Transformer의 Pipeline은 간단히 아래의 그림으로 설명할 수 있다.
이 포스트에서는 Raw Text를 Token으로 바꿔주는 huggingface Tokenizer에는 어떤 argument가 자주 사용되는지에 대해 다뤄보고자 한다. 만약 tokenizer의 개념이 궁금하다면 아래 포스트를 참고해보길 바란다.
(자연어 처리) 토큰화 / 토큰화 개념 (자연어 처리) GPT / tokenizers 라이브러리 (자연어 처리) BERT / tokenizers 라이브러리 PreTrainedTokenizer.__call__ https://huggingface.co/transformers/v3.5.1/main_classes/tokenizer.html 보통은 tokenizer를 처음부터 만들지는 않고 아래와 같이 잘 알려져있거나 자신이 풀고자 하는 Task에 맞는 모델의 Tok...
