자연어처리_기초

en_text = "A Dog Run back corner near spare bedrooms" import spacy spacy_en = spacy.load('en_core_web_sm') def tokenize(en_text): return [tok.text for tok in spacy_en.tokenizer(en_text)] print(tokenize(en_text)) !pip install nltk import nltk nltk.download('punkt') from nltk.tokenize import word_tokenize print(word_tokenize(en_text)) kor_text = "사과의 놀라운 효능이라는 글을 봤어.

그래서 오늘 사과를 먹으려고 했는데 사과가 썩어서 슈퍼에 가서 사과랑 오렌지 사왔어" print(kor_text.split()) !git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Co...