자연어처리 NLP :: 텍스트 전처리 과정 살펴보기

자연어처리 (NLP, Natural Language Processing)는 컴퓨터와 인간 언어 사이에서 상호 작용하는 기술이며 AI 핵심 기능 중 하나이다. 1950년대부터 기계 번역과 같은 자연어처리 기술이 연구되기 시작했으며 1990 년대 이후에는 코퍼스스 (Corpus, 텍스트에서 데이터 분석이나 모델 개발 등 특정 목적을 위해 수집된 텍스트 데이터) 데이터를 활용하는 기계학습 기반 및 통계적 자연어처리 기법이 주류를 이루었다. 하지만 인간의 사고방식이 복잡하고 정교한 만큼 AI가 인간의 언어를 이해하려면 사람이 각 단어의 의미와 여러 단어 사이의 관계를 명확하게 밝혀주며 사람의 개입이 필요했다.

NLP와 딥러닝이 이런 문제를 해결해주고 있다. NLP 기술은 기계번역, 대화체 질의응답 시스템 대화시스템, 정보검색, 빅데이터 분석뿐 아니라 언어학과 뇌인지, 언어정보처리 분야에서도 핵심 요소로 작용하고 있다.

NLP는 AI의 한 범주이기도 하지만 머신러닝과 딥러닝의 일정부분 교집합...