[머신러닝] Naive Bayesian – 순진하지만 강력한 분류기

머신러닝을 공부하다 보면 꼭 등장하는 분류기가 있습니다. 이름이 다소 귀엽고, 순진해 보이지만, 의외로 성능도 좋고 빠르며 실용적인 알고리즘이죠.

바로 Naive Bayes Classifier입니다. "조건부 확률을 이용해, 가장 가능성 높은 클래스를 예측한다!"

– 순진하지만 놀라운 녀석 어떤 아이디어일까? 확률에 기반한 분류기입니다.

"특정 단어들이 들어간 이메일이면 스팸일 확률이 얼마나 될까?" "이 환자의 증상을 보면 질병 A일 가능성이 클까, B일까?"

이런 문제를 다룰 때, Naive Bayes는 각 특성(feature)이 독립이라고 가정하고, 베이즈 정리(Bayes’ Theorem)를 이용해 확률을 계산합니다. 베이즈 정리 복습 P(A∣B): B가 주어졌을 때 A일 확률 (posterior) P(B∣A): A일 때 B가 나올 확률 (likelihood) P(A): A의 사전 확률 (prior) P(B): B의 전체 확률 (evidence) Naive Bayes는 어...