[머신러닝] Support Vector Machine (SVM) — 직선 하나로 세상을 나누다

머신러닝 알고리즘 중에서도 "수학적으로 우아하고, 성능도 뛰어나며, 설명력도 탁월한" 모델이 있습니다. 바로 오늘의 주인공, 서포트 벡터 머신(SVM)!

"최대한 margin(여유)을 두고, 분류 경계를 그리는 알고리즘" 그 단순함과 강력함 때문에 아직도 많이 쓰이는 고전 알고리즘입니다. SVM은 무엇인가?

SVM은 주어진 데이터를 분류하는 선(또는 초평면)을 찾는 알고리즘입니다. 예를 들어 2차원 평면에서 파란 점과 빨간 점을 나눈다고 해봅시다.

SVM은 그 중에서도 가장 margin(여유 거리)이 넓은 선을 찾아냅니다. 왜 margin이 중요한가?

일반화 성능이 좋아집니다. 데이터에 조금 노이즈가 있어도 잘 동작합니다.

무작정 "딱 맞는 선"보다, "충분히 여유 있는 선"이 더 좋은 분류자입니다. ️ 수학적으로 살펴보면?

1. 초평면(hyperplane) 2D에서는 선, 3D에서는 평면, n차원에서는 초평면이라고 부릅니다. w⋅x+b=0 여기서: w: 가중치 벡터 x: 입력 ...