[바람돌이/머신러닝] 앙상블(Ensemble Learning)(2) - 부스팅(Boosting), AdaBoost, Gradient Boosting(GBM) 이론

안녕하세요. 오늘은 저번은 저번 포스팅에 이어서 앙상블 기법 중 부스팅 알고리즘에 대해서 정리하려고 합니다.

부스팅 알고리즘은 캐글에서도 굉장히 많이 사용되고 좋은 성능을 내는 머신러닝 알고리즘 중 하나입니다. 먼저 부스팅 알고리즘의 개념을 정리하고 부스팅 기법 좀 몇 개를 정리하겠습니다.부스팅(Boosting) 저번 포스팅에서 앙상블 기법 중 투표 기반 분류기와 배깅에 대해 정리했었습니다.

앞선 앙상블 기법들이 단일 모델을 복수개, 혹은 여러 모델들을 결합하여 병렬적으로 사용한다고 한다면 부스팅은 단일 모델을 순차적으로 활용한다는 면에서 차이점이 있습니다. 부스팅 또한 복원 랜덤 샘플링을 활용해서 다수의 샘..........