XGBoost

Distributed(Deep) Machine Learning Community(DMLC) group 내 Tianqi Chen에 의한 연구 프로젝트로 시작. the Higgs Machine Learning Challenge 라는 Kaggle challenge에서 우승 solution으로 선정되어 알려졌고, 이후 xgboost를 이용하여 다른 Kaggle 경쟁에서도 다수 우승 (2015년동안 29개 Kaggle challenge 에서 17개의 solution 이 XGBoost를 사용) xgboost: 앙상블 학습기법으로 모델을 생성하는 분류모델 [표 15.6] 배깅과 부스팅 알고리즘 비교 분류 배깅(Bagging) 부스팅(Boosting) 공통점 전체 데이터 셋으로부터 복원추출방식. n개의 학습데이터 셋을 생성하는 부트스트랩 방식 사용 차이점 병렬학습방식: n개의 학습 데이터셋으로부터 n개의 트리 모델 생성 순차학습방식: 첫번째 학습 데이터 셋으로부터 트리모델 à 두번째 학습 데이터 ...