4.1 배깅에서 부스팅까지

• 랜덤 포레스트는 결정 트리에 대해 부트스트랩 샘플(중복을 허용한 샘플링)을 사용하는 배깅(Bootstrap Aggregation) 알고리즘

  • 배깅 알고리즘은 개별 트리는 처음부터 훈련됨

  • 최종 모델은 모든 개별 트리의 결과를 합침(분류 - 다수결 투표, 회귀 - 트리들의 예측 평균)

    

    source: https://www.geeksforgeeks.org/bagging-vs-boosting-in-machine-learning/

• 반면 부스팅은 트리들이 독립적으로 동작하지 않고, 이전 트리를 기반으로 만들어짐

  • 구체적으로는 이전 트리의 오차(실수)를 기반으로 새로운 트리를 훈련함

    

    Source:https://en.wikipedia.org/wiki/Boosting_(machine_learning)#/media/File:Ensemble_Boosting.svg

주요 부스팅 모델들

4.1.1 에이다부스트(AdaBoost)

• 이전 트리의 오차를 기반으로 가중치를 조정하여 새로운 트리를 만듦(순차성)
• 오류 샘플의 가중치(다음 트리의 샘플로 뽑힐 확률)를 높여서 잘못된 예측에 더 많은 주의를 기울임
• 학습과정에서 반복적으로 오류를 수정해가는 것에 초점을 맞추기 때문에 기반 모델(base learner)로 강력한 모델보다는 약한 학습기(weak learner)를 주로 사용함
  • 약한 학습기: 우연보다 조금 나은 성능을 내는 머신러닝 모델
  • 강한 학습기: 많은 양의 데이터에서 학습해서 성능이 높은 모델
• 추가: 트리(분류기)의 성능에 따라서도 가중치가 다르게 주어짐. 더 정확도가 높은 트리에 더 높은 가중치가 주어짐(랜덤 포레스트는 모든 트리가 같은 가중치를 가짐)
• 최종 예측: 각 트리가 만든 예측치에 대한 가중 평균

코드

• sklearn에서 사용: from sklearn.ensemble import AdaBoostRegressor, AdaBoostClassifier
• 에이다부스트에서 주요한 매개 변수: 강력한 학습기를 만들기 위해 필요한 트리 개수(=반복 횟수)인 n_estimators

4.1.2 그레이디언트 부스팅(Gradient Boosting)

• 에이다부스트처럼 잘못된 예측을 기반으로 새로운 트리를 만듦
• 이전 트리의 예측 오차(residual)를 기반으로 완전히 새로운 트리를 훈련하는 additive model