앙상블 학습(Ensemble Learning)

• 여러 개의 학습 알고리즘을 사용하고, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법
• 강력한 하나의 모델을 사용하는 대신 보다 약한 모델을 여러개 조합하는 방식

앙상블 종류

1. voting

• 서로 다른 알고리즘을 가진 분류기 중 투표를 통해 최종 예측 결과를 결정하는 방식

• 여러개의 classifier가 투표를 통해 최종 예측결과를 결정
• 서로 다른 알고리즘 여러개 결합
  • Hard Voting: 다수의 classifier가 예측한 결과값을 최종 결과로 선정(다수결의 법칙)
  • Soft Voting: 모든 classifier가 예측한 label값의 결정 확률 평균을 구한 뒤 가장 확률이 높은 label값을 최종 결과로 선정

2. 배깅(Bagging)

• Bootstrap Aggregating의 줄임말로 주어진 데이터에 대해서 여러 개의 bootstrap 자료를 생성하고 각 자료를 모델링한 후 결합하여 최종 예측 모형을 산출하는 방법

• Bootstrap 자료란 row data에서 복원 임의 추출한 크기가 동일한 여러 개의 표본 자료를 뜻함
• Aggregating 집계방식
  • 이산형 데이터 : 다수결 투표방식으로 결과 집계
  • 연속형 데이터 : 평균값 집계
• voting과는 다르게 모두 같은 알고리즘 모델을 사용함
  • 대표적으로 랜덤 포레스트 알고리즘을 사용하여 과적합 방지에 효과적이며 수행속도가 빠르다는 장점이 있음

3. 부스팅(Boosting)

• 오분류된 개체들에 집중해서 새로운 분류 규칙을 만드는 단계를 반복하는 방법