앙상블 학습/모델

중

앙상블 학습/모델

[정의]주어진데이터로부터여러개의모델을학습한다음, 예측시여러모델의예측결과들을종합하여정확도를높이는기법 앙상블학습(Ensemble learning)

배깅 부스팅 랜덤포레스트

 

 

토픽 이름 (하)	앙상블 학습
분류	DB > Big Data > 앙상블 학습
키워드(암기)	배깅(bagging; bootstrap aggregating, 개별 모델)
암기법(해당경우)

 

 

I. 빅데이터, 머신러닝의 학습 알고리즘(learning algorithm), 앙상블 기법의 개요

가. 앙상블기법의 정의

- 빅데이터 분석 및 기계학습 기법으로써, 개별 모형 하나로 원하는 성능을 낼 수 없을 때 개별로 학습한

  여러 학습기법(배깅, 부스팅, 렌덤 포레스토) 를 조합해, 좋은 예측 성능을 얻는 기법

• 여러 개의 의사결정 트리를 만들고 투표하여 다수결로 결과를 결정하는 방법

1. 앙상블학습의 등장배경

단계	내용
감독학습의 과적합 문제	결과 또는 성능의 변동폭이 크다는 문제 및 학습데이터에 따라 생성되는 결정 트리가 크게 달라져 일반화하기 어려운 과적합(overfitting)문제
과적합 문제 극복 필요	임의화 기술을 통해 각 일반화 성능을 향상시켜 과적합문제 극복의 필요

• ※ 과적합(overfitting)문제: 감독학습(Supervised Learning)에서 과거의 학습데이터에 대해서는 잘 예측하지만 새로 들어온 데이터에 대해서 성능이 떨어져서 일반화가 어려운 문제

 

II. 앙상블학습의 개념도 및 주요기법

가. 앙상블 학습의 개념도

• 여러 개의 분류기를 통해 예측결과를 도출하고 이 결과를 결합하여 신뢰성이 높은 예측 값 도출

1. 앙상블 학습의 주요기법

주요기법	개념도	설명
Bagging		Bootstrap을 통해 모델링한 후 결합하여 최종 예측모델 생성
Boosting		Weak classifier의 가중치를 적용하여 최종 bosting 모델을 만듦
Random forest		배깅을 이용하여 여러 개의 결정트리를 생성 후 학습시키고 투표 및 확률을 이용하여 최종 모델 생성