앙상블 기법

객체와 앙상블

결합 모델 (평균)

개별 모델들의 예측값을 하나로 합치는 단계

모든 예측값의 평균을 계산: ( 110 + 106 + 115 + 112 ) / 4 = 443/4 = 110.75

Hard Voting: 개별 모델들의 분류 결과 중 다수가 예측한 클래스를 최종 결과로 선택. ('다수결 투표')

- 투표 결과: '1'로 분류 (3개), '0'으로 분류 (1개)

다수인 '1'로 최종 분류

 

Soft Voting: 개별 모델들이 예측한 각 클래스에 대한 확률의 평균을 계산하고 더 높은 평균 확률을 가진 클래스를 최종 결과로 선택

- '1'일 확률의 평균 계산: (0.65 + 0.45 + 0.75 + 0.7) / 4 = 2.55 / 4 = 0.6375

'1'일 평균 확률(0.6375)이 '0'일 평균 확률(1-0.6375 = 0.3625)보다 높으므로 최종적으로 '1'로 분류한다.

 

객체 학습기: 앙상블 학습에 사용하는 개별 모델

 

동질적 앙상블

- 앙상블에 같은 형태의 객체 학습기만 사용하는 경우

- 동질적 앙상블에서 사용하는 객체 학습기: 기초 학습기 (Base Learner)

 

이질적 앙상블

- 다른 형태의 객체 학습기를 함께 사용

- 이질적 앙상블에서 사용하는 객체 학습기: 요소 학습기 (component learner)

 

앙상블 학습은 다수의 학습기가 결합해 단일 학습기보다 우수한 일반화 성능을 얻는다.

- 일정 수준의 '정확성' 필요

- '다양성' 도 필요

 

배깅과 랜덤 포레스트

부트스트랩 샘플링

: 원본 데이터셋에서 복원추출을 통해 크기가 동일한 여러 개의 새로운 훈련 데이터셋을 만드는 기법

 

앙상블 모델의 성능을 높이려면, 각각의 개체 학습기가 서로 조금씩 다른 특성을 가져야 한다. 부트스트랩 샘플링이 바로 이 서로 다른 학습 데이터를 만드는 방법이다.

 

샘플링 과정

- m개의 샘플이 있는 데이터셋 D가 있다면, 샘플링을 통해 데이터셋 D'을 만들자. 

: 원본 데이터 셋 D (크기 m)에서 일부 데이터를 뽑아 새로운 훈련 데이터셋 D'을 만든다.

- 복원추출을 사용하여 m개의 데이터셋을 가진 D'을 만들 수 있다. 

 

어떤 샘플들은 아예 뽑히지 않는다.

: 복원 추출 과정으로 인해 원본 데이터셋 D의 일부 데이터는 새로운 데이터셋 D'에 한 번도 선택되지 않을 수 있다.

배깅 (Bagging = Bootstrap AGGregatING)

여러 개의 불안정한 모델(high variance)을 결합하여, 분산(variance)을 줄이고 과적합을 방지하며 더 부드럽고 안정적인 최종 모델을 만드는 효과가 있다.

 

m개 샘플로 구성된 데이터 셋: 원본 데이터가 주어진다.

T번의 m회 복원 추출을 통해 데이터 셋 T개 구성: 부트스트랩 단계. 원본 데이터에서 복원추출을 통해 T개의 서로 다른 훈련 데이터셋을 만든다.

T개의 서로 다른 기초 학습기 훈련: T개의 부트스트랩 샘플 각각을 사용해 T개의 개별 모델을 학습시킨다. 각 모델은 서로 다른 데이터를 보고 학습하므로 조금씩 다른 특성을 갖게 된다.

취합(Aggregating) 단계: 학습된 T개의 모델들의 예측 결과를 하나로 합친다.

- 회귀: 모든 모델의 예측값의 평균을 낸다.

- 분류: 모델들이 예측한 클래스들 중 가장 많이 나온 클래스를 선택한다. (Hard Voting)

 

각 기초학습기는 초기 훈련 데이터의 63.2%밖에 사용하지 않는다.

나머지 데이터로 일반화 성능 측정이 가능하다.

 

OOB(Out-of-Bag) 평가

- 각 모델을 훈련할 때 사용되지 않은 36.8%의 데이터, OOB 데이터가 존재한다.

- 이 데이터는 해당 모델의 훈련에 전혀  사용되지 않았기 때문에 마치 별도의 검증 데이터셋이나 테스트 데이터셋처럼 활용 가능

 

 

(a) 학습기 3개 - 간단한 경계로 나누기 때문에 오분류 존재, underfitting 가능성 존재

(b) 학습기 5개 

(c) 학습기 11개 - 경계가 복잡해지면서 high variance 과적합 위험 존재 가능

 

Underfit (과소적합) : 너무 단순한 모델 → 전체적인 경향을 놓침 (높은 bias, 낮은 variance)

Optimal: 적절한 복잡도 → 데이터의 경향을 잘 반영

Overfit (과적합) : 너무 복잡한 모델 → 학습 데이터에 과하게 맞춤 → 새로운 데이터에 약함 (낮은 bias, 높은 variance)

 

MSE(Mean Squared Error): 평균 제곱 오차

실제 값과 예측값의 차이를 제곱한 것의 평균

 

배깅은 분산이 높은 모델의 성능을 개선하는 데 효과적이다.

배깅의 원리: 여러 개의 독립적인 모델의 예측을 평균내면 분산이 줄어든다.

이상적인 경우 - 만약 B개의 모델이 완전히 독립적이라면 (상관관계 ρ=0), 각 모델의 분산이 σ^2일 때 전체 앙상블 모델의 분산은  σ^2/B로 크게 감소한다.

하지만 배깅에서 사용하는 모델들은 동일한 원본 데이터로부터 부트스트랩 샘플링을 통해 만들어지기 때문에 완전히 독립적이지 않고 서로 상관관계를 갖는다.

아래의 식은 상관관계를 고려한 분산이다. 즉, 앙상블 모델의 실제 분산이다.

 

 

학습기 간 상관성이 높으면 분산이 줄어드는 효과가 줄어들어서 랜덤 포레스트에서는 상관성을 줄이고자 한다.

 

랜덤 포레스트 (Random Forest)

2가지 측면에서 랜덤성 도입

1. 데이터 샘플링에 대한 랜덤성: 각각의 결정 트리를 만들 때, 전체 데이터셋에서 중복 허용하여 일부 샘플만 랜덤하게 선택

2. 속성 선택에 대한 랜덤성: 각 노드에서 분할할 속성을 선택할 때, 전체 속성 중 일부만 랜덤하게 고르고 그 중에서 가장 좋은 속성 선택

 

의사 결정 나무와의 차이점

- 의사 결정 나무는 노드에서 전체 속성 중 분할 성능이 가장 좋은 속성 선택

- 랜덤 포레스트는 각 노드에서 임의로 선택한 k개의 속성 집합 중에서만 최적 속성 선택 → 다양한 트리 구조 유도

 

k값: 랜덤 속성의 개수 (랜덤성을 조절하는 하이퍼파라미터)

전체 속성 수를 d라고 할 떄

k = d: 랜덤성이 없다. 결정 트리와 동일.

k = 1: 매우 강한 랜덤성

추천: 𝑘 = log2 𝑑

 

랜덤 포레스트의 초기 성능은 좋지 않다.

학습기의 숫자가 늘어날수록, 배깅보다 좋은 성능을 보여준다.

- 랜덤 포레스트는 트리 수가 많아질수록 속성 랜덤 선택 때문에 트리 간의 상관도가 줄어든다.

- 배깅은 전체 속성을 항상 사용하기 때문에 트리 간 상관성이 높다.

 

- 트리를 많이 만들수록,

- 배깅은 분산 감소 효과가 한계에 부딪히고 랜덤 포레스트는 서로 다른 트리로 인해 분산이 더 크게 줄어든다.

 

랜텀 포레스트가 배깅보다 계산량이 더 적다.

- 배깅은 트리를 만들 때 전체 feature set을 고려해서 분할 기준을 찾는다.

- 랜덤 포레스트는 노드마다 속성을 일부만 고려해서 연산량이 줄어드는 장점이 있다.