베이지안 분류기

1. 베이지안 결정 이론

머신러닝에서 분류 문제를 풀 때, 어떤 기준으로 "최적의 분류기"라고 부를 수 있을까?

예측의 손실을 최소화하는 분류기가 최적이라고 할 수 있다. 이때 사용되는 이론이 베이지안 결정 이론이다.

 

베이지안 결정 이론 : 이론적으로 손실을 최소화하는 분류 기준을 제시한다.

 

다중 클래스 분류

- 분류 라벨 집합 : Y={c1​,c2​,...,cN​}

- 어떤 샘플 x가 주어졌을 때, 우리는 x를 어느 클래스 ci로 분류할지 결정해야 한다. 

- 이때, 사후 확률 P(ci|x)에 기반해서 잘못 분류될 위험(기대 손실)을 계산한다.

 

기대 손실

- 만약 샘플 x를 클래스 ci로 분류했을 때의 기대 손실은 다음과 같다.

 

각 샘플 x에 대해 h가 손실 R(h(x)|x)를 최소화할 수 있다면 전체 리스크도 최소화할 수 있다.

 

베이즈 결정 규칙 : 각 샘플에 대하여 R(c|x)를 최소화하는 클래스 레이블을 선택한다.

 

오차율 최소화를 목표로 할 때

- 단순히 분류기의 오차율을 최소화하는 것이 목표라면?

- 손실 함수는 다음과 같이 단순화된다.

- 이 경우에 조건부 손실은 다음과 같다.

 

사후확률(P(c|x))이 가장 높은 클래스를 선택하면 된다. 

 

베이즈 결정 규칙을 사용하여 손실을 최소화하려면 사후 확률 P(c|x)를 알아야 한다. 하지만 현실 문제에서 이를 직접 얻는 것은 매우 어려운 일이다. 확률적 프레임워크 하에서 머신러닝은 유한한 샘플 데이터에 대한 기반하여 최대한 정확하게 사후 확률 P(c|x)를 예측하는 것이다.

 

베이즈 정리 : 조건부 확률을 계산하는 공식

 

[example]

경기도의 어떤 군에서는 주민 중 15%가 감기에 걸린다. 감기 환자의 50%는 기침 증상을 보인다.
그러나 전체 주민의 20%는 감기와 무관하게 가끔 기침을 한다.
이제 한 사람이 기침을 했을 때, 이 사람이 감기일 확률은?

P(감기) = 0.15

P(기침|감기) = 0.5

P(기침) = 0.2

P(감기|기침) = P(감기) * P(기침|감기) / P(기침) = 0.15 * 0.5 / 0.2 = 0.375

 

• P(c) : 사전 확률, 사전에 알고 있는 확률이며, 이 때 c는 데이터를 통해 추정하고자 하는 값. 분류 문제에서는 전체적인 클래스의 분포를 말한다.
• P(x|c) : 우도, c에 대한 가정을 한 상태에서 데이터의 분포 (로지스틱 회귀 예시)

• P(x) : 주변 확률, 데이터 x 자체의 분포 
• P(c|x) : 사후 확률, 데이터 x가 주어졌을 때 각 클래스에 속할 확률

P(x)는 상수, P(c)는 대수의 법칙에 의해 훈련 세트 상에서 각 클래스 샘플의 출현빈도를 통해 계산할 수 있다.

2. 최대 우도 추정 (MLE)

우도란, 어떤 파라미터 θ 하에서 관측된 데이터 D가 나타날 확률을 의미한다.

MLE는 우도를 최대화하는 파라미터 θ 를 찾는 방법이다.

 

P(x|c)가 정해진 형식이 있고, 이 때, 파라미터 θc에 의해서만 결정된다고 가정하자.

Dc로 훈련 세트 D에서 c클래스 샘플로 구성된 집합을 나타내고, 이런 샘플들이 독립항등분포라고 가정한다면 데이터 세트 Dc에 대한 파라미터 θc의 우도는 다음과 같다.

 

이항 분포 (로지스틱 회귀)

 

P(x|c) = θ^5(1-θ)^2 

LL = 5lnθ + 2ln(1-θ)

미분하면 5/θ - 2/(1-θ) = 0

5/θ  = 2/(1-θ) 

계산하면 θ = 5/7 이다.

 

연속형 변수 (정규분포 가정)

 

MLE의 한계

- 이러한 파라미터화 방법은 클래스 조건 확률 추정을 상대적으로 간단하게 만들기는 하나, 추정 결과의 정확성은 가정하는 확률 분포 형식이 잠재적인 실제 데이터 분포와 얼마나 일치하는지에 과하게 의존하게 된다.

- 확률 분포 형식에 대해 마음대로 예측하고 가정하면 잘못된 결과를 얻을 가능성이 크다.

3. 나이브 베이즈 분류기

파라미터화 없이 분류할 수 있는 방법은 없을까?

문제는 우도 P(x|c)를 계산할 때 이것이 모든 속성들에 대한 결합 확률이기 때문에 유한한 훈련 샘플로만으로 추정하기 힘들다는 것이다.

이러한 장애물을 피하고자 나이브 베이즈 분류기는 속성 조건독립 가설을 이용한다.

 

속성 조건독립 가설 : 모든 속성이 클래스 조건 하에서 서로 독립이라는 가정

 

모든 클래스에 대해 P(x)는 동일하다.

 

전체 데이터 D에 대해 c 클래스 샘플로 구성된 집합을 Dc라고 하자.

 

훈련세트 내에서 어떤 속성값이 어떤 클래스와 동시에 나온 적이 없다면?

특정 클래스(ripe=true)에 대해 어떤 속성값(sound=crisp)이 등장한 적이 없을 때를 보면 훈련 데이터에서 ripe=true인 경우가 8번 있었지만 그 중 단 한 번도 sound=crisp인 경우가 없었기 때문에 확률이 0이 된 상황이다.

 

나이브 베이즈는 속성별 조건부 확률을 곱해서 전체 사후 확률을 구하는데 이 중 하나라도 P(xi|c) = 0 이면 전체 값이 0이 된다. 즉, 단 하나의 속성 값이 등장한 적이 없다는 이유만으로 해당 클래스의 가능성이 완전히 배제돼버린다.

라플라시안 보정

- 훈련 세트 D의 클래스 개수를 N, i번째 속성이 취할 수 있는 값의 개수를 Ni로 나타낸다면 다음과 같이 수정한다.