MLE / MAP

우도 : 모델 파라미에서 데이터가 발생할 확률

사전확률 :  모델 파라미터에 대한 사전지식, 여기서 모델 파라미터에 대한 확률분포를 그냥 정규분포라고 가정

사후확률 : 우도랑 반대로, 주어진 데이터에 대한 파라미터의 확률분포를 계산

 

MLE와 MAP는 주어진 데이터에 대한 모델의 파라미터를 추정하는 방법 중 하나입니다. 

 

1. 최대 우도 추정 (MLE):

 

MLE는 주어진 데이터가 가장 가능성이 높은 모델 파라미터를 찾는 것을 목표로 합니다. MLE는 다음과 같은 방법으로 작동합니다.

가정:

• 데이터는 독립적이며 동일한 확률 분포에서 생성되었다고 가정합니다.
• 모델은 매개 변수 θ를 사용하여 확률 분포를 정의합니다.

MLE의 수식:

• 주어진 데이터 X에 대해 가능도(likelihood) L(θ|X)는 다음과 같이 정의됩니다.
  • L(θ|X) = P(X|θ)
    • θ는 모델의 파라미터를 나타냅니다.
    • X는 주어진 데이터 세트를 나타냅니다.
    • P(X|θ)는 데이터가 주어졌을 때 매개 변수 θ로부터 나올 가능성을 나타내는 확률입니다.
• 목표는 가능도를 최대화하는 θ를 찾는 것입니다.
  • θ^ = argmax(L(θ|X))
    • 가능도 함수를 θ에 대해 미분하여 그 최대값을 찾는 것을 의미합니다.
    • 일반적으로 로그 가능도(log-likelihood)를 사용하여 계산을 단순화합니다. 
• MLE를 사용하면 주어진 데이터에 대한 가장 가능성 있는 모델 파라미터 θ^를 추정할 수 있습니다.

2. 최대 사후 확률 추정 (MAP):

MAP는 MLE와 비슷하지만, 추가적으로 사전 확률 분포(prior distribution)와 정규항을 고려하는 점에서 다릅니다. 이것은 베이지안 추정의 한 형태로 볼 수 있습니다.

MAP의 수식:

• 주어진 데이터 X에 대한 모델 파라미터 θ의 사후 확률 분포(Posterior Distribution) P(θ|X)는 다음과 같이 베이즈 정리를 사용하여 정의됩니다.
  • P(θ|X) = (P(X|θ) * P(θ)) / P(X) 
    • P(θ|X)는 사후 확률 분포입니다.
    • P(X|θ)는 가능도(likelihood)입니다.
    • P(θ)는 사전 확률 분포(prior distribution)입니다.
    • P(X)는 데이터의 총 확률로 정규화 상수(normalizing constant)입니다. 주어진 데이터에 대한 확률이므로 보통 계산하기 어려우며 종종 무시될 수 있습니다.
• 목표는 사후 확률 분포 P(θ|X)를 최대화하는 θ를 찾는 것입니다.
  • θ^ = argmax(P(θ|X))
• 사전 확률 분포 P(θ)는 모델 파라미터에 대한 추가 정보를 제공하며, 데이터를 통해 얻은 가능도 P(X|θ)와 결합하여 최종 추정을 수행합니다.

MLE와 MAP 비교:

• MLE는 사전 정보를 고려하지 않고, 주어진 데이터에 대한 최대 우도를 가진 매개 변수를 추정합니다.
• MAP는 MLE와 사전 정보를 모두 고려하여 추정을 수행하며, 때로는 데이터가 부족한 경우에 유용합니다.
• MLE는 MAP보다 계산적으로 간단하며, 데이터가 충분한 경우에 많이 사용됩니다.
• MAP는 사전 정보가 중요한 경우에 유용하며, 베이지안 추정의 한 형태로 확률론적으로 접근할 때 사용됩니다.

MLE와 MAP는 매개 변수 추정에 사용되는 중요한 도구이며, 사용 사례에 따라 어떤 방법을 선택할지 결정해야 합니다.