likelihood와 머신러닝

베이지안 통계

• 사전 확률(prior) : 어떤 사건에 대한 확률을 알기 전에 가지고 있는 초기확률 (초기추정)
• 사후 확률(posterior) : 데이터를 관찰한 후 계산되는 확률 (최종확률)
  • 우리에게 필요한값
  • Prior, likelihood를 결합하여 어떤 사건이 일어났을 때의 최종 확률
• likelihood(가능도, 우도) : 파라미터의 분포 p(θ)가 정해졌을 때 x라는 데이터가 관찰될 확률 (데이터와 모델간의 관계)
  • 주어진 파라미터 분포에 대해서 우리가 갖고 있는 데이터가 얼마나 '그럴듯한지' 계산할수 있고, 이것을 나타내는 값.
  • likelihodd가 높다는 것 ➞ 우리가 지정한 파라미터 조건에서 데이터가 관촬될 확률이 높다는 것, 데이터의 분포를 모델이 잘 표현하는 것
  • 식 : p(X=x∣θ)

posterior와 prior, likelihood 사이의 관계

➞ 베이지 통계에서는 이 세 가지를 조합하여 사건 또는 가설에 대한 확률을 업데이트하고 추정하는데 사용함

likelihood와 머신러닝

: 머신러닝에서 likelihood는 모델이 어떤 입력 데이터를 얼마나 잘 설명하는지를 나타내는 것

- Likelihood를 사용해서 모델을 훈련하고, 데이터 예측을 할때도 이를 고려함
- Likelihood 함수를 사용해서 입력데이터가 특정 출력 또는 레이블을 가질 확률을 추정함.
- 이 확률은 주어진 데이터와 모델 매개변수 사이의 관계를 나타내므로 모델을 훈련하고 예측을 하는데 중요함

MLE(최대가능도 추정 ,maximum likelihood estimation)

: 데이터들의 likelihood 값을 최대화하는 방향으로 모델을 학습시키는 방법

• 우리가 사후 확률 값을 정확히 알수 없으니 prior과 Likelihood에 관한 식으로 변형한 다음 , 그 식을 최대화하는 파라미터 θ를 찾는다.
• 언더플로우를 예방하기 위해 log likelihood를 사용 likelihood와 최대화하는 값이 같아서 학습에 영향을 주지 않음
  ➞ MLE는 likelihood를 최대화하는 방향으로 모델 파라미터를 조정함

MAP(최대 사후 확률 추정, maximum a posteriori estimation)

: posterior를 최대화하는 방향으로 모델을 학습시키는 방법

i.i.d (independent and identically distributed) : 데이터 포인트가 서로 독립이고 같은 확률 분포를 따른다고 가정

• 통계 추정과 관련있음
• 독립성과 동일한 분포가정을 사용하면, 통계적 추정치를 계산하는데 사용되는 수학적 툴을 사용하기 쉬움
• 많은 머신러닝 알고리즘이 iid를 가정하고 동작함, 이 가정에서 모델을 학습하고 일반화하기 쉽기 때문
• 실제데이터는 iid를 항상 만족 할 수 없음 그래서 \\