Bayesian Inference

psychologically appealing : parameter에 대한 prior belief 를 반영할 수 있음
In most cases, 두 방법의 solution이 비슷하고, 어떤 case는 Bayesian이 좀 더 나음

1. parameter의 확률분포 선택 (prior distritubtion)
2. model $ f(x|\theta) $ 선택
3. 데이터 $X_i$ 관측 후, posterior $ f(\theta|X_1,\ldots,X_n) $ 계산

Frequentist 접근은 density function $f(x|\theta)$ 를 $\theta$에 대한 함수로 보고 문제 접근 : likelihood

posterior
$ p(\theta|x) = {{p(x|\theta)\pi(\theta)}\over{\int_{\Theta} p(x|\theta)\pi(\theta) d\theta}} \propto p(x|\theta)\pi(\theta) $
$p(.|\theta)$ : likelihood, $\pi(.)$ : prior density function

prior 선택에 따라 두 가지로 분류
conjugate : prior - posterior same distribution famiy. : reasonable feature, 계산(closed analytics form)

non-conjugate : no cloded form. 분모의 적분을 계산하기 힘듬

for 모델 비교 / 가설 검정. Bayesian version of LRT(likelihood ratio test)

$ BF = { {p(y|H_1)}\over{p(y|H_2)} } = { {\int p(\theta_1|H_1) p(y|\theta_1,H_1) d\theta_1}\over {\int p(\theta_2|H_2) p(y|\theta_2,H_2) d\theta_2}} $
$\theta_i$ : $H_i$의 parameters, y:data

해석 : posterior odds ratio $ \propto $ BF * prior odds ratio ( p(H_j)끼리 비율) (←Bayes정리)
BF : posterior odds / prior odds
prior belief가 포함됨. 외부 정보를 가설에 추가하게 되는 효과

1 : data가 H_1을 더 지지함

Kass and Raftery(1995) : BF is very general, model들이 nested아니어도 됨

integration : numerical method가 필요함

mcmc