Marginal likelihood is exhaustive leave-p-out cross-validation

이 글은 로그 주변우도(log marginal likelihood, LML)가 모든 가능한 학습-검증 분할에 대한 평균을 취한 완전한 leave-p-out 교차검증과 동일하다는 점을 수학적으로 증명한다. LML은 베이지안 모델 선택에서 중요한 역할을 하지만, 일반화 성능을 완벽히 대변하지는 못하며, 특히 적은 데이터에 조건부인 경우가 많아 한계가 있다. 다만, 가우시안 프로세스 같은 특정 모델에서는 LML을 효율적으로 계산할 수 있어 실용적이다. 이 연구는 베이지안 모델 선택과 전통적 교차검증 간의 연결고리를 명확히 한다.

https://belko.xyz/posts/lml-and-cross-validation/

#bayesian #marginallikelihood #crossvalidation #modelselection #gaussianprocesses