KL Divergence

출처 : “User-friendly Introduction to PAC-Bayes Bounds”, : Vol. 17, No. 2, pp 174–303. DOI: 10.1561/2200000100.

KL divergence는 다음과 같이 정의된다. 

KIl divergence 정의

뮤와 뉴가 세타에 대한 확률밀도 함수라면, 다음과 같이 해석해도 무방하다. 

확률측도의 정의를 직관적으로 설명하면, 어떤 사건의 집합이 주어졌을 때, 해당하는 확률을 부여하는 함수이다. 
자세히 살펴보자면

여기서 f를 확률밀도함수라고 하면, 다음과 같이 나타낼 수 있다. 여기서 뮤는 d세타 영역에 할당된 확률을 나타낸다.