KL Divergence – miara różnicy między dwoma rozkładami prawdopodobieństwa.

Jest to miara stosowana w statystyce i teorii informacji do określania, jak bardzo jeden rozkład prawdopodobieństwa różni się od drugiego, odniesionego do niej wzorcowego rozkładu. W praktyce stosuje się ją często do porównywania rozkładów empirycznych z teoretycznymi lub do oceny jakości aproksymacji rozkładów w modelach probabilistycznych. Wartość tej miary jest zawsze nieujemna i wynosi zero tylko wtedy, gdy oba porównywane rozkłady są identyczne prawie wszędzie.

Formalnie definiowana jest jako tzw. względna entropia, wyrażana wzorem całkowym lub sumacyjnym, gdzie różnica pomiędzy rozkładami jest określana przez wartość oczekiwaną logarytmu ilorazu gęstości lub prawdopodobieństw. Pomimo że nie jest symetryczna, co oznacza, że wymiana rozkładów wpływa na wynik, stanowi kluczowe narzędzie w uczeniu maszynowym, przede wszystkim w optymalizacji modeli probabilistycznych takich jak modele generatywne czy klasyfikatory Bayesa.

Ze względu na swoje właściwości, ma szerokie zastosowanie w wielu dziedzinach sztucznej inteligencji, od kompresji danych, przez analizę rozkładów statystycznych, po trenowanie sieci neuronowych i metody uczenia bez nadzoru. Umożliwia efektywne porównanie i mierzenie różnic między rozkładami, co jest niezbędne do doskonalenia modeli oraz analizy ich zachowania.