Perplexity – miara tego, jak dobrze model przewiduje próbkę danych.

Perplexity to miara stosowana w ocenie jakości modeli językowych oraz innych modeli probabilistycznych, która wskazuje, jak dobrze model potrafi przewidzieć obserwowaną próbkę danych. Jest to wartość liczbowa, wyrażająca stopień niepewności modelu względem przewidywanych słów lub elementów sekwencji. Niższa wartość perplexity oznacza lepsze dopasowanie modelu do danych oraz większą dokładność w przewidywaniu kolejnych symboli.

W praktyce perplexity jest obliczana jako wykładnicza wartość średniego logarytmu prawdopodobieństwa przypisanego przez model do elementów testowej próbki. Dzięki temu wyniki są bardziej interpretable i łatwiejsze do porównania między różnymi modelami. W kontekście przetwarzania języka naturalnego, perplexity często służy jako podstawowy wskaźnik przy ocenie modeli generujących tekst, gdzie odzwierciedla, na ile model „zdziwienie” wobec nowego tekstu jest niskie, co przekłada się na lepszą przewidywalność i spójność generowanych wypowiedzi.