Perplexity – miara tego, jak dobrze model językowy przewiduje tekst.

Perplexity jest miarą używaną do oceny jakości predykcji modelu językowego. Odzwierciedla stopień niepewności modelu przy próbie przewidzenia kolejnych słów w sekwencji tekstu. Niższa wartość perplexity oznacza, że model lepiej dopasowuje się do danych testowych, co wskazuje na jego wyższą skuteczność w generowaniu spójnych i trafnych przewidywań. W praktyce perplexity obliczana jest jako wykładnik entropii krzyżowej między rzeczywistym rozkładem słów a rozkładem przewidywanym przez model.

Metryka ta jest szeroko stosowana przy trenowaniu oraz porównywaniu modeli językowych, zarówno w dziedzinie przetwarzania języka naturalnego, jak i w systemach generowania tekstu. Umożliwia określenie, jak dobrze model radzi sobie z nieznanymi wcześniej danymi oraz jak bardzo jego przewidywania są zgodne z naturalnym językiem. Jednocześnie warto zauważyć, że perplexity jest miarą względną i jej interpretacja może zależeć od specyfiki danego korpusu oraz zastosowanego modelu.