Entropy (Entropia) – miara niepewności lub chaosu w danych.

Entropia jest miarą niepewności lub poziomu chaosu występującego w zbiorze danych lub systemie informacyjnym. Pojęcie to wywodzi się z teorii informacji i termodynamiki, gdzie opisuje stopień przypadkowości bądź nieuporządkowania. W kontekście sztucznej inteligencji i uczenia maszynowego entropia często służy do oceny rozkładu prawdopodobieństw zmiennych losowych, wskazując, jak bardzo dane są rozproszone bądź przewidywalne.

W praktyce entropia jest wykorzystywana do pomiaru niepewności związanej z klasyfikacją danych, gdzie niższa wartość entropii oznacza większą przewidywalność lub jednoznaczność przypisania do klas, natomiast wyższa wskazuje na większy stopień nieuporządkowania. Metoda ta jest szczególnie użyteczna przy budowie drzew decyzyjnych oraz w różnych algorytmach optymalizacji, gdzie pozwala na wybór optymalnych cech poprzez minimalizację niepewności. Entropia jest fundamentem takich miar jak informacja wzajemna, która ocenia zależności i korelacje między zmiennymi.