Gradient – wektor pochodnych cząstkowych wskazujący kierunek wzrostu funkcji.

Gradient jest wektorem utworzonym z pochodnych cząstkowych funkcji wielu zmiennych, który określa kierunek najszybszego wzrostu tej funkcji w danym punkcie. Jego składowe odpowiadają pochodnym funkcji względem poszczególnych zmiennych niezależnych, co pozwala na dokładne określenie zmiany wartości funkcji w przestrzeni wielowymiarowej.

W teorii optymalizacji i uczeniu maszynowym gradient stanowi kluczowe narzędzie do znajdowania minimów lub maksimów funkcji celu. Metody gradientowe, takie jak spadek gradientu, wykorzystują informacje płynące z gradientu, aby iteracyjnie modyfikować parametry modelu w kierunku optymalizacji, co umożliwia efektywne uczenie modeli sztucznej inteligencji. Gradient jest również podstawą do obliczania modyfikacji wag w sieciach neuronowych podczas procesu propagacji wstecznej.