Gradient Descent (Spadek gradientu) – algorytm optymalizacji wag.

Jest to iteracyjna metoda optymalizacji stosowana w uczeniu maszynowym i sztucznej inteligencji do minimalizacji funkcji kosztu poprzez stopniową aktualizację parametrów modelu, takich jak wagi sieci neuronowej. Algorytm polega na obliczaniu gradientu, czyli wektora pochodnych cząstkowych funkcji celu względem każdej z wag, który wskazuje kierunek najszybszego wzrostu tej funkcji. W celu znalezienia minimum funkcji, parametry modyfikowane są w kierunku przeciwnym do gradientu, co powoduje zmniejszanie błędu modelu.

Proces optymalizacji odbywa się poprzez powtarzające się kroki obliczania gradientu i modyfikacji wag o małe wartości zwane współczynnikiem uczenia, które kontrolują wielkość zmian. Wersje tego algorytmu różnią się między sobą metodą obliczania gradientu, np. wykorzystując cały zbiór danych (batch gradient descent), pojedyncze próbki (stochastic gradient descent) lub ich losowo wybrane podzbiory (mini-batch gradient descent). Dzięki swojej prostocie i efektywności, metoda ta jest podstawowym narzędziem w trenowaniu różnorodnych modeli uczących się oraz w rozwiązywaniu problemów optymalizacyjnych w obszarze sztucznej inteligencji.