Backpropagation Through Time (BPTT) – wsteczna propagacja w sieciach rekurencyjnych.

Wsteczna propagacja w sieciach rekurencyjnych to metoda optymalizacji stosowana do uczenia modeli przetwarzających sekwencje danych. Technika ta rozszerza klasyczny algorytm wstecznej propagacji błędu na przypadek sieci rekurencyjnych, gdzie informacja przepływa nie tylko w przód między warstwami, lecz także wzdłuż kolejnych kroków czasowych. Proces polega na rozwinięciu sieci rekurencyjnej w czasie, traktując kolejne stany ukryte jako kolejne warstwy sieci, co umożliwia obliczenie gradientów błędu względem parametrów na każdym kroku sekwencji.

Wynikiem działania tej metody jest sumaryczny gradient błędu obliczony poprzez agregację wpływu parametrów sieci na całą obserwowaną sekwencję danych. Pozwala to na zastosowanie standardowych technik optymalizacji, takich jak metoda gradientu prostego lub jej warianty, do aktualizacji wag i poprawy jakości predykcji sieci. Jednak technika ta jest podatna na problemy zanikającego lub eksplodującego gradientu, zwłaszcza przy długich sekwencjach, co może utrudniać skuteczne uczenie modeli.

Z tego powodu w praktyce często stosuje się jej modyfikacje lub alternatywne metody, takie jak przycinanie sekwencji czy rozwój architektur sieciowych, np. LSTM i GRU, które są zaprojektowane z myślą o lepszym zachowaniu istotnych informacji w czasie. Pomimo tych ograniczeń, opisywany algorytm pozostaje podstawowym narzędziem w uczeniu sieci rekurencyjnych i stanowi fundament wielu zastosowań sztucznej inteligencji w przetwarzaniu języka naturalnego, analizie szeregów czasowych czy rozpoznawaniu wzorców.