Distributed Training – rozproszenie procesu uczenia na wiele maszyn.

Technika polegająca na równoległym wykonywaniu procesu uczenia modeli sztucznej inteligencji na wielu niezależnych maszynach lub węzłach obliczeniowych w celu zwiększenia efektywności i skrócenia czasu treningu. W ramach tego podejścia dane treningowe i/lub zadania obliczeniowe są rozdzielane między różne jednostki sprzętowe, które współpracują ze sobą wymieniając informacje niezbędne do aktualizacji modelu.

Istnieją różne strategie rozproszenia, między innymi rozproszenie danych (data parallelism), gdzie każdy węzeł posiada kopię modelu i trenuje go na różnych fragmentach danych, oraz rozproszenie modelu (model parallelism), w którym model jest dzielony na części i każda z nich jest trenowana na określonym węźle. Rozproszenie procesu uczenia odgrywa istotną rolę zwłaszcza w kontekście trenowania dużych sieci neuronowych, umożliwiając skalowanie obliczeń poza pojedyncze urządzenia i wykorzystanie klastrów lub chmur obliczeniowych.