Regularization – techniki zapobiegające przeuczeniu (np. Dropout).

Regularization to zbiór metod stosowanych w uczeniu maszynowym w celu zapobiegania zjawisku przeuczenia modelu, czyli nadmiernemu dopasowaniu do danych treningowych kosztem słabej generalizacji na nowych danych. Przeuczenie polega na tym, że model uczy się nie tylko ogólnych wzorców, ale również szumu i specyficznych cech konkretnego zestawu treningowego, co prowadzi do spadku jego efektywności podczas predykcji na nieznanych danych. Techniki regularyzacji wprowadzają dodatkowe ograniczenia lub modyfikacje w procesie uczenia, które pozwalają na uzyskanie bardziej uniwersalnych i stabilnych modeli.

Do popularnych metod regularyzacji należą między innymi penalizacje norm parametrów modelu, takie jak L1 i L2, które ograniczają wielkość współczynników, zmniejszając ryzyko nadmiernego dopasowania. Innym przykładem jest technika Dropout, polegająca na losowym wyłączaniu części neuronów w trakcie treningu sieci neuronowej. Dzięki temu model nie może nadmiernie polegać na pojedynczych cechach i jest zmuszony do bardziej rozproszonego i ogólnego reprezentowania informacji. Regularizacja znajduje szerokie zastosowanie w różnych architekturach i typach modeli, przyczyniając się do poprawy ich odporności i skuteczności.