Boosting – sekwencyjne poprawianie błędów poprzednich modeli (np. XGBoost).

Boosting jest techniką uczenia maszynowego polegającą na sekwencyjnym łączeniu słabych modeli predykcyjnych w silny model o wysokiej skuteczności. W procesie tym kolejne modele uczą się na podstawie błędów popełnionych przez modele wcześniejsze, co prowadzi do stopniowej poprawy jakości predykcji. Cechą charakterystyczną tej metody jest nadawanie większej wagi obserwacjom trudniejszym do skorygowania, co umożliwia skoncentrowanie się na przykładach, na których dotychczasowe modele popełniały błędy.

Metody boostingowe znajdują szerokie zastosowanie w różnych dziedzinach analizy danych, w tym w klasyfikacji, regresji oraz rankingach, a ich popularność wzrosła wraz z rozwojem algorytmów takich jak AdaBoost, Gradient Boosting czy XGBoost. XGBoost (eXtreme Gradient Boosting) jest jedną z najefektywniejszych implementacji gradient boosting, wyróżniającą się optymalizacjami pod kątem szybkości działania, możliwości regularyzacji i obsługi danych o dużej skali. Dzięki temu techniki oparte na boostingu charakteryzują się nie tylko wysoką precyzją, ale również dobrą odpornością na nadmierne dopasowanie do danych treningowych.