Parameter-Efficient Fine-Tuning (PEFT) – rodzina metod oszczędnego trenowania modeli.

Rodzina metod oszczędnego trenowania modeli odnosi się do technik optymalizacji, które pozwalają na dostosowanie dużych modeli uczenia maszynowego, takich jak modele językowe, przy zachowaniu ograniczonej liczby modyfikowanych parametrów. Celem tych metod jest zmniejszenie zapotrzebowania na zasoby obliczeniowe, pamięć oraz czas treningu, co umożliwia efektywniejsze wdrażanie i dostosowywanie modeli do specyficznych zadań lub danych przy minimalnym koszcie obliczeniowym.

Techniki te polegają zazwyczaj na modyfikacji jedynie niewielkiej części parametrów modelu, podczas gdy reszta pozostaje niezmieniona, co pozwala zachować pierwotne zdolności wytrenowanego modelu i jednocześnie wprowadzić wymagane dostosowania. Do najpopularniejszych podejść należą m.in. adaptery (małe moduły dodawane do warstw modelu), metody oparte na niskoserwerowej modyfikacji parametrów czy techniki wykorzystujące maski i filtrowanie wag. Dzięki temu możliwe jest szybkie i ekonomiczne fine-tuning dużych modeli w zastosowaniach przemysłowych i badawczych.