Parameter-efficient Fine-tuning (PEFT) – oszczędne douczanie modeli.

Jest to technika dostrajania dużych modeli uczenia maszynowego, która ma na celu minimalizację liczby modyfikowanych parametrów podczas procesu adaptacji do nowego zadania lub domeny. Zamiast aktualizować wszystkie wagi modelu, co jest kosztowne obliczeniowo i pamięciowo, metoda ta koncentruje się na modyfikacji niewielkiej podgrupy parametrów lub na wprowadzeniu dodatkowych, stosunkowo niewielkich komponentów, które pozwalają modelowi efektywniej uczyć się nowych informacji.

Zastosowanie tej techniki umożliwia oszczędność zasobów i znaczne przyspieszenie treningu, co jest szczególnie ważne w przypadku bardzo dużych modeli, takich jak te wykorzystywane w przetwarzaniu języka naturalnego czy rozpoznawaniu obrazów. Oszczędne douczanie pozwala na osiągnięcie porównywalnej lub nawet lepszej wydajności niż pełne dostrajanie modelu, przy znacznie niższym koszcie obliczeniowym i potrzebie składowania danych.