QLoRA – połączenie kwantyzacji i LoRA dla jeszcze efektywniejszego trenowania.

Jest to technika optymalizacji procesu trenowania modeli uczenia maszynowego, która łączy podejście kwantyzacji z metodą LoRA (Low-Rank Adaptation). Kwantyzacja polega na reprezentowaniu wag modelu za pomocą wartości o niższej precyzji numerycznej, co pozwala znacząco zmniejszyć wymagania pamięciowe i zwiększyć szybkość obliczeń, przy minimalnej utracie jakości modelu. LoRA z kolei to metoda adaptacji parametrów modelu przez dodanie niskowymiarowych macierzy, co umożliwia efektywną aktualizację modelu przy ograniczonych zasobach obliczeniowych.

Połączenie tych dwóch technik pozwala na jeszcze bardziej efektywne i ekonomiczne trenowanie dużych modeli językowych i innych modeli głębokiego uczenia. Dzięki temu możliwe jest dostosowanie dużych, uprzednio wytrenowanych sieci do nowych zadań lub danych przy zachowaniu niskich kosztów pamięciowych i obliczeniowych. Metoda znajduje zastosowanie zwłaszcza w sytuacjach, gdy zasoby sprzętowe są ograniczone, a jednocześnie wymagana jest elastyczność i szybkość adaptacji modeli.