LoRA (Low-Rank Adaptation) – efektywna metoda douczania dużych modeli.

Jest to technika umożliwiająca efektywne dostosowywanie dużych modeli sztucznej inteligencji poprzez wprowadzenie niskorzędowych modyfikacji wag sieci neuronowej. Metoda opiera się na założeniu, że zmiany nie muszą optymalizować wszystkich parametrów modelu, lecz można je ograniczyć do przestrzeni o niskim wymiarze, co znacząco zmniejsza liczbę trenowanych parametrów. W praktyce polega to na faktoryzacji macierzy wagowych na iloczyn dwóch mniejszych macierzy o niskim rzędzie, co pozwala na szybsze i mniej zasobożerne douczanie modeli przy zachowaniu wysokiej jakości adaptacji.

Technika ta znalazła zastosowanie głównie w kontekście dużych modeli językowych i wizualnych, gdzie pełne douczanie może być kosztowne i niepraktyczne ze względu na rozmiar i złożoność modeli. Dzięki zastosowaniu Low-Rank Adaptation możliwe jest szybkie i ekonomiczne dostosowywanie modeli do nowych zadań oraz specyficznych danych, bez potrzeby ponownej treningu całej sieci. Metoda ta jest szczególnie ceniona w środowiskach badawczych i przemysłowych, gdzie liczy się zarówno efektywność obliczeniowa, jak i szybkość implementacji nowych rozwiązań.