In-context Learning – zdolność modelu do nauki z przykładów podanych w prompcie.

Zdolność modelu do adaptacji i generowania odpowiedzi na podstawie przykładowych danych podanych bezpośrednio w treści zapytania (prompcie) bez konieczności zmiany parametrów sieci czy dodatkowego uczenia. Mechanizm ten pozwala modelom językowym efektywnie wykorzystać kontekst zawarty w podanych przykładach, co umożliwia elastyczne i szybkie rozwiązywanie różnorodnych zadań oraz dostosowanie się do nowych wzorców zachowań.

Proces polega na włączeniu do zapytania kilku przykładów wejście-wyjście, które pełnią rolę wskazówek dla modelu odnośnie oczekiwanej formy lub kontekstu odpowiedzi. Dzięki temu model jest w stanie „zrozumieć” wzorce lub reguły wynikające z zaprezentowanych danych i wygenerować odpowiedź na kolejne, podobne zapytanie zgodnie z tym kontekstem. Takie podejście znacznie zwiększa użyteczność dużych modeli, umożliwiając ich zastosowanie w szerokim spektrum zadań bez potrzeby kosztownego treningu.

Ta technika jest szczególnie istotna w przypadku dużych modeli językowych, które dysponują bogatą reprezentacją wiedzy i umiejętnością generalizacji. In-context learning stanowi jeden z kluczowych powodów sukcesu tych modeli w zastosowaniach praktycznych, takich jak tłumaczenia, generowanie tekstu czy rozwiązywanie problemów w dziedzinach wymagających elastyczności i szybkiego dostosowania się do nowych informacji.