Attention Mechanism (Mechanizm uwagi) – skupienie modelu na istotnych częściach zdania.

Mechanizm uwagi to technika stosowana w modelach sztucznej inteligencji, szczególnie w obszarze przetwarzania języka naturalnego i sieci neuronowych, która pozwala na selektywne skupienie się na najbardziej istotnych fragmentach wejściowych danych. Jego celem jest poprawa efektywności modelu poprzez dynamiczne ważenie poszczególnych elementów sekwencji, co umożliwia lepsze uchwycenie kontekstu i znaczenia informacji, zwłaszcza w dłuższych tekstach. Dzięki mechanizmowi uwagi model jest w stanie identyfikować kluczowe słowa lub wyrażenia, które mają największy wpływ na ostateczną interpretację lub decyzję.

W praktyce mechanizm ten działa poprzez przypisywanie wag poszczególnym częściom wejścia na podstawie ich relatywnej ważności w danym zadaniu. W modelach opartych na architekturze transformera, takich jak BERT czy GPT, mechanizm uwagi jest fundamentem przetwarzania sekwencji, umożliwiając równoczesne rozpatrywanie relacji pomiędzy wszystkimi elementami zdania. Pozwala to na bardziej elastyczne i dokładne modelowanie zależności kontekstowych, w przeciwieństwie do wcześniejszych metoda bazujących na przetwarzaniu krok po kroku.

Stosowanie mechanizmu uwagi przyczyniło się do znaczącego postępu w dziedzinie tłumaczeń automatycznych, analizy sentymentu, generowania tekstu oraz rozumienia języka naturalnego. Umożliwia on modelom koncentrowanie zasobów obliczeniowych na najważniejszych informacjach, co przekłada się na lepszą jakość wyników oraz bardziej efektywne wykorzystanie danych treningowych. Jest to obecnie jedna z kluczowych innowacji w rozwoju zaawansowanych systemów AI.