Self-attention – analiza relacji między słowami w tym samym zdaniu.

Self-attention to mechanizm wykorzystywany w przetwarzaniu języka naturalnego oraz w dziedzinie sztucznej inteligencji, służący do analizowania wzajemnych relacji między elementami sekwencji, takimi jak słowa w zdaniu. Pozwala on modelowi na skupienie się na istotnych częściach wejściowego tekstu, niezależnie od ich odległości względem siebie, co umożliwia uchwycenie kontekstu i znaczenia słów w szerszym zakresie semantycznym. Mechanizm ten jest podstawowym składnikiem nowoczesnych architektur sieci neuronowych, np. transformatorów.

Dzięki analizie zależności wewnątrz zdania lub innej sekwencji, self-attention pozwala na wagowe przypisanie znaczenia poszczególnym słowom względem siebie. W praktyce oznacza to, że każde słowo w zdaniu jest przekształcane na podstawie swojej relacji z innymi słowami, co poprawia jakość reprezentacji tekstu i umożliwia bardziej precyzyjne zadania, takie jak tłumaczenie maszynowe, rozumienie kontekstu czy generowanie tekstu. Mechanizm ten charakteryzuje się efektywnością zarówno pod względem jakościowym, jak i obliczeniowym, będąc jednym z kluczowych elementów współczesnych systemów NLP.