Positional Encoding – informowanie transformera o kolejności słów w zdaniu.

Jest to technika stosowana w architekturze transformerów, pozwalająca modelowi uwzględnić informacje o kolejności słów w sekwencji wejściowej. Ponieważ transformery przetwarzają dane równolegle i nie posiadają wbudowanego mechanizmu zachowania porządku elementów, positional encoding wprowadza do reprezentacji słów dodatkowy sygnał z informacją o ich położeniu w zdaniu. Dzięki temu model może rozróżnić, które słowo występuje wcześniej, a które później, co jest kluczowe dla zrozumienia kontekstu i relacji między wyrazami.

Technika ta może być realizowana za pomocą różnych metod, najczęściej z wykorzystaniem funkcji trygonometrycznych, takich jak sinus i cosinus, które generują unikalne wektory pozycji dla każdego elementu w sekwencji. Innym podejściem jest stosowanie uczenia się pozycyjnych wektorów reprezentujących kolejne miejsca, które są dodawane do wektorów słów. Positional encoding jest integralną częścią działania transformerów, przyczyniając się do efektywnego modelowania danych sekwencyjnych, zwłaszcza w zadaniach związanych z przetwarzaniem języka naturalnego.