Nucleus Sampling (Top-p) – wybieranie tokenów z sumarycznym prawdopodobieństwem p.

Metoda generowania tekstu w modelach językowych, która polega na wyborze tokenów spośród najbardziej prawdopodobnych, tak aby suma ich prawdopodobieństw była równa lub nie przekraczała określonej wartości p, gdzie p jest parametrem ustalanym przez użytkownika. Podejście to pozwala na dynamiczne ograniczenie przestrzeni poszukiwań do zestawu tokenów, które łącznie mają znaczący udział w rozkładzie prawdopodobieństwa wygenerowania kolejnej jednostki tekstu.

W praktyce technika ta polega na posortowaniu wszystkich dostępnych tokenów według malejącego prawdopodobieństwa i wybraniu z nich najmniejszego zbioru, którego łączna suma prawdopodobieństw wynosi co najmniej p. Następnie, spośród tego zbioru losowany jest kolejny token. Dzięki temu sposób generowania jest bardziej elastyczny i zrównoważony niż tradycyjne podejście top-k (które wybiera stałą liczbę tokenów), co przekłada się na lepszą jakość i różnorodność generowanych tekstów.

Stosowanie tej techniki pozwala na kontrolowanie stopnia losowości i nieprzewidywalności generowanego ciągu, co jest szczególnie użyteczne w zadaniach związanych z przetwarzaniem języka naturalnego, takich jak tworzenie dialogów, pisanie kreatywne czy tłumaczenia maszynowe. Mechanizm ten stanowi istotny element współczesnych systemów opartych na sztucznej inteligencji i przyczynia się do efektywnego balansowania między spójnością a innowacyjnością generowanych danych.