Token Limit – ograniczenie liczby danych wejściowych i wyjściowych.

Ograniczenie liczby danych wejściowych i wyjściowych odnosi się do maksymalnej liczby tokenów, które system sztucznej inteligencji, zwłaszcza modele językowe, mogą przetworzyć podczas jednej operacji. Token jest podstawową jednostką tekstu rozpoznawaną przez model, obejmującą fragmenty słów lub całe słowa, zależnie od zastosowanego tokenizera. Limit ten wyznacza maksymalną długość łańcucha znaków, z jakim model jest w stanie efektywnie operować w ramach jednego zapytania lub generowanego wyniku.

W praktyce ograniczenie to ma na celu zapewnienie optymalnej wydajności oraz stabilności działania systemu, a także kontrolę nad zasobami obliczeniowymi i pamięciowymi. Przekroczenie limitu tokenów powoduje konieczność skracania lub dzielenia tekstów na mniejsze fragmenty, co może wpływać na jakość generowanych odpowiedzi lub wymagać dodatkowego zarządzania kontekstem. Limit tokenów stanowi zatem istotny parametr w projektowaniu i użytkowaniu modeli językowych, mający bezpośredni wpływ na efektywność komunikacji między użytkownikiem a sztuczną inteligencją.