Compute-Optimal Scaling – zasady dobierania wielkości modelu do ilości danych (Prawa Skalowania).

Termin odnosi się do zasady optymalnego doboru rozmiaru modelu uczenia maszynowego w zależności od dostępnej ilości danych oraz ograniczeń obliczeniowych. Ideą jest znalezienie takiego balansu pomiędzy liczbą parametrów modelu a wielkością zbioru treningowego, który maksymalizuje efektywność nauki i osiąganą jakość predykcji. Przekroczenie optymalnej wielkości modelu przy niewystarczającej ilości danych może prowadzić do przeuczenia, natomiast zbyt mały model nie będzie w stanie odpowiednio uchwycić złożonych wzorców zawartych w danych.

Koncept ten jest często formułowany w ramach tzw. praw skalowania, które opisują matematyczne zależności między rozmiarami modeli, ilością danych oraz wymaganiami obliczeniowymi, a uzyskiwanymi wynikami. Modele skalowane zgodnie z tymi zasadami osiągają najlepszą efektywność obliczeniową, ponieważ zasoby są wykorzystywane optymalnie – ani nie są marnowane na zbyt duże modele przy zbyt małej ilości danych, ani nie powodują niewystarczającego wykorzystania potencjału większych zbiorów danych poprzez nadmierne ograniczenie rozmiaru modelu.

Praktyczne zastosowanie tej zasady pozwala na planowanie i projektowanie systemów sztucznej inteligencji, uwzględniając dostępne zbiory danych oraz możliwość wykonywania obliczeń, co jest szczególnie istotne w procesie trenowania dużych modeli głębokiego uczenia. Dzięki temu możliwe jest skuteczne osiąganie kompromisu między jakością wyników a kosztami obliczeniowymi i czasem trenowania, co ma znaczący wpływ na rozwój i wdrażanie rozwiązań AI.