Mixture of Experts (MoE) – model aktywujący tylko wybrane części sieci dla danego zadania.

Jest to architektura sieci neuronowej, w której zamiast wykorzystywać całą sieć do przetwarzania danych, aktywowane są jedynie wybrane, specjalistyczne podmoduły zwane ekspertami. Każdy ekspert jest trenowany do wykonywania określonego rodzaju zadań lub rozwiązywania specyficznych problemów, a mechanizm wyzwalający (gating) decyduje, które elementy modelu zostaną użyte w danym przypadku. Takie podejście pozwala na efektywne wykorzystanie zasobów obliczeniowych oraz poprawę wydajności, ponieważ nie ma konieczności angażowania całej sieci dla każdego wejścia.

Model ten może dynamicznie dostosowywać się do różnorodnych danych, zapewniając specjalizację poszczególnych ekspertów i umożliwiając skalowanie systemu wraz z rosnącą liczbą zadań lub rośliniem złożoności problemów. Zastosowanie tej techniki znajduje odzwierciedlenie w różnych dziedzinach, takich jak przetwarzanie języka naturalnego, rozpoznawanie obrazów czy systemy rekomendacyjne, gdzie precyzyjne i efektywne przetwarzanie jest kluczowe. Architektura ta zdobyła popularność również ze względu na możliwość redukcji kosztów obliczeniowych w porównaniu do jednolitych, dużych modeli aktywujących wszystkie neurony.