AI Safety – zapobieganie katastroficznym skutkom działania AI.

Dziedzina zajmująca się badaniem oraz tworzeniem metod i praktyk mających na celu minimalizację ryzyka, że działania systemów sztucznej inteligencji doprowadzą do poważnych szkód dla ludzi, społeczeństw lub środowiska. Obejmuje analizę potencjalnych zagrożeń związanych z nieprzewidzianymi lub niepożądanymi efektami funkcjonowania AI, zwłaszcza w kontekście systemów o wysokim stopniu autonomii i zdolnościach wpływania na złożone procesy decyzyjne. Koncentruje się na zapewnieniu, że rozwijane technologie będą działać zgodnie z zamierzonymi celami i wartościami, unikając niekontrolowanych konsekwencji.

Podejścia stosowane w tej dziedzinie obejmują projektowanie bezpiecznych architektur algorytmicznych, formułowanie i implementację kontrolnych mechanizmów nadzoru, a także badania nad zgodnością systemów z etycznymi standardami oraz normami prawnymi. Istotnym elementem jest także modelowanie i przewidywanie scenariuszy awaryjnych, które mogą wystąpić w przypadku niezamierzonego zachowania AI, oraz opracowywanie strategii interwencyjnych pozwalających na szybkie reagowanie i ograniczanie negatywnych skutków. Dziedzina ta zyskuje na znaczeniu wraz z rosnącą złożonością i samodzielnością systemów sztucznej inteligencji w różnych sektorach gospodarki i życia społecznego.