Naukowiec z NASK laureatem konkursu SONATA 21. Projekt dotyczący bezpieczeństwa AI otrzyma ponad 1,17 mln zł finansowania
Wśród laureatów tegorocznej edycji znalazł się również naukowiec z NASK. Finansowanie w wysokości 1 174 946 zł otrzyma projekt „Eval FM: Rzetelna ewaluacja bezpieczeństwa w modelach AI”
Kierownikiem projektu jest Sebastian Cygert, Kierownik Zespołu Bezpieczeństwa i Przejrzystości Sztucznej Inteligencji w NASK.
Konkurs SONATA wspiera badaczy rozpoczynających samodzielną karierę naukową. W tegorocznej edycji NCN przyznało środki na realizację 207 projektów, wybierając najlepsze inicjatywy spośród setek zgłoszeń z całej Polski.
Projekt Eval FM odpowiada na jedno z najważniejszych wyzwań współczesnej sztucznej inteligencji: jak skutecznie oceniać i rozwijać modele AI, aby były nie tylko efektywne, ale także bezpieczne, wiarygodne i odporne na błędy.
Badania skoncentrują się na trzech kluczowych zagadnieniach:
- ocenie rzeczywistych zdolności modeli AI i wykrywaniu sytuacji, w których modele jedynie zapamiętują dane zamiast uogólniać wiedzę,
- identyfikacji ukrytych podatności i mechanizmów mogących prowadzić do nieprzewidywalnych lub niebezpiecznych zachowań systemów,
- opracowaniu metod dostrajania modeli, które pozwolą zachować wysoki poziom bezpieczeństwa przy jednoczesnym zwiększaniu ich użyteczności.
W ramach projektu powstaną nowe narzędzia diagnostyczne i metody ewaluacji umożliwiające bardziej rzetelną ocenę modeli sztucznej inteligencji. Zespół będzie również rozwijał rozwiązania wspierające wykrywanie tzw. „ukrytych furtek” (backdoors) oraz ograniczanie ryzyka utraty bezpieczeństwa podczas dostrajania modeli do konkretnych zastosowań.
Rezultaty projektu mogą znaleźć zastosowanie w obszarach o szczególnym znaczeniu społecznym, takich jak ochrona zdrowia, administracja publiczna, edukacja, analiza mediów oraz cyberbezpieczeństwo, gdzie niezawodność i przewidywalność działania systemów AI mają kluczowe znaczenie.
Serdecznie gratulujemy Sebastianowi Cygertowi oraz całemu zespołowi badawczemu. Przyznane finansowanie jest potwierdzeniem wysokiej jakości prowadzonych w NASK badań nad bezpieczną i odpowiedzialną sztuczną inteligencją oraz istotnym wkładem Instytutu w rozwój nowoczesnych technologii AI.