Analiza i wykrywanie syntetycznych materiałów audiowizualnych - deepfake

Technologia deepfake za sprawą szybkiego postępu sztucznej inteligencji i związanymi z nią technikami generatywnymi staje się narzędziem, do którego dostęp może mieć każdy. Służy ona do modyfikacji i tworzenia nowych treści audiowizualnych przedstawiających wybraną osobę, tym samym stawiając ją w sytuacji, która mogła nigdy się nie zdarzyć. Cyberprzestępcy wykorzystują głos i wizerunek ofiary by wyłudzać pieniądze, tworzyć dyskredytujące treści lub by szantażować. Często ofiarami stają się osoby publiczne, a wygenerowane treści, korzystające z ich wizerunku, mają na celu namawianie ludzi do ryzykownych inwestycji, rejestracji na fałszywych giełdach kryptowalut, czy też zakupu wirtualnych dóbr. Deepfake z wykorzystaniem osób publicznych może mieć również charakter dezinformacyjny. Takie działania mogą doprowadzić do destabilizacji bezpieczeństwa, bądź zdyskredytować tę osobę na arenie międzynarodowej.

Nasz projekt polega na szczegółowej analizie audiowizualnych deepfake’ów. Jest skoncentrowany na opracowaniu zaawansowanych narzędzi i metodologii służących do rozpoznawania manipulacji na twarzach, analizie syntetycznych głosów, wykrywaniu artefaktów. Wykorzystujemy przy tym techniki uczenia maszynowego, sieci głębokich, a także biometrii. Zamierzamy stworzyć kompleksowy, wielomodalny system zdolny do efektywnego identyfikowania materiałów zmodyfikowanych przy użyciu technologii deepfake, co jest kluczowe dla zapewnienia bezpieczeństwa cyfrowego i ochrony przed dezinformacją. Zrobimy to skupiając się kilku różnych działaniach:

Rozpoznawanie manipulacji na wizerunku twarzy – rozwijamy algorytmy AI i uczenia maszynowego, które potrafią identyfikować nieautentyczne zmiany w obrazach i filmach, ze szczególnym naciskiem na manipulacje twarzą. Moduły te biorą pod uwagę zarówno cechy statyczne, jak i dynamiczne twarzy.

Analiza syntetycznych głosów – stosujemy techniki przetwarzania sygnałów i uczenia maszynowego do odróżniania naturalnych ludzkich głosów od syntetycznych, z rozwojem metod oceny cech biometrycznych głosu i ich zmian spowodowanych manipulacją, w tym również w kontekście języka polskiego.

Wykrywanie artefaktów – opracowujemy metody do identyfikacji nieregularności i anomalii w materiałach audiowizualnych, które mogą sugerować użycie technologii deepfake, na przykład niezgodności w teksturze skóry, nienaturalne mruganie, czy artefakty wokół ust.

Biometria twarzy i weryfikacja mówców – wdrażamy zaawansowane techniki biometryczne do analizy i weryfikacji tożsamości osób na podstawie cech twarzy i głosu, z integracją systemów weryfikacji tożsamości z innymi modułami projektu dla zwiększenia precyzji detekcji deepfake.

Analiza działania modeli – wykorzystujemy techniki wyjaśnialności działania modeli oraz podejście data-centric, które pomagają zrozumieć, jak algorytmy dokonują swoich decyzji, co jest kluczowe dla poprawy ich skuteczności i zaufania użytkowników. Mogą być one wykorzystywane w analizie materiałów dowodowych.

Edukacja i rozpowszechnianie – bierzemy udział w warsztatach, spotkaniach i szkoleniach dla różnych grup by edukować o deepfake’ach, podnosić świadomość na temat zagrożeń związanych z technologią deepfake.

Chcesz zrealizować wspólny projekt? Spotkać się na wspólny warsztat?

Skontaktuj się z nami: deepfake@nask.pl