Развитие этих технологий может иметь двойной эффект. С одной стороны, такие методы позволяют потребителям исследовать новые творческие и художественные возможности и внедрять приложения, которые облегчают повседневную жизнь. С другой стороны, они могут приводить к опасностям и угрозам при неправильном использовании.

Особенность нашего подхода заключается в том, что фаза обучения происходит не на мультимодальных дипфейковых данных, а на мономодальных образцах.

Другими словами, мы никогда не обучаем наш детектор на видеопоследовательностях, которые содержат полностью синтетические данные, т.е. где и визуальный, и аудиоконтент являются дипфейками.

Генеративные состязательные сети (GAN) и диффузионные модели (DM) являются основными фреймворками, используемыми для создания deepfake, производя высокореалистичный контент. Теперь пользователи могут создавать супер реалистичные синтетические изображения, видео и аудио с минимальными усилиями и наличия каких-либо особых навыков.