Исследователи обнаружили, что системы, предназначенные для противодействия растущему распространению дипфейков, можно обмануть.
Ученые из Калифорнийского университета в Сан-Диего впервые представили свои выводы на конференции WACV-2021.
Шехзин Хуссейн (Shehzeen Hussain), аспирант Калифорнийского университета в Сан-Диего и соавтор статьи, сообщил:
«Наша работа показывает, что атаки на детекторы дипфейков могут быть реальной угрозой.
Еще более тревожно , что можно создавать надёжные состязательные дипфейки (и мы это демонстрируем), даже если противник не знает о внутренней работе модели машинного обучения, используемой детектором».
В рамках исследования были протестированы два сценария:
- Злоумышленники имеют полный доступ к модели детектора, включая конвейер извлечения лиц, а также архитектуру и параметры модели классификации.
- Злоумышленники могут запросить модель машинного обучения только для определения вероятности того, что кадр будет классифицирован как настоящий или поддельный.
В первом сценарии вероятность успеха атаки для несжатых видео превышает 99%. Для сжатых видео — 84,96%. Во втором сценарии коэффициент успеха составил 86,43% для несжатого видео и 78,33% для сжатого видео.
«Мы показываем, что современные методы обнаружения дипфейков можно легко обойти, если злоумышленник имеет полное или даже частичное представление о детекторе», — пишут исследователи.
Дипфейки используют генеративно-состязательную сеть (GAN) для создания поддельных изображений и даже видеороликов со всё более убедительными результатами. Так называемое «DeepPorn» используется для того, чтобы вызвать смущение, и даже для шантажа.
Есть старая поговорка: «Я не поверю, пока не увижу собственными глазами», поэтому убедительный поддельный контент вызывает такую озабоченность. Как люди, мы довольно жёстко запрограммированы верить в то, что можем видеть своими глазами.
В век дезинформации люди постепенно учатся не верить всему, что они читают, особенно когда это исходит из непроверенных источников. Научить людей не верить изображениям и видео станет серьёзной задачей.
Некоторая надежда возлагается на системы, которые обнаруживают дипфейки и противодействуют им до того, как они нанесут вред. К сожалению, выводы исследователей Калифорнийского университета в Сан-Диего развеивают эти надежды.
«Если злоумышленники имеют некоторое представление о системе обнаружения, они могут разработать входы для нацеливания на слепые зоны детектора и обхода их», — сказал Паарт Нихара (Paarth Neekhara), другой соавтор статьи.
В прошлом году в отдельном исследовании Университетского колледжа Лондона (UCL) эксперты оценили то, что они считают наиболее серьёзными ИИ-угрозами. Дипфейки заняли первое место в списке.
«Сейчас люди проводят большую часть своей жизни в Сети, и их деятельность там может создавать и разрушать репутацию», — напомнил доктор Мэтью Колдуэлл (Matthew Caldwell) из UCL Computer Science.
Одним из самых громких дел о дипфейке до сих пор было дело спикера палаты представителей США Нэнси Пелоси (Nancy Pelosi). В 2018 году в социальных сетях было распространено дипфейк-видео, из-за которого Пелоси выглядела пьяной и невнятно произносила слова.
Видео Пелоси, вероятно, было создано с целью быть забавным, а не особенно злонамеренным, но оно показывает, как дипфейки могут быть использованы для того, чтобы нанести ущерб репутации и даже повлиять на демократические процессы.
В рамках попытки убедить Facebook изменить свою политику в отношении дипфейков в прошлом году израильский стартап Canny AI создал дипфейк генерального директора Facebook Марка Цукерберга (Mark Zuckerberg), в котором он якобы говорит: «Представьте себе это на секунду: один человек с полным контролем миллиардов украденных данных людей, всех их секретов, их жизней, их будущего».
А теперь представьте точный таргетинг контента, предоставляемого такими платформами, как Facebook, в сочетании с дипфейками, которые невозможно обнаружить… на самом деле, может быть, такого и не случится, но это довольно неприятная мысль.