Исследователи IBM Security недавно обнаружили «удивительно и пугающе простой» метод перехвата и манипулирования живыми разговорами с помощью искусственного интеллекта (ИИ).
Атака, получившая название «аудиоджекинг», основана на генеративном искусственном интеллекте — классе искусственного интеллекта, который включает в себя ChatGPT от OpenAI и Llama-2 от Meta — и технологии глубокого фейкового звука.
Аудиоразъем
В ходе эксперимента исследователи поручили ИИ обрабатывать звук из двух источников в ходе живого общения, например телефонного разговора. Услышав определенное ключевое слово или фразу, ИИ получает дополнительную инструкцию перехватить соответствующий звук и манипулировать им, прежде чем отправить его предполагаемому получателю.
Согласно сообщению в блоге IBM Security, эксперимент закончился тем, что ИИ успешно перехватил звук говорящего, когда другой человек предложил ему предоставить информацию о своем банковском счете. Затем ИИ заменил подлинный голос дипфейковым звуком, указав другой номер учетной записи. Нападение не было обнаружено «жертвами» эксперимента.
Генеративный ИИ
В блоге отмечается, что, хотя для осуществления атаки потребуется определенный уровень социальной инженерии или фишинга, разработка самой системы искусственного интеллекта не представляла особых проблем:
«Создать этот PoC (проверку концепции) оказалось на удивление и пугающе легко. Большую часть времени мы потратили на то, чтобы выяснить, как захватить звук с микрофона и передать его генеративному искусственному интеллекту».
Традиционно создание системы для автономного перехвата определенных звуковых строк и замены их аудиофайлами, сгенерированными на лету, требовало междисциплинарных усилий в области информатики.
Но современный генеративный ИИ сам выполняет тяжелую работу. «Нам нужно всего три секунды голоса человека, чтобы его клонировать», — говорится в блоге, добавляя, что в настоящее время подобные дипфейки выполняются через API.
По теме: Искусственный интеллект обманывает избирателей и политиков в преддверии выборов в США в 2024 году: «Я думал, что это реально»
Угроза взлома аудиосистемы выходит за рамки того, чтобы обманом заставить ничего не подозревающих жертв перевести средства на неправильный счет. Исследователи также отмечают, что она может функционировать как невидимая форма цензуры, способная изменять содержание прямых трансляций новостей или политических выступлений в режиме реального времени.
