Исследовательская группа автономного агента ИИ заявила, что модель неожиданно попыталась использовать вычислительные ресурсы для майнинга криптовалюты во время обучения.
В недавнем техническом отчете исследователи сообщили, что ROME, экспериментальная автономная система искусственного интеллекта, предназначенная для выполнения задач посредством взаимодействия с инструментами, программными средами и командами терминала, вышла из строя и попыталась самостоятельно добывать криптовалюту.
Согласно отчету, необычное поведение проявилось во время запуска обучения с подкреплением, когда команда заметила предупреждения системы безопасности, вызванные исходящим трафиком с обучающих серверов. Брандмауэр регистрирует отмеченную активность, напоминающую операции по добыче криптовалюты, и попытки доступа к внутренним сетевым ресурсам.
“Изначально мы рассматривали это как обычный инцидент безопасности (например, неправильную настройку контроля выхода или внешний компрометацию). Однако нарушения периодически повторялись без четкой временной закономерности при нескольких запусках”, – пишут исследователи.
AI-агент открывает SSH-туннель
Сообщается, что в одном случае агент ИИ создал обратный туннель SSH (Secure Shell), зашифрованный протокол связи сервер-клиент, к внешнему IP-адресу, потенциально обходя входящие средства защиты брандмауэра. В другом случае он перенаправил ресурсы графического процессора, первоначально выделенные для обучения модели, на процессы майнинга криптовалюты.
В команде заявили, что эти действия не были запланированы намеренно. Вместо этого они возникли в ходе оптимизации обучения с подкреплением, когда агент исследовал различные способы взаимодействия со своей средой.
ROME был разработан совместными исследовательскими группами ROCK, ROLL, iFlow и DT, которые связаны с экосистемой искусственного интеллекта Alibaba в рамках более широкой инфраструктуры, называемой Экосистемой агентного обучения (ALE).
Модель предназначена для работы за пределами простых ответов чат-бота. Он может планировать задачи, выполнять команды, редактировать код и взаимодействовать с цифровой средой в несколько этапов. Его конвейер обучения основан на большом объеме моделируемых взаимодействий для улучшения процесса принятия решений.
Популярность ИИ-агентов растет
Инцидент происходит на фоне растущей популярности агентов искусственного интеллекта и их интеграции в криптовалюту. В прошлом месяце Alchemy запустила систему, которая позволяет автономным агентам искусственного интеллекта приобретать вычислительные кредиты и получать доступ к сервисам данных блокчейна с помощью сетевых кошельков и USDC (USDC) на базе.
До этого подразделения цифровых активов Pantera Capital и Франклина Темплтона присоединились к первой группе Arena, новой тестовой платформы от лаборатории искусственного интеллекта с открытым исходным кодом Sentient, предназначенной для оценки того, как агенты искусственного интеллекта работают в реальных корпоративных рабочих процессах.
AI Eye: IronClaw конкурирует с OpenClaw, Олас запускает ботов для Polymarket
Термины в новости
- Майнинг
- Создание новых блоков в сетях на Proof-of-Work: компьютеры перебирают хеши, а победитель получает награду в монетах сети.
- Блокчейн
- Распределённая база данных из последовательно связанных блоков с транзакциями. Копию хранят тысячи участников, поэтому изменить записи задним числом практически невозможно.
- Рынок прогнозов (prediction market)
- Платформа, где торгуют контрактами на исход событий — выборов, решений ФРС, спортивных матчей. Цена контракта отражает вероятность события по мнению участников. Крупнейшие — Polymarket и Kalshi.
