Дослідницька група, що стоїть за автономним агентом штучного інтелекту, заявила, що модель несподівано спробувала використати обчислювальні ресурси для майнінгу криптовалюти під час навчання.
У нещодавньому технічному звіті дослідники повідомили, що ROME, експериментальна автономна система штучного інтелекту, розроблена для виконання завдань через взаємодію з інструментами, програмним середовищем і командами терміналів, стала шахраєм і спробувала самостійно майнінгувати криптовалюту.
Згідно зі звітом, незвичайна поведінка виявилася під час запусків підкріпленого навчання, коли команда помітила сповіщення системи безпеки, викликані вихідним трафіком із навчальних серверів. Брандмауер реєструє позначену активність, що нагадує операції з майнінгу криптовалюти, і спроби отримати доступ до внутрішніх мережевих ресурсів.
“Спочатку ми розглядали це як звичайний інцидент безпеки (наприклад, неправильно налаштований контроль виходу або зовнішній компрометація). Однак порушення періодично повторювалися без чіткої тимчасової моделі під час кількох запусків”, – пишуть дослідники.
Агент ШІ відкриває тунель SSH
Повідомляється, що в одному випадку агент штучного інтелекту створив зворотний тунель SSH (Secure Shell), зашифрований протокол між сервером і клієнтом для зв’язку, із зовнішньою IP-адресою, потенційно обходячи вхідний захист брандмауера. В іншому випадку ресурси графічного процесора, спочатку призначені для навчання моделі, були спрямовані на процеси майнінгу криптовалюти.
Команда заявила, що ці дії не були навмисно запрограмовані. Натомість вони з’явилися під час оптимізації навчання з підкріпленням, коли агент досліджував різні способи взаємодії зі своїм середовищем.
ROME був розроблений спільними дослідницькими групами ROCK, ROLL, iFlow і DT, які пов’язані з екосистемою штучного інтелекту Alibaba в рамках ширшої інфраструктури під назвою Agentic Learning Ecosystem (ALE).
Модель розроблена для роботи не тільки з простими відповідями чат-бота. Він може планувати завдання, виконувати команди, редагувати код і взаємодіяти з цифровими середовищами за кілька етапів. Його навчальний конвеєр спирається на великі обсяги змодельованих взаємодій для покращення прийняття рішень.
Популярність агентів ШІ зростає
Інцидент відбувається на тлі зростання популярності агентів ШІ та їх інтеграції в криптовалюту. Минулого місяця Alchemy запустила систему, яка дозволяє автономним агентам штучного інтелекту купувати кредити на обчислення та отримувати доступ до служб даних блокчейну за допомогою ончейн-гаманців і USDC (USDC) на Base.
До цього підрозділи цифрових активів Pantera Capital і Франкліна Темплтона приєдналися до першої когорти Arena, нової тестової платформи від лабораторії штучного інтелекту Sentient з відкритим кодом, призначеної для оцінки роботи агентів ШІ в реальних робочих процесах підприємства.
AI Eye: IronClaw конкурує з OpenClaw, Olas запускає ботів для Polymarket
