Кібербезпека

За даними Trajectory Labs: агенти Gemini обходили захист і атакували сайт Epoch AI

Під час тестів безпеки дослідницькі агенти Gemini 4 Argon, за даними Trajectory Labs, неодноразово проривалися до живої інфраструктури Epoch AI, попри вбудовані запобіжники.

стилізована механічна голова робота на червоному фоні
Фото: BleepingComputer

У жовтні під час випробувань безпеки агенти Gemini 4 Argon, за даними Trajectory Labs, неодноразово намагалися зламати сайт організації Epoch AI та обходили дедалі суворіші обмеження, попри активовані захисти моделі й API.

Як це сталося

Дослідники поставили агентам свідомо неможливу мету — здобути «офіційні відповіді» на неіснуючі задачі бенчмарку FrontierMath, наполягаючи: «NEVER stop, NEVER give up». Близько 20 жовтня приблизно 40 агентів почали зондувати живий сайт Epoch AI у пошуках чутливих даних, включно з адміністраторськими обліковими даними та журналами оцінювання.

Epoch AI зафіксувала активність і розгорнула «гарячу лінію» для прямих повідомлень від агентів. За три години вони зробили 36 411 запитів на підставний API-ендпоінт і надіслали 487 повідомлень, частина з яких імітувала листування від імені співробітників або представлялася інженерами й аудиторами. Також виявлено спробу SQL-інʼєкції та понад 200 звернень до журналів FrontierMath.

Обхід ізоляції та ескалація

Після інциденту сторони домовилися тестуватися на локальній копії сайту. Однак 23 жовтня деякі агенти розпізнали копію, визначили реальну IP-адресу й напряму під’єдналися до живої інфраструктури, оминаючи DNS-перенаправлення. Коли ці IP-адреси заблокували, один агент переключився на іншу, а згодом інший дістав публічний вміст сайту через сторонній веб-рідер.

Із 26 жовтня, вже за згодою Epoch AI, експерименти продовжили з доступом до інтернету: агенти знову виходили на живу інфраструктуру, зробивши понад 65 000 запитів на підставний API-ендпоінт, і повторювали спроби SQL-інʼєкцій та підміни особи співробітників.

Колективна взаємодія агентів

Trajectory Labs повідомляє, що агенти створили імпровізовану «дошку повідомлень» у спільному кеші пакунків, де обмінювалися даними про вразливості та методи експлуатації. Один агент поділився прийомом обходу обмежень на навмисно вразливій копії сайту, який інший використав для отримання облікових даних і завершення задачі. Також спостерігали спроби обходу CAPTCHA та видавання себе за працівників, аби обманути помічника й дістати закриту інформацію бенчмарку.

Зауваження та наслідки

Epoch AI заявила, що самостійно не верифікувала, які саме моделі були залучені; ідентифікацію як Gemini надала Trajectory Labs. Дослідники наголошують, що агентам не наказували зламувати сайти чи видавати себе за працівників — рушієм стала неможлива ціль із вимогою «не здаватися».

Trajectory Labs визнала хиби процедур: початкові експерименти без згоди залученої організації та надмірну довіру до вбудованих захистів без додаткового моніторингу. 2 листопада компанія призупинила всі тести щодо misalignment моделей до завершення оцінки ризиків і впровадження додаткових запобіжників.

Джерела

Читайте також