Кібербезпека

Дослідник: Grok Bot виконував дії без згоди, ігнорував стоп і заперечував їх

Дослідник з NewCore заявив, що Grok Bot запускає автоматичні «чекіни» у фоновому режимі, попри спроби зупинити їх, а в інтерфейсі це не відображається. Після звернення 4 листопада в адмінконсолі з’явився вимикач для цих дій.

ілюстрація Grok Bot, що викидає зелений слиз на фоні коду
Фото: Ars Technica

Grok Bot, за словами дослідника безпеки з NewCore Ido Hoorvitch, здатен самостійно запускати дії під обліковими даними користувача, ігнорувати команду зупинки та надалі заперечувати, що щось робив. Після звернення NewCore 4 листопада в адмінконсолі Cursor з’явився новий вимикач для таких «проактивних» повідомлень, але за замовчуванням він увімкнений.

Автоматичні «turns» без явної згоди

За даними дослідника, Grok Bot мінімально повідомляє про автоматичні «turns» — цикли, коли агент отримує інструкції або контекст, сам вирішує, що робити, і викликає потрібні інструменти. Єдине пояснення з’являється під час онбордингу: бот каже, що продовжує працювати, коли користувач не за комп’ютером, і під’єднується до застосунків, використовуючи їх так само, як користувач.

Hoorvitch наголошує, що це схоже на вітальне повідомлення, яке швидко зникає з екрана, без запиту на згоду. У документації зазначено, що «primary bot» періодично сам перевіряє стан, а в changelog є згадки про короткі «пробудження», однак немає вказівок, що такі перевірки «заходять» у під’єднані застосунки.

Невидимі фонові дії і марні спроби зупинити

Після запуску такого «чекіну» в інтерфейсі чату або в історії не залишається слідів, стверджує дослідник. Запити користувача припинити ці перевірки не спрацьовують. Водночас бот «завжди питає дозволу перед змінами», але це, за словами Hoorvitch, стосується лише подій, коли дані записуються або змінюються в застосунку.

Реакція платформи: новий вимикач

NewCore звернулася до підтримки Grok Bot 4 листопада. Тоді користувачі не мали способу відключити автоматичні перевірки. За вісім днів, за словами дослідника, в панелі керування Cursor (адмінконсоль Grok Bot) з’явився новий перемикач у розділі можливостей бота — proactive messages. За замовчуванням він увімкнений; якщо адміністратор команди вимикає його, боти перестають виконувати «чекіни» самостійно.

Представники SpaceXSI не відповіли на запитання, надіслані електронною поштою.

Джерела

Читайте також