Исследователи из компании LayerX опубликовали разбор новой атаки на ИИ-браузеры — и она ставит под сомнение саму архитектуру агентных систем с широким доступом к данным пользователя.
Как работает атака
Вредоносный сайт загружает встроенную в браузер языковую модель в так называемый «мир фантазии» — контекст, в котором привычные правила реальности перестают действовать. Механизм простой: пользователю (точнее, агенту) предлагают игру с головоломкой, вознаграждающей за заведомо неверные ответы. 2+2=5 — правильно. 2+2=4 — нет.
Как только модель принимает логику этой системы, её защитные ограничения теряют точку опоры. В «мире фантазии» правила выдуманы — и модель начинает действовать так, словно её действия не имеют последствий. Результат: злоумышленник получает доступ к приватным репозиториям, паролям из встроенного менеджера, корпоративной почте.
Почему патчи не помогут
Типичная реакция разработчиков LLM на угрозы — добавить запрет на конкретное действие. Нельзя писать эксплойты. Нельзя выдавать инструкции по опасным темам. Нельзя красть учётные данные.
Но все эти ограничения работают внутри одного предположения: модель воспринимает текущий контекст как реальный. Атака через «мир фантазии» разрушает именно это предположение — и все ограничения вместе с ним.
Исследователь Рой Паз формулирует точно: «ИИ действует исходя из предположения, что его контекст реален. Если нам удастся перевести его в контекст фантазии — он начнёт вести себя так, словно его действия не имеют последствий в реальном мире».
Это не баг — это архитектурный изъян. Аналогия: производитель небезопасного автомобиля не может решить проблему, ратуя за перепроектирование дорог. Нужно исправлять сам автомобиль.
Что это значит для бизнеса
Если ваша компания уже использует или планирует использовать ИИ-агентов с доступом к корпоративным системам — почте, CRM, репозиториям, финансовым инструментам — этот класс атак напрямую касается вас.
Практические меры до тех пор, пока индустрия не решит проблему на уровне архитектуры:
- Минимальные привилегии. Агент должен иметь доступ только к тому, что нужно для конкретной задачи — не ко всему аккаунту.
- Изоляция сессий. Отдельные профили для ИИ-браузеров без доступа к основным корпоративным данным.
- Обязательное подтверждение человека на необратимых действиях: отправка писем, транзакции, изменение данных.
- Скептицизм к «полной автономии». Чем шире доступ агента, тем выше риск. На текущем этапе развития технологии — это прямая зависимость.
Вывод
ИИ-браузеры — не плохая идея по сути. Плохая идея — давать им широкий доступ к чувствительным данным, пока архитектура доверия к контексту не решена на фундаментальном уровне. Атака LayerX это наглядно показывает.
Реактивные патчи закрывают симптомы. Осознанная архитектура безопасности — вот что защищает реально.