Stfw.Ru
Sasun Bughdaryan / unsplash.com
Исследователи Google нашли в коде эксплойта на языке Python характерные следы ИИ-модели — вымышленную оценку по шкале CVSS (стандарт оценки критичности уязвимостей) и типично «учебное» форматирование Оценка CVSS оказалась выдуманной: ИИ-модель сгенерировала её сама, а не взяла из реальной базы уязвимостей. Структура кода тоже указывала на ИИ — она воспроизводила шаблоны, характерные для обучающих данных больших языковых моделей (LLM).
Причина уязвимости оказалась не в опечатке и не в сбое, а в ошибке логики веб-приложения. Разработчик платформы запрограммировал в коде допущение, что определённый компонент системы всегда заслуживает доверия, и не стал его перепроверять. Именно через этот непроверяемый компонент злоумышленники и обходили двухфакторную аутентификацию. Какое именно приложение стало мишенью, Google не раскрыла. Исследователи также уточнили, что ИИ Gemini, по их мнению, при создании эксплойта не применяли. Атаку удалось сорвать до начала массового применения.
GTIG отмечает ещё одну тенденцию: злоумышленники атакуют не только с помощью ИИ, но и саму инфраструктуру ИИ-систем — автономные функции ИИ-агентов и внешние модули доступа к данным. Хакеры прибегают к так называемому ролевому обману: формулируют запрос, в котором предлагают ИИ-модели представить себя экспертом по безопасности, и таким образом обходят встроенные ограничения. Кроме того, они загружают в модели целые базы данных об уязвимостях и используют инструмент OpenClaw для отладки вредоносных программ в контролируемых средах — прежде чем развёртывать атаки на реальных целях.
