
Ticka Kao / unsplash.com
Атаке веб-сканера сегодня может подвергнуться любой сайт. Иногда сайты даже теряют работоспособность, но сильнее прочих страдают разработчики ПО с открытым кодом: на сайтах таких проектов выкладываются материалы для скачивания, но ресурсов у них меньше, чем у коммерческих проектов. Проблема в том, что ИИ-боты игнорируют директивы файлов robot.txt, в которых указываются запрещённые для сканирования разделы. В январе разработчик открытого ПО Се Ясо (Xe Iaso) опубликовал в блоге «крик о помощи», рассказав о неподобающих действиях AmazonBot. Этот бот неустанно бил по Git-серверу разработчика, устраивая настоящие DDoS-атаки. Он игнорировал директивы robot.txt, менял IP-адреса, подменял значения строки User agent и прибегал к другим уловкам.
В итоге Ясо разработал программу Anubis, которая проводит проверку подключающихся к серверу Git клиентов — она блокирует ботов, но пропускает браузеры, которыми пользуются люди. Проект Anubis был опубликован на GitHub 19 марта, и всего за несколько дней он собрал 2000 звёзд, 20 участников и 39 форков. Успех программы указывает, что случай Ясо не уникален: на агрессивное поведение ИИ-ботов указал основатель и гендиректор платформы SourceHut Дрю ДеВолт (Drew DeVault), которому приходится от 20 % до 100 % рабочего времени тратить на защиту от веб-сканеров. Администратору проекта Linux Fedora Кевину Фензи (Kevin Fenzi) в какой-то момент пришлось полностью заблокировать Бразилию, а разработчик KDE Plasma Никколо Венеранди (Niccolò Venerandi) однажды временно заблокировал все китайские IP-адреса.
В январе анонимный разработчик под ником Aaron выпустил решение под названием Nepenthes в честь кувшиночника — насекомоядного растения. Система заманивает ИИ-ботов в «лабиринт» бесполезного контента, заставляя их сканировать чушь. Аналогичное решение недавно представила Cloudflare — оно получило более очевидное название AI Labyrinth. Эта система подключается, когда боты не соблюдают директиву «no crawl», — в результате они попусту тратят время и ресурсы. Дрю ДеВолт вообще призвал бойкотировать все новомодные ИИ-инструменты, в том числе большие языковые модели, генераторы изображений и GitHub Copilot. Едва ли это случится в действительности, поэтому разработчикам открытого ПО приходится подключать смекалку.