"Научная бессмыслица": как Cloudflare ловит ИИ-ботов на приманку

Компания Cloudflare представила оригинальный способ борьбы с несанкционированной активностью ИИ-ботов: вместо того чтобы просто блокировать запросы, система перенаправляет подозрительных посетителей на цепочку страниц с правдоподобным, но бессмысленным контентом. Такой подход, получивший название AI Labyrinth , призван утомить и сбить с толку ИИ-краулеры, занимающиеся сбором данных для обучения моделей.

По оценке Cloudflare, почти 1% всех наблюдаемых запросов поступает от ИИ-ботов. При этом большинство из них игнорируют инструкции robots.txt, обходят CAPTCHA и другие меры защиты. Это создаёт нагрузку на сайты и нередко приводит к тому, что авторский контент попадает в обучающие датасеты без разрешения владельцев — вопрос, который в настоящее время активно рассматривается в судах.

Вместо прямой блокировки, Cloudflare предлагает заманивать такие боты на страницы, сгенерированные с помощью собственных serverless-технологий (Workers). Контент на этих страницах выглядит достоверно, связан с научными темами, но не содержит реального содержания защищаемого сайта. При этом он не нарушает принципы SEO и не влияет на репутацию ресурса.

«Ни один реальный пользователь не станет кликать по четырём уровням ссылок, ведущих в пустоту», — объясняют представители Cloudflare. Это поведение позволяет точно определять автоматические сканеры и заносить их в список подозрительных.

Компания уже думает о следующем шаге в «гонке вооружений»: в будущем такие ловушки станут труднее отличимыми от настоящего контента и органично впишутся в структуру сайтов.

Функция AI Labyrinth доступна для всех клиентов Cloudflare через панель управления.