Cloudflare AI Labyrinth - как работи капанът за AI ботове
AI ботовете обхождат сайтове масово, копират текстове и ги подават за обучение на езикови модели. Правят го без разрешение и без да се съобразяват с натоварването на сървъра. Cloudflare отчита над 50 милиарда заявки дневно само от AI краулъри - около 1% от целия трафик в мрежата им.
Съдържание
През март 2025 г. компанията пусна AI Labyrinth - безплатна функция, която залага капан вместо да блокира.
Какво прави AI Labyrinth
Функцията работи като honeypot - примамка за ботове. Когато Cloudflare засече подозрителен AI краулър, не го спира с грешка 403. Вместо това го пренасочва към серия от фалшиви страници, пълни с генерирано съдържание.
Ботът не получава истинското съдържание на сайта. Получава безполезен текст и линкове към още фалшиви страници. Така губи време, bandwidth и заявки за нищо.
Стъпки на работа
- Засичане: Cloudflare анализира поведението на посетителя и определя дали е AI бот.
- Скрити линкове: В HTML-а на страницата се добавят невидими за хора връзки. CSS ги скрива напълно - човек не би ги видял, но бот, който чете кода, ги следва.
- Фалшиви страници: Линковете водят към предварително генерирани страници. Всяка от тях съдържа нови линкове към още фалшиви страници - получава се безкраен лабиринт.
- Маркиране: Щом бот последва скрит линк, Cloudflare го записва. Човек не би кликнал на нещо невидимо - значи е бот.
Какво съдържат фалшивите страници
Cloudflare генерира текстовете с Workers AI и ги пази в R2 storage. Страниците:
- Се генерират предварително, не при всяка заявка
- Съдържат научно верни текстове на произволни теми
- Имат
noindexиnofollowmeta тагове - Google не ги индексира - Са санитизирани срещу XSS атаки
- Нямат нищо общо с реалния сайт - ботът получава данни, които не може да използва
Защо не блокират, а подвеждат
Ако блокираш бот с 403, той го разбира веднага. Сменя IP, User-Agent или тактика и опитва пак. С AI Labyrinth ботът не знае, че е хванат. Продължава да "краули" фалшиви страници и харчи ресурсите си.
Cloudflare печели и друго - данни. Всеки бот, който влезе в лабиринта, оставя поведенчески модел. Тези данни помагат за разпознаване на нови ботове в бъдеще.
Как се включва
- Влезте в Cloudflare Dashboard
- Изберете домейна
- Отворете Security > Bots
- Намерете AI Labyrinth
- Натиснете бутона за включване
Готово. Няма допълнителни настройки. Работи на всички планове - и на безплатния.
Кой има полза от това
- Блогове и медии - AI ботовете най-много крадат текстово съдържание
- Онлайн магазини - скрейпване на продуктови описания и цени
- SaaS продукти - документация и help center съдържание
- Форуми - потребителски дискусии и отговори
Щом сайтът ви минава през Cloudflare, включете го. Безплатно е и не засяга истинските посетители.
AI Labyrinth и AI Detector
AI Labyrinth пази сайта ви от ботове, които крадат съдържание. AI Detector работи в другата посока - проверява дали даден текст е писан от човек или от AI модел.
Двете се допълват: едното защитава съдържанието ви, другото помага да разпознаете AI-генериран текст.
Какво подготвя Cloudflare
Следващата версия ще включва:
- По-реалистични мрежи от линкове, които приличат на истинска навигация
- По-трудно разпознаване дори от ботове, които анализират структурата на сайта
- Подробна аналитика за собствениците на сайтове