Методика: Проверка выполняется по методике wSEO 1.1. Как устроена проверка
Настройка доступа AI-краулеров
Откроем поисковым AI-роботам нужные публичные страницы, не разрешая без разбора всех ботов и все способы использования.
- robots.txt и meta robots
- CDN, WAF, Cloudflare или серверные правила
- Разделение поисковых, пользовательских и обучающих роботов
Что подготовить
- канонический URL и точный сценарий проверки;
- дату и доказательство исходного состояния;
- перечень выполненных изменений;
- одинаковое устройство, браузер, регион и учётную запись, если они влияют на результат.
Пошаговая проверка
- Правильный user-agent получает разрешённый URL
- Нет 403, CAPTCHA, цикла редиректов или геоблокировки
- Закрытые и служебные разделы остаются закрыты
Повторите проверку минимум дважды в новом окне. Для недетерминированных AI-ответов или экспериментов используйте несколько повторов и не делайте вывод по одному результату.
Критерий приёмки
Согласованная политика доступа и подтверждённые успешные ответы для выбранных роботов.
Сохраните URL, дату, снимок экрана, HTTP-ответ или событие аналитики — тот тип доказательства, который непосредственно подтверждает заявленный результат.
Не включает устранение общей недоступности сайта, перенос хостинга и юридический выбор политики лицензирования.
Если проверка не пройдена
Не маскируйте симптом дополнительными изменениями. Вернитесь к исходной версии, проверьте кэш и распространение настроек, затем сопоставьте фактически полученный результат с заявленным объёмом работы.
