Убедитесь, что robots.txt доступен и не закрывает важные URL
Само наличие файла ещё ничего не доказывает. Хороший результат — он отвечает кодом 200, содержит понятные правила и разрешает обход контрольных страниц, которые должны приводить посетителей из поиска.
- проверяем файл как обычный посетитель;
- тестируем важный и служебный URL;
- сохраняем файл и доказательства результата.
Как оценить результат
| Ситуация | Уровень | Действие |
|---|---|---|
| Весь сайт или важный раздел закрыт без намерения владельца; файл возвращает ошибку сервера | Критично | Вернуть безопасную версию и перепроверить немедленно. |
| Нет Sitemap, есть устаревшие или спорные правила, но важные контрольные URL доступны | Некритично | Уточнить назначение правил и исправить планово. |
| Файл доступен, синтаксис понятен, важные URL разрешены, служебные ограничения ожидаемы | Проблемы нет | Сохранить доказательство и проверять после изменений сайта. |
Быстрая проверка в браузере
- Откройте
https://example.com/robots.txt. - Убедитесь, что виден текстовый файл, а не HTML-страница ошибки или авторизации.
- Найдите
User-agent,Disallow,AllowиSitemap. - Проверьте, нет ли неожиданного
Disallow: /. - Сопоставьте широкие запреты с важными URL сайта.
Проверка через Google Search Console
Откройте проверку URL в Google Search Console для подтверждённого ресурса. Введите важный URL и посмотрите, разрешён ли его обход. Для нового или изменённого файла учитывайте, что Google может использовать закэшированную копию robots.txt до повторной загрузки.
- Проверьте одну важную индексируемую страницу.
- Проверьте одну служебную страницу, которую намеренно закрыли.
- Повторите для WWW или поддомена, если он работает отдельно.
- Сохраните скриншоты обоих результатов.
Проверка HTTP-ответа
curl -I https://example.com/robots.txt
curl -sS https://example.com/robots.txtОжидается код 200 и текст правил. Редирект допустим как временная совместимость, но лучше, чтобы файл был доступен прямо на каждом используемом хосте.
Проверка контрольных URL
python -m pip install robotexclusionrulesparser
python - <<'PY'
from robotexclusionrulesparser import RobotExclusionRulesParser
import urllib.request
r = RobotExclusionRulesParser()
r.parse(urllib.request.urlopen('https://example.com/robots.txt').read().decode())
print(r.is_allowed('Googlebot', 'https://example.com/important-page'))
PYTrue означает, что выбранный робот может обходить URL по этим правилам.
Расхождения и ограничения проверки
robots.txt оценивается отдельно для каждого протокола, домена и поддомена. CDN или кэш может отдавать старую версию, а разные роботы поддерживают не полностью одинаковые расширения. Повторите запрос без кэша и проверяйте именно того робота, который важен для задачи.
Разрешение обхода не гарантирует индексирование, а запрет обхода не гарантирует удаление уже известного URL из поиска. Для noindex, canonical, HTTP-ответов и фактического присутствия в индексе нужны отдельные проверки.
Автоматический аудит wSEO для этой услуги оценивает robots.txt одного указанного сайта и его контрольные правила; он не заменяет ручную бизнес-оценку всех фильтров и служебных разделов. При ошибке используйте инструкцию по исправлению или закажите настройку.
