Почему это важно:

Первое, что видят поисковые боты на вашем сайте - это файл robots.txt
В нём указываются правила для поисковых ботов. В основном там закрываются ненужные для сканирования служебные страницы, чтобы боты туда не лезли и не тратили время. Также там указывается ссылка на файл Sitemap.

Что входит в услугу:

вопросительный знак

Сделаю всё под ключ!

У файла есть свои жёсткие правила, а прописанные там запреты и разрешения могут накладываться друг на друга.

Я давно занимаюсь исправлением ошибок в файле robots.txt, а также знаю все страницы, которые нужно закрывать от ботов и которые нельзя.

Сам пересмотрю весь сайт, всё найду и всё настрою.

  • Определение и исправление ошибок;
  • Проверка случайно закрытых и исправление этого;
  • Поиск и закрытие страниц не предназначенных для индексации.