Первое, что видят поисковые боты на вашем сайте - это файл robots.txt
В нём указываются правила для поисковых ботов. В основном там закрываются ненужные для сканирования служебные страницы, чтобы боты туда не лезли и не тратили время. Также там указывается ссылка на файл Sitemap.
Сделаю всё под ключ!
У файла есть свои жёсткие правила, а прописанные там запреты и разрешения могут накладываться друг на друга.
Я давно занимаюсь исправлением ошибок в файле robots.txt, а также знаю все страницы, которые нужно закрывать от ботов и которые нельзя.
Сам пересмотрю весь сайт, всё найду и всё настрою.