Первая заметка

Disallow: *?
Allow: *.css?
Allow: *.js?
Allow: *?page=
Disallow: *?page=1$

Суть этого кода в том, чтобы сперва закрыть ботам доступ к сканированию всех URL адресов с GET параметрами, а потом открыть доступ тем ссылкам, которые нужны.

Это правило компактнее, чем перечислять все GET параметры, которые хотим закрыть. Ещё это правило надёжнее, ведь параметры могут появиться любые и не надо каждый раз править файл robots.txt.

Иногда для статических файлов применяются версии. Поэтому мы прописали правила Allow: *.css? и Allow: *.js? ведь для скриптов и стилей часто указывают версию.

  • style.css?ver=9
  • style.css?v=10
  • style.css?v11
  • style.css?12

Примерно такими способави принудительно заставляют обновляться кеш и загружать новые файлы. Для нас откроется тот-же самый файл, но для системы это разные ссылки.

Если на вашем сайте такой метод обновления применяется и к картинкам, то нужно дописать такое правило:

Allow: *.png?
Allow: *.svg?
Allow: *.jpg?
Allow: *.jpeg?
Allow: *.webp?

Форма заказа

Цена: 4000 руб. (за 1 сайт)
Срок: до 2 дней (обычно 8 часов)

Заказать очень легко

Скопируйте это сообщение, перейдите в любой мессенджер, вставьте и отправьте.
Копировать
* Среднее время ответа: 30 минут