Первая заметка
Disallow: /*? Allow: /*.css? Allow: /*.js? Allow: /*?page= Disallow: /*?page=1$
Суть этого кода в том, чтобы сперва закрыть ботам доступ к сканированию всех URL адресов с GET параметрами, а потом открыть доступ тем ссылкам, которые нужны.
Это правило компактнее, чем перечислять все GET параметры, которые хотим закрыть. Ещё это правило надёжнее, ведь параметры могут появиться любые и не надо каждый раз править файл robots.txt.
Иногда для статических файлов применяются версии. Поэтому мы прописали правила Allow: /*.css? и Allow: /*.js? ведь для скриптов и стилей часто указывают версию.
- style.css?ver=9
- style.css?v=10
- style.css?v11
- style.css?12
Примерно такими способами принудительно заставляют обновляться кеш и загружать новые файлы. Для нас откроется тот-же самый файл, но для системы это разные ссылки.
Если на вашем сайте такой метод обновления применяется и к картинкам, то нужно дописать такое правило:
Allow: /*.png? Allow: /*.svg? Allow: /*.jpg? Allow: /*.jpeg? Allow: /*.webp?
