Disallow: *? Allow: *.css? Allow: *.js? Allow: *?page= Disallow: *?page=1$
Суть этого кода в том, чтобы сперва закрыть ботам доступ к сканированию всех URL адресов с GET параметрами, а потом открыть доступ тем ссылкам, которые нужны.
Это правило компактнее, чем перечислять все GET параметры, которые хотим закрыть. Ещё это правило надёжнее, ведь параметры могут появиться любые и не надо каждый раз править файл robots.txt.
Иногда для статических файлов применяются версии. Поэтому мы прописали правила Allow: *.css? и Allow: *.js? ведь для скриптов и стилей часто указывают версию.
Примерно такими способави принудительно заставляют обновляться кеш и загружать новые файлы. Для нас откроется тот-же самый файл, но для системы это разные ссылки.
Если на вашем сайте такой метод обновления применяется и к картинкам, то нужно дописать такое правило:
Allow: *.png? Allow: *.svg? Allow: *.jpg? Allow: *.jpeg? Allow: *.webp?
