По моему опыту, примерно у 80% сайтов есть такая проблема.
Из-за неверных настроек заголовков Last-Modified и Not-Modified:
Смотрите, ваш сайт это не какой-то монолит, а состоит из многих разных файлов. Их количество зависит от объёма сайта, но даже если взять ОДНУ страницу, то она состоит из нескольких десятков разных файлов. Это скрипты, шрифты, стили, картинки и прочее. Количество таких файлов у каждой страницы зависит от дизайна и вёрстки.
Все эти файлы не меняются годами или вообще никогда. Но даже если пару секунд назад бот сканировал другую страницу вашего сайта, где используется точно такой же логотип, точно такие-же скрипты и точно такие-же стили, то из-за неверных настроек сервера бот думает, что файлы за это время изменились и он их опять скачивает и обрабатывает...
У меня есть отдельное видео, как узнать из скольких статических ресурсов состоит одна страничка вашего сайта. Посмотрите потом, а сейчас просто поверьте, что их не мало.
Если всё настроить правильно, то это существенно ускорят процесс и экономит трафик. Тогда, если бот вернётся даже через год, то он скачает только те файлы, которые изменились за это время.
Предвижу, что и у вашего сайта есть эта проблема… Вы можете легко это проверить.
Не хотите проверять сами, просто напишите мне в Telegram и я проверю бесплатно. Если хотите сами, то читайте дальше…
Для проверки переходим в ресурс last-modified.com. При тесте указываем не ссылку на сайт, а ссылку на какой-нибудь статический файл сайта. Например, кликаем правой мышкой по картинке и выбираем «Копировать URL картинки» или открываем исходный код, жмём Ctrl+F и ищем любой файл по расширению. Кликаем правой кнопкой и выбираем «Копировать адрес ссылки». Вставляем в заранее открытый ресурс и проверяем.
Если видим вот такое сообщение об ошибке, то нужно исправлять.
Если у картинки ошибка, то с 90% вероятностью ошибка будет и у стилей, и у скриптов. А если ошибки нет то даю 40% что вероятно забыли указать шрифт woff2, формат картинок webp или что-то ещё. Поэтому для надёжности лучше проверить картинки разного формата SVG, PNG, WebP, AVIF, стили, скрипта и разные форматы шрифтов, а также PDF.
Когда ошибки нет, то тест будет выглядеть вот так.
Если ошибка есть и нужна помощь по исправлению, то читайте дальше.
Если хотите обойтись без меня, то вот вам инструкция, как поставить задачу сисадмину или техподдержке хостинга.
За способ спасибо Дэми Мурычу, так как я в настройках серверов плохо разбираюсь. Он дал наводку, что в основном ошибка в настройках Nginx серверов и я по сей день не встречал другой причины. Нужно описать ошибку сисадмину или техподдержке хостинга и попросить файле конфигурации Nginx изменить значение if_modified_since exact;
на if_modified_since before;
или просто к статическим данным добавить if_modified_since before;
Либо же используйте текст для общарещния в тех поддержку
Добрый день! Мой домен: [ссылка на домен] Сайт не корректно отдаёт заголовки Last-Modified и/или Not-Modified Проверяю файл: [полная ссылка на картинку/стиль/скрипт] На этом ресурсе: https://last-modified.com/ При запросе статического контента (.jpg .png .css и т.д.) с использованием заголовка If-Modified-Since или If-None-Match должен возвращаться код 304 Not Modified, если файл не изменялся с указанного момента. Скорей всего, текущая конфигурация Nginx настроена не правильно и по умолчанию Nginx работает с настройкой: if_modified_since exact; Получается, что он вернёт верный заголовок 304 Not Modified только в случае, если прям точно совпадают даты из заголовка If-Modified-Since с датой из заголовка Last-Modified. Если последнее изменение (Last-Modified) было позавчера, а заголовок If-Modified-Since содержит вчерашнюю дату, то тоже должен вернуться верный ответ сервера (304 Not Modified) и он не должен содержать тела страницы. Для этого нужно переделать настройку «if_modified_since exact;» на «if_modified_since before;» или в файле конфигурации у локации статических файлов прописать «if_modified_since before;» Исправьте, пожалуйста!
На хостинге Beget с удовольствием идут на обсуждение вопроса и легко вносят правки. Правда иногда просят полный список статических файлов:
jpg|jpeg|gif|swf|png|avif|webp|ico|mp3|css|zip|tgz|gz|rar|bz2|doc|docx|xls|xlsx|exe|pdf|avi|ppt|txt|tar|mid|midi|wav|bmp|rtf|wmv|mpeg|mpg|mp4|m4a|spx|ogx|ogv|oga|webm|weba|ogg|tbz|js|7z|woff|woff2|ttf|svg|iso
На хостинге reg-ru отказываются помочь, но там можно перевести управление хостингом в ручной режим и настроить самостоятельно.
Во многих других местах не хотят вносить правки. Начинают доказывать что так и должно быть и искать другие отговорки, чтоб не настраивать. Частенько переписка затягивается надолго, но у меня ещё ни разу не было такого, чтоб не получилось договориться.
Если нужна помощь по настройке или общению с техподдержкой, то смело обращайтесь.
Пусть ваш сайт найдут, поймут и полюбят не только посетители, но и поисковые системы.
Как обычно, мы открыты для общения и вы можете смело писать свои комментарии, задавать вопросы и просто делиться мнением. Ваши отзывы очень важны для нас!