Ответ сервера
HTTP-код, заголовки ответа, время отклика. Проверка 200/301/404.
Как читать результат
Каждая строка цепочки — один шаг запроса. Зелёный 200 означает конечную рабочую страницу, синий 3xx показывает переброс на другой адрес, красный 4xx или 5xx сигналит об ошибке. Если хопов больше одного, цепочку надо сокращать.
Что значат коды ответа
HTTP-код робот видит раньше, чем контент. От него зависит, попадёт документ в индекс или вылетит оттуда за пару обходов.
- 200 OK. Страница существует и отдаётся нормально. Единственный верный ответ для документа, который вы хотите видеть в выдаче.
- 301 Moved Permanently. Постоянный переезд. Робот заменяет старый адрес новым и переносит на него накопленный вес входящих ссылок. Этот код нужен при смене структуры URL.
- 302 Found. Временный переезд. Старый URL остаётся в индексе, вес не передаётся. Классический промах: при переносе домена сервер отдаёт 302, а через 4 месяца выясняется, что позиции никуда не переехали.
- 404 Not Found. Документа нет. Яндекс убирает такие адреса из индекса за 2–3 обхода, Google держит их дольше и периодически перепроверяет.
- 410 Gone. Удалено намеренно и навсегда. Сигнал жёстче 404, краулер перестаёт возвращаться к адресу заметно быстрее.
- 500 Internal Server Error. Сбой в коде или базе. Массовые пятисотки на обходе съедают краулинговый бюджет впустую.
- 503 Service Unavailable. Сервер занят или на обслуживании. Корректный ответ на время планового обновления, особенно вместе с заголовком
Retry-After.
Отдельная ловушка называется soft 404. Сервер отвечает 200, а на странице написано «ничего не найдено». Поисковик считает документ пустым, но обход на него всё равно тратит.
Чем плоха цепочка редиректов
Каждый лишний хоп — это отдельный сетевой запрос с новым обращением к DNS и повторным TLS-рукопожатием. На мобильном соединении один такой шаг стоит 200–400 мс. Три хопа подряд превращают быструю страницу в медленную, а Core Web Vitals меряют именно то, что видит пользователь.
Вторая проблема глубже. Часть ссылочного веса теряется на каждом переходе, и после трёх-четырёх звеньев от исходного сигнала остаётся немного. Google обходит до 5 редиректов за раз, дальше откладывает адрес на следующий визит. Яндекс ведёт себя похоже.
Отдельно проверьте петли. Схема /page → /page/ → /page встречается чаще, чем кажется: одно правило добавляет слеш, другое его снимает. Браузер покажет ошибку, робот просто выбросит адрес из очереди.
Заголовки, на которые смотреть
Cache-Controlзадаёт, сколько браузер и CDN хранят копию. Для статики уместноmax-age=31536000, для HTML обычноno-cacheлибо короткий срок в несколько минут.Content-Encodingпоказывает сжатие. Значениеbrилиgzipозначает, что текст едет упакованным. Пустое поле у HTML — повод идти в настройки сервера.Strict-Transport-Securityзаставляет браузер ходить только по HTTPS. Без него первый запрос пользователя уходит по открытому протоколу.X-Robots-Tagумеет закрывать страницу от индексации на уровне заголовка. Метатега в HTML нет, а документа нет и в индексе? Причина часто прячется здесь.Varyподсказывает кэшу, что ответ зависит от заголовков запроса. Неверное значение приводит к тому, что мобильным отдаётся десктопная версия.
Когда проверку стоит запускать
Первый повод очевидный: сразу после переезда на новый домен или смены CMS. Прогоните 20–30 старых адресов из выгрузки Search Console и посмотрите, куда они ведут теперь. Обычно всплывает десяток URL, о которых при миграции просто забыли.
Вторую причину заметить труднее. Трафик просел без понятного повода, позиции держатся, а показы падают неделю за неделей. Проверьте ответ с разными User-Agent: часть защит от ботов отдаёт роботу 403 или 503, пока живой браузер получает нормальную страницу. Сайт выглядит рабочим для всех, кроме поисковика.
Третий сценарий связан с переходом на HTTPS. После включения сертификата легко получить схему http://site.ru → https://site.ru → https://www.site.ru → https://www.site.ru/. Четыре шага там, где хватило бы одного правила в конфиге.
Держите под рукой короткий список контрольных адресов: главная, раздел каталога, карточка товара, статья, страница фильтра. Прогон по такому набору занимает 3 минуты и ловит большинство поломок раньше, чем до них доберётся робот.
SSL и срок сертификата
Let's Encrypt выдаёт сертификаты на 90 дней. Автопродление работает, пока кто-нибудь не поменяет конфиг веб-сервера или не закроет порт 80 для ACME-проверки. Дальше сценарий предсказуемый: в пятницу вечером сертификат истекает, браузеры показывают предупреждение об угрозе, трафик падает почти до нуля.
Смотрите дату окончания хотя бы раз в месяц. Заодно проверьте, что сертификат покрывает и версию с www, и без него. Расхождение здесь ломает переходы из старых закладок и внешних ссылок.
Частые вопросы
Что показывает проверка ответа сервера?
HTTP-код страницы (200, 301, 404 и т.д.), полную цепочку редиректов до конечного адреса, заголовки ответа сервера и данные SSL-сертификата.
Зачем проверять цепочку редиректов?
Лишние редиректы замедляют загрузку и «размывают» вес ссылок. Идеально, когда старый адрес ведёт на конечный одним 301-редиректом, без промежуточных хопов и петель.
Какой код ответа правильный?
Для рабочих страниц — 200. Для перемещённых — 301 (постоянный редирект). Код 302 (временный) для переезда использовать не стоит. 404 — страница не найдена, 5xx — ошибка сервера.
Что такое soft 404?
Страница отдаёт код 200, но по содержанию пустая или сообщает «ничего не найдено». Робот тратит на неё обход, а в индекс не берёт. Такие адреса должны отвечать 404 либо 410.
Сколько редиректов подряд допустимо?
Один. Google обходит до 5 переходов за раз, дальше откладывает адрес на следующий визит, и часть ссылочного веса теряется на каждом звене. Цепочку из 3 хопов схлопывают в прямой 301 со старого URL на конечный.