Генератор Sitemap.xml

Зачем нужна карта сайта

Sitemap.xml — это список адресов, которые вы предлагаете поисковику обойти. Робот и сам ходит по ссылкам, но карта ускоряет знакомство с новыми разделами и помогает там, где внутренняя перелинковка слабая. Особенно заметен эффект на молодых сайтах и в глубоких каталогах, куда с главной ведёт три-четыре перехода.

Карта не гарантирует индексацию. Она сообщает о существовании адреса, а решение принимает поисковик на основании качества страницы.

Как работает этот генератор

Мы начинаем с указанного адреса и переходим по внутренним ссылкам вглубь, пока не наберётся 100 страниц или не истекут 25 секунд. Из результата отсеиваются картинки, стили, скрипты и документы, а также страницы, закрытые метатегом noindex: держать их в карте бессмысленно, вы сами просили поисковик их не показывать. Внешние домены не обходятся.

Что делать с готовым файлом

1. Скопируйте XML и сохраните как sitemap.xml в кодировке UTF-8.
2. Положите файл в корень сайта, чтобы он открывался по адресу https://ваш-домен.ru/sitemap.xml.
3. Добавьте в robots.txt строку Sitemap: https://ваш-домен.ru/sitemap.xml с полным адресом.
4. Отправьте карту в Яндекс.Вебмастер и Google Search Console.

Правила, которые нарушают чаще всего

• В карте адреса, отдающие 404 или 301. Каждая такая строка тратит краулинговый бюджет впустую. В карту идут только страницы, отвечающие 200.
• Смешаны формы адресов. Со слешем и без, с www и без — выберите одну и придерживайтесь её. Форма должна совпадать с тем, что указано в canonical.
• В карту попали служебные страницы. Политика конфиденциальности, страницы фильтров, результаты внутреннего поиска обычно не нужны в индексе.
• Лимиты превышены. Один файл вмещает 50 000 адресов и весит не больше 50 МБ в распакованном виде. Дальше делают несколько карт и связывают их индексным файлом.
• Даты lastmod выдуманы. Если каждый день проставлять сегодняшнее число всем страницам, поисковик перестанет доверять этому полю.

Когда генератор не подходит

Для сайта на 5000 страниц обход в браузере не годится: нужен модуль движка, который соберёт полный список из базы и обновит карту автоматически после публикации новой страницы. Этот инструмент рассчитан на небольшие проекты, лендинги и быструю проверку — посмотреть, какие адреса вообще находятся по внутренним ссылкам. Кстати, само по себе это полезное упражнение: страницы, которые не нашлись при обходе, скорее всего не найдёт и робот.

Готовый robots.txt со строкой Sitemap соберёт генератор robots.txt. Коды ответа найденных страниц удобно проверить в проверке ответа сервера.