Генератор robots.txt
Готовый robots.txt под ваш движок с директивами и Sitemap.
Как составить правильный robots.txt
Выберите шаблон под вашу CMS — типовые служебные разделы подставятся автоматически. Добавьте свои правила и укажите домен для директивы Sitemap. Готовый файл разместите в корне сайта по адресу /robots.txt.
Частые ошибки
- Закрыли весь сайт директивой
Disallow: /— робот перестаёт его обходить. - Закрыли CSS/JS — страница выглядит для робота «поломанной», страдает оценка скорости и мобильности.
- Указали относительный путь в Sitemap — нужен полный адрес с
https://.
Частые вопросы
Зачем нужен robots.txt?
Это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы обходить, а какие — нет, и где лежит карта сайта. Он управляет обходом, но не гарантирует запрет индексации — для этого нужен meta robots или заголовок X-Robots-Tag.
Нужно ли закрывать служебные разделы?
Да, обычно закрывают корзину, личный кабинет, результаты поиска по сайту, страницы сортировки и фильтров, дубли с параметрами. Но не закрывайте CSS и JS — иначе робот увидит страницу «сломанной».
Обязательна ли директива Sitemap?
Не обязательна, но желательна: она помогает поисковикам быстрее найти карту сайта. Указывайте полный абсолютный адрес с https.