Генератор robots.txt

Как составить правильный robots.txt

Файл лежит в корне сайта и читается роботом раньше любой страницы. В нём вы указываете, какие разделы обходить не нужно: корзину, личный кабинет, внутренний поиск, страницы сортировки и фильтров. На сайте из 300 страниц разница почти незаметна. А вот на каталоге в 20 000 товаров с пятью фильтрами робот легко уходит в сотни тысяч комбинаций адресов и до реальных карточек добирается неделями, потому что суточный лимит обхода конечен.

Есть оговорка, о которую спотыкаются постоянно. Директива Disallow запрещает обход, но не индексацию: если на закрытую страницу ведут внешние ссылки, Google способен показать её в выдаче без описания. Чтобы адрес гарантированно выпал из индекса, нужен <meta name="robots" content="noindex"> или заголовок X-Robots-Tag: noindex. Такая страница обязана оставаться открытой для обхода, иначе робот просто не прочитает запрет.

Что вводить в генераторе

Начните с шаблона CMS. Он подставит типовые служебные пути: у WordPress это /wp-admin/, /wp-includes/, /xmlrpc.php и внутренний поиск /*?s=, у Битрикса набор другой — /bitrix/, /personal/, /auth/, /search/. Дальше добавьте свои правила, по одному в строке.

• Основной домен: только имя хоста без протокола, вида example.ru. Генератор соберёт строку Sitemap: https://example.ru/sitemap.xml сам.
• Disallow: пути от корня, всегда начиная со слеша. Правило /cart закроет и /cart/, и /cart-items/: сравнение идёт по началу строки, а не по целому сегменту.
• Allow: исключение внутри запрещённой ветки. Классический пример для WordPress: закрыт весь /wp-admin/, но открыт /wp-admin/admin-ajax.php, через который работают фильтры и формы.
• Маски: символ * заменяет любую последовательность, $ фиксирует конец адреса. Строка Disallow: /*?sort= уберёт все сортировки, а Disallow: /*.pdf$ отсечёт только PDF-файлы.

Куда положить файл

Сохраните результат как robots.txt в кодировке UTF-8 без BOM и загрузите в корень сайта. Проверка занимает секунд десять: откройте https://ваш-домен.ru/robots.txt в браузере и убедитесь, что отдаётся обычный текст со статусом 200. Поддомены поисковики считают отдельными сайтами, поэтому у shop.example.ru должен быть собственный файл. Google читает первые 500 КБ, остальное отбрасывает без предупреждения.

Яндекс и Google трактуют директивы по-разному

Директиву Host Яндекс отменил в марте 2018 года, главное зеркало теперь определяется 301-редиректом и атрибутом canonical. Crawl-delay Яндекс перестал учитывать тогда же, Google не поддерживал её никогда. Скорость обхода регулируют в Вебмастере и Search Console. Живой остаётся Clean-param: она работает только у Яндекса и удобнее запрета через Disallow, потому что склеивает статистику адреса с параметром и без него.

Частые ошибки

• Забыли снять Disallow: / после переноса с тестового сервера. Сайт исчезает из выдачи за 2–3 недели, а возвращается месяцами.
• Закрыли /wp-content/ или папку со скриптами. Робот видит страницу без стилей, оценка мобильной версии падает, вместе с ней проседают позиции.
• Написали Disallow: example.ru/cart. Домен в пути не указывают, правило не сработает.
• Поставили относительный путь в директиве Sitemap. Нужен абсолютный адрес с протоколом.
• Закрыли раздел, который давно в индексе, и ждут выпадения страниц. Robots.txt тут бессилен: адреса останутся, пока робот не увидит noindex, 404 или 410.

Проверка после установки

В Яндекс.Вебмастере работает «Анализ robots.txt», в Google Search Console доступен отчёт со списком заблокированных адресов. Прогоните через них 5–10 значимых URL: главную, карточку товара, статью, страницу категории. Один неверно запрещённый адрес означает, что правило слишком широкое. Файл перечитывайте после каждой смены движка или структуры каталога.