Правильный robots.txt для Битрикс закрывает от роботов служебные разделы (/bitrix/, авторизацию, поиск, личный кабинет), технические GET-параметры и версии для печати, но оставляет открытыми стили, скрипты и картинки. Готовый шаблон из этой статьи подходит большинству сайтов на 1С-Битрикс: скопируйте его, замените адрес карты сайта на свой и прогоните через валидатор в Вебмастере. Разбор каждой группы директив - ниже.

Где лежит файл. Robots.txt живёт в корне сайта и открывается по адресу vash-sajt.by/robots.txt. Если по этому адресу пусто или 404 - файла нет, и роботы ходят по сайту без ограничений, собирая в индекс всё подряд. Разместить или поправить файл - минутная задача в рамках поддержки сайта.

Что закрывать в robots.txt на Битрикс и почему

  • /bitrix/ - служебные файлы платформы: админка, компоненты, кэш. В выдаче им делать нечего, а ресурсы шаблона откроем отдельными правилами Allow
  • /auth/ и /personal/ - авторизация, личный кабинет, корзина: приватные страницы без пользы для поиска
  • /search/ - внутренний поиск: бесконечные комбинации запросов плодят мусорные URL
  • *?print= и *&print= - версии для печати, полные дубли страниц
  • *register=, *login=, *logout=, *auth= - сервисные GET-параметры авторизации Битрикс
  • *backurl= и *BACKURL= - параметры возврата, которые Битрикс дописывает к ссылкам: источник тысяч дублей
  • *action= и *bitrix_*= - технические параметры компонентов и тестов

Готовый robots.txt для 1С-Битрикс

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*BACKURL=
Disallow: /*action=
Disallow: /*bitrix_*=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /upload/
Sitemap: https://vash-sajt.by/sitemap.xml

Пояснение к блоку Allow: раздел /bitrix/ закрыт целиком, но стили, скрипты и кэш шаблона должны быть доступны роботам - иначе Google не сможет отрисовать страницы так, как их видят люди, и мобильная оценка пострадает. Каталог /upload/ оставляем открытым: там лежат изображения товаров и статей, которые приносят трафик из поиска по картинкам.

Не копируйте вслепую. Шаблон - основа, а не догма: если на сайте есть самописные разделы, выгрузки или закрытые каталоги, маски нужно адаптировать. Одна лишняя строка Disallow: / закрывает от поисковиков весь сайт - как это выглядит и чем заканчивается, мы разбирали в статье про robots.txt, закрывший сайт от индексации.

Clean-param: отдельная директива для Яндекса

Clean-param сообщает Яндексу, какие GET-параметры не меняют содержимое страницы: рекламные метки, идентификаторы сессий, параметры сортировки. Директиву понимает только Яндекс, поэтому её размещают в отдельном блоке User-agent: Yandex. Пример: Clean-param: utm_source&utm_medium&utm_campaign&yclid /. Google для той же задачи опирается на канонические адреса. А вот склейку зеркал www и без www robots.txt не решает вовсе - это работа редиректов, подробности в статье про дубли www и без www.

Не уверены в своём robots.txt?

Проверим файл, закроем дубли и служебный мусор, откроем нужное и подключим карту сайта. Это часть бесплатного SEO-аудита: покажем, что не так, и посчитаем смету за 1 день.

Проверить сайт

Как проверить robots.txt после правок

  1. Валидатор в Яндекс ВебмастереИнструмент «Анализ robots.txt» покажет синтаксические ошибки и позволит проверить конкретные адреса: закрыты они или открыты.
  2. Отчёт в Search ConsoleВ настройках панели виден статус файла: когда Google скачивал robots.txt и какие правила прочитал.
  3. Точечные проверки URLПрогоните главную, раздел каталога, карточку товара и css-файл шаблона - они должны быть разрешены. Страница поиска и ссылка с backurl - закрыты.
  4. Контроль через 2-4 неделиЗагляните в «Страницы в поиске»: мусорные URL должны постепенно уходить из индекса, полезные - оставаться на месте.
Совет. После правок robots.txt не ждите мгновенного эффекта: роботы перечитывают файл при следующем визите, а исключение страниц из индекса растягивается на недели. Это нормальный темп - главное, чтобы динамика была в нужную сторону.

Частые вопросы про robots.txt на Битрикс

Нужно ли закрывать /upload/ в robots.txt на Битрикс?
Нет, если хотите получать трафик из поиска по картинкам: в /upload/ лежат все изображения сайта. Закрывают каталог только тогда, когда туда попадают приватные документы - но правильнее хранить их вне публичной папки.
Чем Disallow в robots.txt отличается от тега noindex?
Disallow запрещает обход: робот не заходит на страницу и не видит её содержимое. Noindex разрешает обход, но запрещает показ в выдаче. Из-за этого закрытая в robots.txt страница может остаться в индексе Google «без описания», если на неё ведут ссылки: робот не может зайти и прочитать noindex.
Нужен ли отдельный блок User-agent: Yandex?
Обязателен только если используете Clean-param или хотите дать Яндексу особые правила. В остальных случаях достаточно общего блока User-agent: * - Яндекс его полностью учитывает.
Влияет ли robots.txt на позиции сайта?
Напрямую нет - это технический фильтр обхода. Но косвенно влияет заметно: чистый индекс без дублей и мусора экономит краулинговый бюджет, ускоряет индексацию нужных страниц и убирает конкуренцию собственных URL между собой.

Robots.txt - пятиминутная настройка, которая избавляет Битрикс-сайт от тысяч мусорных страниц в индексе. Скопируйте шаблон, адаптируйте под проект и проверьте валидатором. А если хотите, чтобы индексацией, дублями и техническим SEO занималась команда - подключайтесь к SEO-продвижению Alavir: работаем с Битрикс с 2013 года, аудит бесплатный, смета за 1 день.