Если robots.txt закрыл сайт от индексации, лечение занимает пять минут, а восстановление - от нескольких дней до пары недель. Откройте файл по адресу ваш-домен/robots.txt: строка Disallow: / под User-agent: * запрещает роботам обходить весь сайт. Уберите её или замените на Allow, проверьте файл инструментом в Search Console и Яндекс Вебмастере, отправьте sitemap и запросите переобход ключевых страниц. Ниже - полный порядок действий и типичные грабли, из-за которых страницы не возвращаются.

Как это вообще случается. Классика жанра: сайт разрабатывали на тестовом домене, закрытом от индексации, и при переносе на боевой домен robots.txt переехал вместе с Disallow: /. Второй сценарий - разработчик правил файл под задачу и забыл вернуть. Третий - шаблон CMS или модуль перегенерировал robots.txt по-своему. Поэтому после каждого релиза файл стоит проверять - это 10 секунд.

Что именно делает Disallow в robots.txt и чем он отличается от noindex

Robots.txt управляет обходом, а не индексом: Disallow запрещает роботу заходить на страницы, но формально не требует удалить их из поиска. Поэтому картина бывает парадоксальной: Google держит в выдаче «голые» адреса с подписью, что описание недоступно из-за robots.txt. Метатег noindex работает наоборот: он требует убрать страницу из индекса, но чтобы робот его увидел, страница должна быть открыта для обхода. Из этого следует главное правило возврата: снимайте оба запрета и проверяйте их по отдельности - файл robots.txt и метатеги в коде страниц.

Как вернуть сайт в индекс после случайного Disallow: пошагово

  1. Исправьте robots.txtУберите строку Disallow: / для User-agent: *. Оставьте закрытыми только служебные разделы: админку, корзину, результаты поиска, личный кабинет. Для Битрикс это стандартный набор из /bitrix/, /auth/, /personal/ и параметров фильтров.
  2. Проверьте метатеги и заголовкиОткройте исходный код главной и пары ключевых страниц: не должно быть метатега robots со значением noindex и заголовка X-Robots-Tag. Иначе снятие Disallow ничего не даст.
  3. Прогоните файл через инструменты поисковиковВ Search Console и Яндекс Вебмастере есть проверка robots.txt: убедитесь, что главная и разделы каталога помечены как доступные для обхода.
  4. Отправьте sitemap и переобходОбновите sitemap.xml, отправьте его в оба кабинета и запросите переобход главной, разделов и самых важных страниц через инструмент проверки URL.
  5. Следите за динамикойВ отчётах индексирования число страниц должно расти в течение 1-2 недель. Если через две недели тишина - причина не только в robots.txt, ищите дальше по списку из нашей статьи «сайт пропал из поиска».
Важно про тестовые копии. Не открывайте заодно тестовые и резервные копии сайта: они должны оставаться закрытыми, иначе поисковик склеит их с боевым сайтом и часть трафика уйдёт на копию. Правильная защита тестовой версии - пароль на вход, а не только robots.txt: файл с Disallow не мешает людям и злоумышленникам читать сайт.

Страницы не возвращаются в поиск?

Проверим индексацию по всем слоям: robots.txt, метатеги, ответы сервера, sitemap, склейки зеркал. Найдём, что держит сайт вне выдачи, и вернём трафик.

Заказать аудит индексации

Сколько ждать возврата страниц в поиск и от чего зависит срок

После снятия запрета Google обычно возвращает основные страницы за несколько дней, полный объём - за 1-3 недели; Яндекс в среднем чуть медленнее, апдейтами. Срок зависит от размера сайта, частоты обхода роботом и того, как долго сайт простоял закрытым: неделя простоя возвращается быстро, полгода - ощутимо дольше, и часть позиций придётся отвоёвывать заново. Ускорить процесс помогают переобход через кабинеты, свежий контент и работающие внутренние ссылки. Гарантированных кнопок «вернуть всё за день» не существует - обещания такого рода у подрядчиков должны настораживать.

Совет. Поставьте контроль robots.txt на автомат: мониторинг, который раз в день проверяет файл и шлёт уведомление при изменении. Мы включаем такую проверку в абонентскую поддержку - случайный Disallow ловится за часы, а не через месяц по упавшему трафику.

Частые вопросы про robots.txt и закрытый сайт

Сайт был закрыт в robots.txt три месяца. Всё пропало?
Нет, но восстановление займёт недели. Поисковики заново обойдут и переоценят страницы; старые позиции частично вернутся, частично их займут конкуренты. Чем быстрее откроете сайт и отправите переобход, тем меньше потери. Параллельно стоит усилить контент и внутреннюю перелинковку.
В robots.txt всё чисто, но страницы не индексируются. Что смотреть?
Метатег noindex, заголовок X-Robots-Tag, канонические ссылки на другие страницы, ответы сервера (страница должна отдавать код 200 роботу), дубли и склейку зеркал www и без www. Инструмент проверки URL в Search Console показывает причину для конкретной страницы прямым текстом.
Нужно ли закрывать что-то в robots.txt на сайте Битрикс?
Да: служебные пути /bitrix/ и /local/, авторизацию, личный кабинет, корзину, результаты поиска и бесконечные комбинации параметров фильтров - иначе робот тратит лимит обхода на мусор вместо товаров. Готовый шаблон под структуру сайта настраивается за полчаса.
Robots.txt открыт, но Google пишет «проиндексировано, несмотря на блокировку». Это ошибка?
Это след старой блокировки: Google нашёл ссылки на страницы, пока они были закрыты, и включил адреса в индекс без содержимого. После открытия и переобхода статус рассосётся сам за пару недель. Ускорить можно запросом на переобход конкретных URL.

Вывод: случайный Disallow - обидная, но обратимая ошибка, если поймать её быстро и правильно вернуть роботов на сайт. Хотите, чтобы за индексацией, файлом robots.txt и позициями следили профессионально - подключите SEO-продвижение от Alavir: аудит индексации входит в первый месяц работ, а смету пришлём в течение дня, бесплатно.