Страница не индексируется: 12 причин и как их устранить

Если страница не индексируется, причина всегда в одном из трёх звеньев: робот не может до неё добраться (запреты, ошибки сервера, нет ссылок), робот дошёл, но не взял страницу в индекс (дубли, слабый контент), либо страница была в поиске и выпала (сбои, санкции). Точный диагноз ставится за 15-20 минут через Яндекс Вебмастер и Google Search Console: оба сервиса прямо называют статус страницы и причину исключения. Ниже - все 12 причин и проверка для каждой.

Быстрая проверка. Вставьте адрес в инструмент «Проверить статус URL» в Яндекс Вебмастере и в строку проверки URL в Search Console. Формулировки сервисов - точка отсчёта: «запрещена в robots.txt», «неканоническая» и «просканирована, но не проиндексирована» - это разные проблемы с разным лечением.

Как проверить индексацию страницы в Яндексе и Google

Операторы поискаВбейте в Google запрос site:vash-sajt.by/stranica/, в Яндекс - url:vash-sajt.by/stranica/. Страница нашлась - она в индексе, и проблема скорее в позициях, а не в индексации.
Проверка URL в ВебмастереРаздел «Индексирование - Проверить статус URL» показывает, знает ли Яндекс страницу, когда обходил и почему не показывает в поиске.
Проверка URL в Search ConsoleИнструмент в шапке панели: статус индексации, дата обхода, канонический адрес, обнаруженные запреты.
Отчёт «Страницы в поиске»Смотрите динамику по разделам: если страница была в индексе и выпала, ищите, что менялось на сайте в дату исключения.

12 причин, почему страница не индексируется

Запрет в robots.txt - маска Disallow закрывает страницу или весь раздел. Как это выглядит и чем заканчивается - разбирали в статье про закрытый robots.txt
Метатег noindex - в коде страницы или в HTTP-заголовке X-Robots-Tag стоит запрет индексации
Canonical на другой адрес - страница сама объявляет главной другую версию, и в индекс идёт та
Редирект - URL отдаёт 301/302, индексируется конечная точка, а не исходный адрес
Ошибки сервера - страница отвечает 404, 500 или таймаутом, когда приходит робот
Дубль - поисковик склеил страницу с почти такой же и выбрал в выдачу другую
Слабый контент - пустые, шаблонные или скопированные тексты: статус «просканирована, но не проиндексирована» и «недостаточно качественная» у Яндекса
Нет внутренних ссылок - страница-сирота: на неё не ведёт ни одна ссылка с сайта, роботу неоткуда о ней узнать
Молодой сайт и лимит обхода - робот выделяет сайту ограниченный краулинговый бюджет и до глубоких страниц добирается неделями
Страница спрятана - доступна только после авторизации, из результатов поиска по сайту или через форму
Санкции - при фильтрах и ручных мерах поисковик выборочно выбрасывает страницы из выдачи
Хостинг блокирует роботов - защита от ботов или файрвол отдаёт поисковым краулерам ошибку доступа

Классика на Битрикс. Тестовую версию сайта закрыли от индексации тегом noindex или строкой в robots.txt, а при запуске на боевом домене запрет забыли снять. Сайт живёт месяцами без поискового трафика, пока кто-нибудь не спросит, где клиенты. Проверьте это первым делом.

Страницы месяцами не заходят в индекс?

Найдём причину по каждому URL и вернём страницы в поиск: технический SEO-аудит делаем бесплатно, смету на работы считаем за 1 день. Alavir - официальный партнёр 1С-Битрикс, 450+ проектов с 2013 года.

Получить аудит

Что делать: решение по типу причины

Статус в Вебмастере или GSC	Причина	Решение
Запрещена в robots.txt	Маска Disallow в файле	Убрать маску, отправить URL на переобход
Исключена тегом noindex	Метатег или заголовок X-Robots-Tag	Снять запрет в настройках страницы или шаблона
Неканоническая / копия	Canonical смотрит на другой URL	Поправить canonical или сделать страницу уникальной
Ошибка при загрузке	Сервер отдаёт 5xx под нагрузкой	Стабилизировать хостинг, проверить логи
Просканирована, но не проиндексирована	Слабый или неуникальный контент	Усилить текст, добавить пользу и внутренние ссылки
Обнаружена, не просканирована	До страницы не дошла очередь обхода	Ссылки с главной, sitemap, запрос переобхода

Совет. После исправления не ждите пассивно: отправьте URL на переобход в обоих сервисах и поставьте на страницу ссылку с главной или из свежей статьи. По ссылкам роботы приходят быстрее, чем по расписанию.

Сколько ждать индексацию после исправления

Яндекс обычно переобходит исправленные страницы за несколько дней, полное обновление статусов занимает 1-2 недели. Google держит похожий темп, но статус «просканирована, но не проиндексирована» может висеть неделями - это сигнал работать над качеством, а не ждать. Если страницы стабильно выпадают из-за ошибок сервера, сначала лечится хостинг и стабильность - это зона технической поддержки сайта, без неё SEO-работы уходят в песок.

Частые вопросы об индексации страниц

Почему страница есть в Google, но не в Яндексе?

У поисковиков разные требования и скорость обхода. Частый случай у Яндекса - статус «недостаточно качественная»: страница технически доступна, но алгоритм не видит в ней пользы. Проверьте статус в Вебмастере и усильте контент: конкретика, структура, ответы на вопросы.

Сколько времени занимает индексация нового сайта на Битрикс?

При открытом robots.txt, настроенной карте сайта и добавлении в Вебмастер и Search Console основные страницы заходят в индекс за 1-4 недели. Ускоряют процесс внутренние ссылки, внешние упоминания и запросы переобхода.

Можно ли принудительно загнать страницу в индекс?

Гарантированной кнопки нет. Работают: переобход в Вебмастере и Search Console, строка в sitemap.xml, внутренние ссылки с посещаемых страниц. Но если контент слабый, робот возьмёт страницу и позже выбросит - сначала качество, потом ускорение.

Влияет ли скорость сайта на индексацию?

Да. Медленные ответы съедают краулинговый бюджет: робот успевает обойти меньше страниц за визит. А если сервер отвечает ошибками 5xx, поисковик снижает частоту обхода до стабилизации.

Индексация - фундамент продвижения: пока страницы нет в базе поисковика, ей не помогут ни тексты, ни ссылки. Пройдитесь по 12 причинам - в 9 случаях из 10 диагноз найдётся в этом списке. А если разбираться с каждым URL некогда, подключите SEO-продвижение Alavir: держим индексацию под контролем постоянно, продвижение от 500 BYN в месяц, аудит перед стартом бесплатный.