Чтобы убрать дубли страниц, действуйте в три шага: найдите все копии (через Яндекс Вебмастер, Search Console и краулер), выберите для каждой группы основную версию и склейте остальные - 301 редиректом, атрибутом canonical или директивой Clean-param, в зависимости от типа дубля. Дубли опасны тем, что распыляют ссылочный вес и заставляют поисковик выбирать «правильную» версию за вас - и выбирает он не всегда ту, которая вам нужна.
Откуда берутся дубли страниц на Битрикс
- Зеркала - www и без www, http и https: без редиректов весь сайт существует в нескольких экземплярах, разбор в статье про дубли www и без www
- Слэш на конце - /catalog и /catalog/ для поисковика формально разные адреса
- index.php - главная и разделы доступны и по /, и по /index.php
- GET-параметры - сортировки, вид списка, рекламные метки: ?sort=price плодит копии каталога
- Параметр backurl - служебные ссылки авторизации Битрикс создают дубль каждой страницы
- Умный фильтр без ЧПУ - комбинации фильтров генерируют тысячи URL с одинаковым содержимым
- Версии для печати - ?print=Y дублирует каждую страницу
- Товар в нескольких разделах - карточка живёт по двум-трём адресам с разными путями
- Тестовые копии - открытый для роботов тестовый поддомен дублирует весь сайт
Как найти дубли: 4 рабочих способа
- Яндекс ВебмастерРаздел «Диагностика» сам сообщает о критичных дублях, а «Индексирование - Страницы в поиске» показывает, какие URL Яндекс исключил как копии или посчитал неканоническими.
- Google Search ConsoleОтчёт «Индексирование страниц»: статусы «Страница является копией» и «Дубликат без выбранной канонической версии» - готовый список проблемных групп.
- КраулерScreaming Frog или аналог обойдёт сайт как робот и сгруппирует страницы с одинаковыми title, description и совпадающим текстом.
- Ручные операторыЗапрос site:vash-sajt.by с кавычками и куском текста страницы покажет, сколько копий этого текста висит в индексе.
Найти дубли - полдела. Склеим правильно
Разберём все группы дублей на сайте, настроим редиректы, canonical и Clean-param, проследим за переклейкой в Вебмастере. Аудит бесплатный, смета за 1 день, с Битрикс работаем с 2013 года.
Как убрать дубли: инструмент под каждый тип
| Тип дубля | Правильное решение |
|---|---|
| Зеркала www/без www, http/https | 301 редирект на основное зеркало |
| Слэш на конце, index.php | 301 редирект на канонический вид адреса |
| Рекламные метки, сортировки | Canonical на чистый URL, для Яндекса - Clean-param |
| Версия для печати | Canonical или noindex |
| Товар в нескольких разделах | Canonical на основную карточку |
| Комбинации умного фильтра без спроса | Canonical на раздел каталога либо запрет в robots.txt |
| Тестовый домен | Закрыть от индексации и паролем |
Как работает склейка через canonical и какие ошибки сводят её к нулю - разобрали в отдельной статье про rel=canonical. Редиректы для зеркал и слэшей настраиваются на сервере за час.
Профилактика: чтобы дубли страниц не вернулись
Дубли - не разовая уборка, а режим: новые разделы, фильтры и посадочные создают их снова. Правила простые: любое изменение структуры сопровождается картой редиректов, у новых шаблонов сразу настраивается canonical, а раз в квартал сайт прогоняется краулером. На абонентской поддержке такая проверка входит в регламент - дубли отлавливаются до того, как расползутся по индексу.
Частые вопросы про дубли страниц
Пагинация каталога - это дубли?
Через сколько склеятся дубли после настройки?
Дубли title без дублей страниц - это та же проблема?
Почему Яндекс выбрал главной «не ту» страницу?
Дубли - самая частая находка наших технических аудитов и одновременно самый быстрый способ снять с сайта балласт: трафик растёт без единого нового текста. Если хотите пройти этот путь с гарантией, что склейка не уронит позиции, - подключайте SEO-продвижение Alavir: бесплатный аудит покажет масштаб проблемы, смету посчитаем за 1 день.
