Как убрать дубли страниц из XML sitemap в WordPress без поломки индексации

Ситуация типичная: в XML sitemap попадают страницы, которые не должны помогать индексации — архивы с дублями, служебные страницы, результаты поиска, вложения, страницы с параметрами или контент, который уже закрыт от индексации. В итоге поисковик получает смешанный сигнал: в sitemap URL есть, а в noindex или canonical — другое поведение. На небольшом сайте это часто незаметно, но на проектах с активной публикацией и фильтрами sitemap быстро превращается в список мусорных URL.

Ниже разберём, как понять, что именно лишнее, чем отличается исключение из sitemap от запрета индексации, и как сделать это без ручной правки файла sitemap.xml, который в WordPress обычно генерируется динамически.

Когда sitemap начинает вредить

Проблема не в самом XML sitemap, а в том, что туда попадают URL, которые вы не хотите продвигать. Поисковик использует sitemap как подсказку, а не как жёсткое правило. Если в карте сайта много дублей, служебных страниц и мусорных архивов, это усложняет обход и диагностику сайта.

Что обычно попадает лишним

• страницы вложений медиафайлов;
• архивы авторов на сайтах с одним автором;
• архивы дат, если они не несут ценности;
• страницы поиска по сайту;
• служебные URL с параметрами;
• таксономии без контента или с тонкими дублями;
• страницы, которые уже закрыты через noindex, но всё ещё присутствуют в sitemap.

Диагностика: что проверить в первую очередь

Сначала не трогайте код. Посмотрите, какие URL реально попали в карту сайта и почему. Если у вас WordPress 5.5+ без отдельного SEO-плагина, используется встроенный XML sitemap. Если стоит SEO-плагин, он может полностью перехватывать генерацию карты сайта.

• Откройте /wp-sitemap.xml или sitemap, который отдаёт ваш SEO-плагин.
• Проверьте, есть ли там URL, которые не должны индексироваться.
• Сравните sitemap с фактическими правилами noindex и canonical.
• Проверьте Search Console: есть ли страницы, отправленные через sitemap, но исключённые из индекса по другой причине.

Если URL уже закрыт от индексации, но остаётся в sitemap, это не всегда ошибка. Но если таких URL много, лучше убрать их из карты сайта, чтобы не создавать лишний шум.

Как убрать URL из XML sitemap: три рабочих подхода

Выбор зависит от того, чем у вас генерируется sitemap. Если нужен быстрый и управляемый способ — используйте фильтр WordPress. Если сайт ведётся через SEO-плагин — удобнее настроить исключения в нём. Если нужна точечная логика для конкретных типов записей или таксономий — лучше код.

Вариант 1. Исключить записи и страницы через фильтр wp_sitemaps_posts_query_args

Если вы используете встроенный sitemap WordPress, можно убрать из него конкретные записи по ID или по признаку. Это полезно, когда нужно исключить служебные страницы, которые физически существуют, но не должны попадать в карту сайта.

<?php
add_filter( 'wp_sitemaps_posts_query_args', function( $args, $post_type ) {
    if ( 'page' !== $post_type ) {
        return $args;
    }

    $excluded_ids = array( 12, 34, 56 );

    if ( empty( $args['post__not_in'] ) ) {
        $args['post__not_in'] = array();
    }

    $args['post__not_in'] = array_merge( $args['post__not_in'], $excluded_ids );

    return $args;
}, 10, 2 );

Этот вариант хорош, когда вы точно знаете ID страниц. Но для долгой поддержки он не самый удобный: ID могут меняться при переносе сайта, а список нужно помнить и обновлять.

Вариант 2. Убрать целый тип записей из sitemap

Если у вас есть тип контента, который не должен попадать в XML sitemap вообще, проще исключить его целиком. Это часто делают для технических CPT, страниц логов, внутренних справочников или служебных сущностей.

<?php
add_filter( 'wp_sitemaps_post_types', function( $post_types ) {
    unset( $post_types['log_entry'] );
    unset( $post_types['internal_note'] );

    return $post_types;
} );

Здесь важно не перепутать технический тип контента с тем, который нужен для SEO. Если тип записей должен индексироваться, не убирайте его из sitemap только потому, что он кажется второстепенным.

Вариант 3. Исключить таксономии или архивы

Для встроенного sitemap WordPress можно управлять и таксономиями. Это полезно, если архивы тегов или пользовательских рубрик создают дубли и не дают ценности в поиске.

<?php
add_filter( 'wp_sitemaps_taxonomies', function( $taxonomies ) {
    unset( $taxonomies['post_tag'] );
    unset( $taxonomies['brand'] );

    return $taxonomies;
} );

Но прежде чем убирать таксономию, проверьте, не используется ли она как посадочная страница. Если теговый архив реально собирает трафик, лучше не исключать его без анализа.

Если sitemap генерирует SEO-плагин

У популярных SEO-плагинов логика своя: они могут создавать отдельные карты для записей, страниц, таксономий и медиа. В этом случае правка фильтров WordPress не всегда повлияет на итоговый sitemap. Тогда смотрите настройки самого плагина: обычно там можно отключить типы записей, архивы и медиа-страницы.

Практический ориентир простой: если URL исчезает из /wp-sitemap.xml, но остаётся в карте сайта плагина, значит вы меняете не тот источник. Сначала определите, кто именно отдаёт sitemap в ответе сервера.

Что проверить в настройках

• включён ли sitemap у SEO-плагина;
• какие типы записей и таксономии он добавляет;
• не включены ли медиа-вложения как отдельные URL;
• не создаёт ли плагин отдельные карты для архивов, которые вам не нужны.

Если вы используете, например, Clearfy Pro для чистки сайта и удаления дублей, часть служебных страниц и архивов можно закрыть на уровне SEO-настроек, а не только через код. Это удобнее, когда проектом управляет не разработчик, а редактор или SEO-специалист.

Проверка результата после внедрения

После изменений не ограничивайтесь визуальной проверкой sitemap в браузере. Нужно убедиться, что карта сайта действительно изменилась и поисковик видит актуальную версию.

1. Откройте sitemap в браузере и убедитесь, что лишние URL исчезли.
2. Проверьте исходный XML: в нём не должно быть старых записей после обновления кэша.
3. Если используется кэширование, очистите серверный и плагинный кэш.
4. В Search Console отправьте sitemap повторно, если он менялся заметно.
5. Проверьте отдельные URL через инспекцию страницы: они могут быть исключены из sitemap, но всё ещё индексироваться по внешним ссылкам.

Важно понимать разницу: убрать URL из sitemap — это не то же самое, что закрыть его от индексации. Если страница должна исчезнуть из поиска, нужны отдельные меры: noindex, canonical, редирект или удаление.

Частые ошибки и как их исправить

Сайт показывает старый sitemap

Чаще всего виноват кэш. XML sitemap может кэшироваться плагином, сервером или CDN. После изменений очистите все уровни кэша и проверьте ответ сервера заново.

URL убрали из sitemap, но они всё ещё в индексе

Это нормально, если на них есть внешние ссылки или поисковик уже знает о них. Исключение из sitemap не удаляет страницу из индекса автоматически. Если URL больше не нужен, используйте 301-редирект или отдавайте 410, когда это оправдано.

Из sitemap исчезли нужные страницы

Обычно это следствие слишком широкого условия в фильтре. Например, вы исключили весь тип записей вместо нескольких служебных страниц. Проверьте, не сработало ли условие на весь post_type или таксономию.

Плагин и код конфликтуют

Если SEO-плагин генерирует собственный sitemap, а вы одновременно правите встроенный WordPress sitemap, результат может быть непредсказуемым. Оставьте один источник истины: либо плагин, либо встроенный механизм, либо чётко разделите зоны ответственности.

Чек-лист перед публикацией изменений

• Определён источник sitemap: WordPress или SEO-плагин.
• Список лишних URL составлен и проверен вручную.
• Служебные страницы не удалены из sitemap случайно.
• Кэш очищен на всех уровнях.
• Проверен ответ XML в браузере и через просмотр исходника.
• Проверено, что нужные страницы остались в карте сайта.
• Если требуется, настроены отдельные правила noindex или редиректы.

Когда лучше не трогать sitemap кодом

Если сайт поддерживается несколькими людьми и изменения вносятся без разработчика, лучше не прятать логику в тему. В таком случае удобнее использовать SEO-плагин или отдельный мини-плагин с понятными настройками. Иначе после смены темы или обновления шаблона вы потеряете все правки.

Для проектов, где важна чистка дублей и контроль технического SEO, имеет смысл держать sitemap, robots, canonical и noindex в одной логике. Разрозненные правки по файлам темы обычно заканчиваются тем, что одна часть сайта закрыта, а другая продолжает светиться в карте сайта.

Если вам нужно не просто убрать отдельные URL, а выстроить системную чистку дублей и служебных страниц, удобнее сначала описать правила: что индексируется, что попадает в sitemap, что остаётся только для пользователей. После этого уже внедрять фильтры и настройки без хаотичных исключений.