Url файла sitemap где взять

Обновлено: 15.01.2025

С помощью отчета о файлах Sitemap вы можете сообщить Google о появлении новых карт вашего сайта, посмотреть историю отправки файлов Sitemap, а также узнать об ошибках, с которыми столкнулась наша система при анализе файла Sitemap.

Что такое файл Sitemap? Будет ли мне полезен этот отчет?

Файл Sitemap содержит информацию о страницах сайта, на котором он размещен. По этому файлу Google определяет, какие страницы нужно просканировать.

Если вы пользуетесь сервисом веб-хостинга (Squarespace, Wix и т. п.), вероятно, файл Sitemap создается для вас автоматически. В таком случае не требуется ни создавать его вручную, ни прибегать к помощи отчета, о котором идет речь. Поищите сведения о файлах Sitemap в справочных материалах своего хостинг-провайдера.
Если у вас небольшой сайт (меньше 100 страниц) и если по ссылкам можно перейти от главной страницы к любой другой на этом сайте, то файлы Sitemap и отчет о них вам не нужны. Достаточно запросить индексирование главной страницы. При использовании сервиса веб-хостинга, как уже было сказано выше, никакие действия не требуются.

Управление файлами Sitemap

Также для управления файлами Sitemap можно использовать Search Console Sitemaps API. Этот API поддерживает те же функции и позволяет получать ту же информацию, что и отчет.

Следуйте приведенным ниже инструкциям.

Файл Sitemap сразу же будет обработан, однако для сканирования перечисленных в нем URL может потребоваться некоторое время. Иногда просканировать удается не все URL (это зависит от размера сайта, трафика и других факторов).

Если вы уже отправляли нам определенный файл Sitemap, не нужно делать это повторно, даже если вы внесли в него изменения. Новая информация будет обнаружена при следующем сканировании вашего сайта.

Как удалить файл Sitemap

Если вы удалите файл Sitemap, он исчезнет из отчета, но останется известным для Google, как и все перечисленные в нем URL. Если вам нужно, чтобы роботы Google перестали посещать ваши веб-страницы, добавьте правило в файл robots.txt.

Чтобы удалить файл Sitemap, выполните следующие действия:

В основной таблице отчета найдите файл, который нужно удалить, и нажмите на него.
На странице сведений о файле нажмите на значок в виде трех точек .
Выберите Удалить файл Sitemap.
Чтобы роботы Google больше не обращались к файлу Sitemap, удалите его с сайта или запретите доступ к нему с помощью файла robots.txt.

Интерпретация данных в отчете

Для каждого файла Sitemap указывается следующая информация:

Моего файла Sitemap нет в отчете

Вот несколько причин, по которым файл Sitemap может отсутствовать в отчете:

Ошибки в файлах Sitemap

В отчете по файлам Sitemap может появляться информация об ошибках, перечисленных ниже.

URL недоступны

Google не удалось просканировать адреса из файла Sitemap. Проверьте, доступны ли URL в нем нашему роботу, с помощью этого инструмента.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

При переходе по URL слишком много раз выполняется переадресация, и поисковые роботы Google останавливаются, не достигая цели. Рекомендуем заменить все URL переадресации на адреса непосредственно тех страниц, которые нужно просканировать.
- Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянную переадресацию.
- Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
Нельзя использовать URL

Некоторые из перечисленных вами URL находятся в другом домене или на более высоком уровне по сравнению с файлом Sitemap.

Ошибка сжатия

Произошла ошибка при попытке восстановить сжатый файл Sitemap. Выполните повторное сжатие файла (например, с помощью gzip), после чего загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Исправьте это.

Превышен максимальный размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе Sitemap, а затем отправьте нам этот индекс.

Неверное значение атрибута

Атрибут, связанный с одним из тегов XML в файле Sitemap, имеет недопустимое значение. Проверьте файлы Sitemap и убедитесь, что все атрибуты используются согласно техническим требованиям к таким файлам. Проверьте, нет ли опечаток в значениях атрибутов.

Неправильно введена дата

Как минимум одна дата в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Введите все даты в одном из допустимых форматов W3C:

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

Убедитесь, что URL в файле Sitemap указаны в правильной кодировке и должным образом экранированы. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, будет ли загружена страница.

Неполные URL в файле индекса Sitemap

Добавьте в индекс Sitemap полные URL всех нужных файлов Sitemap и отправьте его ещё раз.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

Отсутствует атрибут XML
В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.
Отсутствует тег XML

Отсутствует URL значка видео

В некоторых записях о видео нет ссылки на значок. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех значков видео.

Отсутствует название видео

В некоторых записях о видео отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео.

Вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Зачастую это происходит из-за неэкранированных символов в URL. Во всех файлах XML в любых значениях данных (включая URL) необходимо экранировать символы &, ', ", <, > и некоторые другие. Проверьте, правильно ли выполнено экранирование в URL.

Временная ошибка

Слишком много файлов Sitemap в файле индекса

В файле индекса более 50 000 файлов Sitemap. Разделите его на несколько и убедитесь, что в каждом указано не более 50 000 файлов Sitemap.

В файле Sitemap слишком много URL

В файле Sitemap более 50 000 URL. Разделите его на несколько, каждый из которых содержит до 50 000 адресов. Для удобства можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:
- В файлах Sitemap должны быть правильные заголовки. Например, если файл содержит информацию о видео, заголовок должен быть следующим:
- Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
- Все атрибуты XML нужно заключать в одинарные (') или двойные (") кавычки, которые должны быть только прямыми. Обратите внимание, что текстовые редакторы, например Microsoft Word, могут автоматически менять кавычки на фигурные.
Несоответствующий путь: отсутствует префикс www

Удалите префикс www из всех URL внутри файла.

Несоответствующий путь: имеется префикс www

Добавьте префикс www во все URL внутри файла.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Ниже приведены примеры.
- Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
- Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
- Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с объявления пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Слишком большой значок видео

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком маленький значок видео

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Адреса видео и страницы воспроизведения совпадают

URL видео и страницы проигрывателя, указанные в файле Sitemap для видео, не должны совпадать. Если используются одновременно тег <video:player_loc> и тег <video:content_loc> , то URL в них должны различаться. Подробнее о том, как добавить в файл Sitemap информацию о видео…

URL видео указывает на страницу воспроизведения

URL в теге <video:content_loc> в файле Sitemap для видео указывает на страницу, где размещен проигрыватель. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.
Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.
В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:

Поддерживаемые Яндексом форматы

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

Тег Обязательно Описание

loc Да Адрес страницы.

lastmod Нет Дата последнего обновления страницы.

Максимальный размер — 100 байтов.

Максимальный размер — 100 байтов.

Максимальный размер — 100 байтов.

Тег Обязательно Описание

loc Да Адрес страницы.

lastmod Нет Дата последнего обновления страницы.

Максимальный размер — 100 байтов.

Максимальный размер — 100 байтов.

Максимальный размер — 100 байтов.
Используйте этот формат, чтобы сообщить только об адресах страниц.
Также с помощью Sitemap вы можете передать информацию о локализованных страницах сайта и об изображениях (см. раздел Справки Яндекс.Картинок).

Чтобы передавать информацию о видео, в файле Sitemap укажите ссылки на XML-фиды (см. подробно в Справке поиска Яндекса по видео).
Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .
Требования к файлу
Используйте кодировку UTF-8. Кириллические URL робот Яндекса распознает как в закодированном виде, так и в оригинале. Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap. Указывайте ссылки на страницы только того домена, на котором будет расположен файл. Разместите файл на том же домене, что и сайт, для которого он составлен.
Как создать файл и сообщить о нем Яндексу
Определите канонические URL для страниц, которые будут указаны в файле Sitemap . Это необходимо, если на сайте есть несколько страниц со схожей информацией. Выберите формат и с помощью одного из сторонних ресурсов сформируйте файл. Укажите ссылку на файл в robots.txt или в разделе Файлы Sitemap Яндекс.Вебмастера.
Вопросы и ответы

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование  → Статистика обхода .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.
Файл Sitemap находится в статусе «Документ не содержит текст»
Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.
Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»
Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.

Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.

Количество ретвитов этой статьи в Twitter.
Так же, как вам может быть сложно найти новую дорогу без карты, Google может быть сложно найти все страницы на вашем сайте без карты сайта.
Изучив основы, мы подробно рассмотрим, как это сделать.

Что такое карта сайта (файл Sitemap)?

Карта сайта (файл Sitemap) — это XML-файл, в котором перечислен весь важный контент вашего сайта. Все страницы или файлы, предназначенные для ранжирования в поисковиках, должны быть указаны в карте сайта.

В картах сайта нельзя перечислять больше 50 000 ссылок, а их размер не должен превышать 50 МБ. Если содержимое файла Sitemap превышает один или несколько этих показателей, придется разбить его между несколькими картами.

Как выглядит sitemap.xml?

Sitemap.xml создается для поисковиков, а не людей. Он может выглядеть немного пугающе, если вы видите его впервые.

Объявление XML

Эта строка сообщает поисковикам, что он имеет дело с XML-файлом. Здесь также указывается версия XML и используемая кодировка. Для карты сайта следует указать версию 1.0 и кодировку UTF‑8 (UTF‑8 использовать обязательно).

URL set

Это хранилище всех URL-адресов в карте сайта. Эта строка также сообщает краулерам, какой стандарт протокола используется. Большинство карт указывают стандарт Sitemap 0.90, поддерживаемый Google, Yahoo и Microsoft.

Это родительский тег для каждой записи URL-адреса. Вы должны указать расположение URL-адреса во вложенном теге <loc> . Что особенно важно, необходимо использовать абсолютные URL-адреса, не относительными и каноническими.

Несмотря на то, что это единственный обязательный тег, у него могут быть дополнительные свойства:
- <lastmod> — указывает дату последнего изменения файла. Она должна быть в формате W3C Datetime. Например, если вы обновили публикацию 25 сентября 2019 года, в атрибуте будет указано значение 2019-09-25. Дополнительно можно еще указать время.
- <priority> — указывает приоритет URL-адреса относительно всех остальных URL-адресов на сайте. Значение указывается в диапазоне от 0.0 до 1.0. Чем больше значение, тем выше приоритет.
- <changefreq> — указывает, как часто страница может меняться. Задача этого свойства — сообщить поисковикам о том, как часто им может понадобиться повторно сканировать URL-адреса. Допустимые значения: always (всегда), hourly (каждый час), daily (ежедневно), weekly (еженедельно), monthly (ежемесячно), yearly (ежегодно) и never (никогда).
Ни один из этих дополнительных тегов не особо важен для SEO.

Гэри Илш из Google утверждает, что они в основном игнорируют значение тега <lastmod> , поскольку в большинстве случаев “вебмастера совершенно не стараются следить за его точностью”. Это и неудивительно, ведь большинство генераторов карт сайтов устанавливают значение этого тега для всех страниц по текущей дате, а не по дате последнего изменения файла.

Тег <priority> в Google, по их словам, игнорируется, потому что это просто “лишний шум”.

Относительно тега <changefreq> Джон Мюллер говорит так: “Приоритет и изменение частоты на самом деле больше не играют такой большой роли, когда речь идет о карте сайта” .

Зачем вам нужна карта сайта?

Google обнаруживает новый контент, сканируя веб-страницы. Когда он сканирует страницу, то обращает внимание и на внутренние, и на внешние ссылки на эту страницу. Если обнаруженный URL-адрес не содержится в их поисковом индексе, они могут спарсить по нему контент и проиндексировать его, если это целесообразно.

Но таким образом Google не сможет найти весь контент. Если на страницу нет ссылок с других уже известных ему страниц, он ее вряд ли найдет ее.

Вот тут-то и вступает в игру карта сайта.

Карта сайта сообщает Google (и другим поисковикам), где найти наиболее важные страницы сайта, чтобы они могли их просканировать и проиндексировать. Это важно, потому что поисковики не могут ранжировать контент, предварительно не проиндексировав.

Как создать карту сайта

Некоторые CMS сгенерируют карту сайта для вас. Она будет обновляться автоматически, когда вы будете добавлять или убирать страницы и посты на вашем сайте. Если ваша CMS этого не делает, скорее всего вы можете установить для нее соответствующий плагин, который это умеет.

Создание карты сайта в WordPress

Хоть на WordPress и работает 35,5% всех сайтов, эта CMS сама не генерирует карту сайта. Чтобы создать ее, вам понадобится плагин наподобие Yoast SEO.

Чтобы установить Yoast SEO, перейдите в консоль WordPress.

Выберите пункт Плагины > Добавить новый.

Найдите “Yoast SEO”.

Перейдите в раздел SEO > Общие > Возможности и убедитесь, что “XML-карта сайта” включена.

Если вы хотите четко указать, какие типы контента (страницы тегов, категорий и т. д.) включить или исключить из вашей карты сайта, перейдите в раздел настроек “Отображение в поисковой выдаче”.

Вы также можете исключить отдельные посты или страницы в редакторе с помощью поля “Дополнительно”.

ВАЖНО. Исключайте из карты сайта только те страницы, которые не должны отображаться в результатах поиска.

Создание карты сайта в Wix

К сожалению, у вас практически нет возможностей контролировать, какие страницы включаются в карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настройки “SEO (Google)” на нужной странице и отключите параметр “Show this page in search results” (Отображать эту страницу в результатах поиска).

Отображать эту страницу в результатах поиска

Стоит отметить, что таким образом на страницу добавляется мета-тег noindex, который исключает ее из показа в результатах поиска.
Если вы добавите каноникал на другой URL-адрес в Wix, то неканонический URL-адрес не будет удален из карты сайта. Хоть это и не повлияет на большинство пользователей, включение неканонических страниц в файле sitemap — не лучшая практика, а также неоднозначный сигнал для Google.
Создание карты сайта в Squarespace

Ручное редактирование карты сайта в Squarespace невозможно, но вы можете исключить (используя тег noindex) страницы из выдачи поисковиков на вкладке “SEO”.

Скрыть страницу в результатах поиска

Такие страницы будут также исключены из вашей карты сайта.

Создание карты сайта в Shopify

К сожалению, легкого способа исключить страницу из индекса в Shopify не существует. Вам придется напрямую редактировать файлы .liquid.

Создание карты сайта без CMS

Если на вашем сайте около 300 страниц или менее, установите бесплатный краулер Screaming Frog.

После установки откройте раздел Mode > Spider.

Вставьте URL-адрес главной страницы в поле с подписью “Enter URL to spider”.

Убедитесь, что используете каноническую (главную) версию стартовой страницы. Если вы этого не сделаете, Screaming Frog просканирует только один URL-адрес.
Когда сканирование завершится, обратите внимание на нижний правый угол.

Найдите похожую строку:

Если указанное число не превышает 499, перейдите в раздел Sitemaps > XML sitemap.

Поскольку для Google теги <lastmod> , <changefreq> и <priority> являются несущественными, мы рекомендуем не включать их в файл sitemap.xml.

Нажмите “Next” (Далее) и сохраните файл sitemap на компьютере. Готово.

Если в строке указано значение “500 из 500”, то нет смысла экспортировать файл sitemap. Почему? Потому что вы достигли лимита сканирования для вашего сайта, а это значит, что в экспортированном файле sitemap может не быть сотен страниц, что делает его непригодным для использования.

Один из способов решить эту проблему — подобрать другой бесплатный генератор карты сайта. Их очень много.

К сожалению, большинство таких генераторов ненадежны.

Мы протестировали некоторые из наиболее популярных генераторов и обнаружили, что многие из них включают в карту сайта неканонические URL-адреса, неиндексируемые страницы и редиректы. Для SEO это плохо.

Где же найти решение?

Если Screaming Frog не смог просканировать весь ваш сайт, просканируйте его с помощью инструмента Аудит Сайта Ahrefs.
Подтвердите, что это ваш сайт, чтобы сканирование прошло быстрее. Вот как это сделать.
Как только сканирование завершится, перейдите в Page Explorer и добавьте следующие фильтры.

Нажмите Export > Current table view.

Откройте экспортированный CSV-файл, а затем скопируйте и вставьте все URL-адреса из столбца URL в этот инструмент.

Полученный файл будет готовой картой вашего сайта.

Для начала вам нужно узнать, где находится карта сайта.
Вы можете выбрать любое имя для карты сайта, но наилучшей практикой будет придерживаться названия sitemap.xml. Если у вас несколько карт, можно использовать простую схему именования, например, sitemap_1.xml, sitemap_2.xml.

Хорошей практикой является добавление URL-адресов файлов sitemap в файл robots.txt.

Вы можете найти этот файл в корневом каталоге вашего веб-сервера. Чтобы добавить URL-адрес файла sitemap, откройте файл robots.txt и вставьте следующую строку:

URL-адрес из примера необходимо заменить на URL-адрес вашей карты сайта.

Если у вас несколько карт, добавьте такую строку для каждой из них.

Исправление основных ошибок веб-сайта, которые влияют на карту сайта

Google Search Console сообщает вам о большинстве технических ошибок, относящихся к карте сайта.

Например, в этом предупреждении сообщается, что один из отправленных URL-адресов заблокирован в robots.txt:

Вы можете больше узнать об этих проблемах и способах их решения здесь.

Однако существуют проблемы, о которых Google вам не сообщит.

Ниже приведены две наиболее распространенные такие проблемы, а также способы их выявления и устранения.

Бесполезные страницы низкого качества в вашей карте сайта

Каждая страница в вашей карте сайта должна быть индексируемой и канонической.

К сожалению, это не означает, что все эти страницы высокого качества. Если у вас много контента, скорее всего в вашей карте найдется несколько страниц низкого качества.

Например, эти две страницы в интернет-мазагине:

Ни одна из них не несет ценности для пользователя, но все же они находятся в карте этого сайта, и Google проиндексировал обе из них.

Чтобы найти эти страницы, перейдите в раздел Site Audit (Аудит сайта) > Duplicate content

Ищите кластеры дублированных или частично дублированных (в большую сторону) страниц без каноникалов. Они представлены оранжевыми квадратиками. Щелкните по одному из них, чтобы увидеть все страницы из этой группы.

Проверьте эти страницы, чтобы понять, представляют ли они какую-либо ценность.

Держать на сайте страницы низкого качества плохо по трем причинам:
- Они впустую расходуют краулинговый бюджет. Заставлять Google терять время и ресурсы, сканируя бесполезные страницы низкого качества — не лучшая идея. Он бы мог посвятить это время сканированию более важного контента. (Во избежание недоразумений: Googleутверждает, что краулинговый бюджет — это не “что-то, о чем большинству издателей стоит беспокоиться”.)
- Они “крадут” авторитетность ссылки у более важных страниц. Существует явная корреляция между авторитетностью страниц и их позициями в выдаче. Внутренние ссылки на страницы низкого качества снижают авторитетность, которая могла бы перетекать на более важные страницы. (Что примечательно, когда мыудалили почти ⅓ постов из блога Ahrefs, мы заметили увеличение трафика, а не его снижение.)
- Они приводят к плохому взаимодействию с пользователем. Никакой пользы при посещении этих страниц пользователи не получают, и они могут сразу уйти, если решат, что ваш сайт низкого качества или вообще заброшен.
Подводя итог, лучший план действий — это удалить страницы низкого качества с вашего сайта и, следовательно, из карты сайта. Если вы это сделаете, стоит помнить, что нужно также удалить все внутренние ссылки на эти страницы. Если вы об этом забудете, то вместо одной проблемы (низкокачественные страницы) вы приобретете другую (битые ссылки).

Помимо дубликатов и неполных дубликатов, вы можете поискать страницы с бесполезным контентом.

Просто проверьте отчет “On-Page” в инструменте “Аудит сайта” для страниц с предупреждением о малом количестве слов (Low word count).

Если вы использовали любые из указанных ранее методов генерации карты сайта, то в нее не попадут страницы с тегами noindex или canonical (не ссылающиеся на себя).

Это хорошо. Не стоит включать неканонические URL-адреса или неиндексируемые страницы в карту сайта.

Таким образом, если у вас на сайте есть некорректные теги noindex, страницы могут быть исключены по ошибке.

Чтобы проверить веб-сайт на наличие таких ошибок, воспользуйтесь отчетом “Indexability” (Индексируемость) в инструменте “Аудит сайта”. Обратите внимание на предупреждения “Noindex page” (Неиндексируемая страница), указывающие на все неиндексируемые страницы.

Большая их часть, скорее всего, будет исключена из индекса специально, однако этот список стоит перепроверить. Обычно некорректные теги noindex легко заметить, поскольку они будут касаться целого подраздела вашего сайта.

Если вы видите страницы, которые все же должны быть проиндексированы, удалите тег noindex со страницы и добавьте ее в вашу карту. Если вы используете CMS или плагин, добавление должно произойти автоматически.

Стоит проверить сайт на некорректные каноникалы и редиректы. Чтобы это сделать, перейдите в Page Explorer и используйте такие фильтры:

Проверка некорректных каноникалов.

Проверка некорректных редиректов.

Удалите некорректно указанные каноникалы и редиректы, затем добавьте затронутые страницы в вашу карту сайта.

Вопросы и ответы

Нужна ли карта сайта для страниц AMP?

@Kfowler325 No need for sitemaps for AMP pages — the rel=amphtml link is enough for us.
— 🍌 John 🍌 (@JohnMu) 13 October 2016

Для AMP-страниц карта сайта не нужна — ссылки rel=amphtml будет достаточно.

Как создать карту сайта для проекта электронной коммерции?

Карта для сайта электронной коммерции создается так же, как и для любого другого. Однако, в таких проектах стоит уделить особое внимание проверке страниц на дубликаты или неполные дубликаты, поскольку они часто проскальзывают сквозь пальцы в больших количествах из-за фасетной навигации.

Заключение

Создание карты сайта это вам не бином Ньютона, особенно если вы используете плагин, который все делает вместо вас. Не так уж сложно и создать карту с нуля — просто просканируйте сайт и отформатируйте список URL-адресов.

Важно помнить, что Google не должен индексировать страницы в вашей карте сайта, а также то, что карта сайта никак не взаимосвязана с ранжированием.

После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждого файла вы увидите один из статусов:

Напротив файла отобразится дата последней загрузки.

Проиндексированные страницы появятся в результатах поиска в течение двух недель

Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.

Напротив файла отобразится дата последней загрузки.

Проиндексированные страницы появятся в результатах поиска в течение двух недель

Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.

Обновить Sitemap

Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.

Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap

Вопросы и ответы

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование  → Статистика обхода .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.
Файл Sitemap находится в статусе «Документ не содержит текст»
Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.
Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»
Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

Читайте также:

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы.

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы.