Как добавить файл sitemap в яндекс вебмастер
Карта сайта — документ в формате html или xml, который содержит ссылки на все страницы вашего сайта. Создание файла sitemap.xml обязательно, поскольку от него зависит скорость и корректность индексации страниц. Наличие карты в формате html необязательно, и сейчас все меньше сайтов ее создают.
Sitemap.xml имеет следующую структуру:
- <urlset> — заголовок файла;
- <url> — блок, содержащий информацию о странице;
- <loc> — URL-адрес страницы;
- <lastmod> — дата последнего обновления;
- <changefreq> — частота обновления;
- <priority> — приоритет.
Чтобы правильно сделать sitemap.xml, придерживайтесь следующих правил:
- Данный файл не может содержать более 50 000 адресов и превышать размер 10 Мб. Если sitemap содержит больше данных, то их необходимо разбить на несколько файлов, указав адреса в файле индекса Sitemap.
- Файл sitemap.xml должен отдавать код ответа 200.
- Необходимая кодировка: UTF-8.
- Файл не должен содержать ссылки на несуществующие страницы с 404 кодом ответа и прочие «мусорные» страницы сайта, которые могут навредить SEO. Также он не должен иметь ссылки на страницы, которые запрещены к индексации в файле robots.txt, чтобы не запутывать поисковых роботов.
Существует много способов генерации карты сайта:
- с помощью онлайн-сервисов (mysitemapgenerator, xml-sitemaps);
- с помощью плагинов CMS (стандартный для Битрикс, XMap для Joomla, Google XML Sitemap для WordPress);
- с помощью специальных программ.
Мы в своей работе используем платную версию программы Screaming Frog, которая может парсить неограниченное количество URL-адресов. Бесплатная версия обходит лишь 500 страниц.
Если же мы сталкиваемся со сложной структурой сайта, например огромное количество страниц смарт-фильтра, или стоит задача настроить автоматическую генерацию sitemap.xml по определенным правилам, то мы реализуем собственный скрипт, который генерирует файл согласно требованиям поисковых систем и стоящим перед ним задачами.
Чтобы добавить карту сайта в Вебмастер Google, выберите раздел «Сканирование» — «Файлы Sitemap».
Для добавления карты в вебмастер Mail в меню «Мета информация» выберите Sitemap и укажите соответствующий адрес.
После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждого файла вы увидите один из статусов:
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Обновить Sitemap
Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.
Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удалить Sitemap
Вопросы и ответы
Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.
Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.
Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование → Статистика обхода .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.
При обработке Sitemap возникла ошибка «Неизвестный тег»Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.
Файл Sitemap находится в статусе «Документ не содержит текст»Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.
Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:
Яндекс Вебмастер позволяет:
- добавить Sitemap;
- обновить;
- удалить;
- анализировать.
Как добавить Sitemap в Яндекс Вебмастер
После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:
Интересная статья: Оригинальные тексты в Яндекс ВебмастерОбновить Sitemap
Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.
Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удалить Sitemap из Вебмастера
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице « Файлы Sitemap» :
Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Поддерживаемые Яндекс Вебмастером форматы
Яндекс принимает Sitemap в форматах:
XML-формат Sitemap
Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.
Яндекс поддерживает протокол Sitemap. Используйте этот формат, если хотите сообщить о:
- дате последнего обновления страницы (элемент lastmod);
- частоте изменения страницы (элемент changefreq);
- значимости страницы (элемент priority) — робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.
TXT-формат Sitemap
В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂
Используйте этот формат, чтобы сообщить только об адресах страниц. Интересная статья: Создание и настройка Турбо-страниц в Яндекс ВебмастерЧтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.
В каких случаях нужен файл Sitemap
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:
Sitemap в Яндекс.Вебмастер — это удобный и полезный инструмент, позволяющий передать Яндексу, какие страницы необходимо проиндексировать.
Использование карты сайта в Yandex Webmaster
После подключения к Яндекс.Вебмастеру становится доступен раздел «Индексирование»-«Файлы Sitemap».
Для загрузки файла потребуется ввести адрес URL после чего кликнуть на «Добавить».
Далее в системе можно будет увидеть:
- Источник;
- Статус загрузки;
- Дату последней загрузки;
- Количество ссылок в файле.
- Ок. Файл загружен успешно; . Документ перенаправляет на другую страницу. Для решения проблемы потребуется ввести другой адрес;
- Ошибка. Неправильный формат. В этом случае понадобиться больше узнать об ошибке и устранить ее;
- Не проиндексирован. Чаще всего возникает при проблемах с сервером, например, при коде ответа 500 или любых других;
- Доступ запрещен в файле robots.txt. Потребуется открыть URL для индексации в файле robots.txt.
Для ручного обновления файла потребуются нажать на кнопку «Обновить».
Важно! Данная возможность доступна не более чем 10 раз в месяц.
Полная переиндексация ссылок в указанном файле также доступна через соответствующую кнопку.
Поддерживаемые форматы файла sitemap
XML (рекомендуемый)
Состоит из следующих тегов:
- <loc>. URL-страницы;
- <lastmod>. Дата последнего обновления;
- <changefreq>. Частота изменения;
- <priority>. Значимость страницы, измеряется от 0.0 до 1.0.
TXT
Представляет собой текстовый документ с перечислением с каждой строки нового адреса. Пример:
Как создать карту сайта для Яндекс.Вебмастера в WordPress
Если у сайта установлен плагин Yoast Seo то достаточно перейти в него и во вкладке «Возможности» включить соответствующую функцию.
Читайте также: