Как сделать индексацию сайта в google
Каждый владелец сайта хочет, чтобы только что опубликованный контент побыстрее проиндексировался и оказался в ТОПе выдачи. Обычно процесс занимает время: сначала нужно ждать, пока он проиндексируется, потом, пока дойдет до хороших позиций в выдаче. Опускаются руки: хорошего ранжирования материала приходится ждать недели, а то и месяцы. Как ускорить индексирование и ранжирование, если терять время не хочется?
На этот вопрос основатель агентства Zyppy Цирус Шепард ответил в еженедельной рубрике Moz Whiteboard Friday, а редакция SEOnews перевела транскрипцию видео с его выступлением.
Индексирование
Используйте инструмент для проверки URL (бывший Fetch & Render)
Google сам предоставляет вебмастерам инструменты для ускорения индексации. Самый простой и быстрый из них – инструмент проверки URL в новом интерфейсе Search Console. Это – новый аналог Fetch&Render, оставшегося только в старой версии Search Console. С помощью URL Inspection Tool можно дать ссылкам приоритет в очереди Google на сканирование: Googlebot найдет и обработает их быстрее.
Файлы Sitemap
Если вы еще не используете файлы Sitemap, начните. Это – один из самых простых и быстрых способов проиндексировать страницу в Google. Добавляя ссылки в файл, вы, наверное, хотите, чтобы Google узнал, что они действительно там. Есть несколько техник, которые помогут оптимизировать этот процесс.
Первый и самый популярный способ – указать в robots.txt путь к файлам Sitemap. Просто пропишите в конце списка директив команду [Sitemap:] и укажите путь к файлу.
Google Indexing API
Относительно недавно Google представил Indexing API, который позволяет напрямую уведомить Google о добавлении, изменении и удалении страниц. С его помощью можно за раз обрабатывать тысячи URL.
Google позиционирует Indexing API как инструмент исключительно для работы со страницами с разметкой для вакансий и онлайн-трансляций. Однако SEO-эксперт Девид Соттимано поэкспериментировал с инструментом и выяснил, что на самом он работает для разных типов контента.
Другие советы по ускорению индексирования:
Константин Орешников, Product Owner сервиса Rookee:
- Настраивайте правила автоматического добавления новых страниц в XML-карту и их обновление.
- Добавляйте новые страницы на принудительную индексацию в Яндекс.Вебмастер и Google Search Console. Метод актуален для небольших сайтов. Если на сайт ежедневно выкладываются десятки–сотни страниц, вручную их добавить не получится.
Артур Латыпов, руководитель SEO Интеллект:
Индексирование и ранжирование
Инструменты, которые не только ускоряют индексирование, но и помогают контенту быстрее попасть в ТОП.
Ссылки с важных страниц
Опубликовав новый контент, убедитесь, что на него есть ссылки с важных страниц сайта – домашней, блога – любой страницы, которая хорошо ранжируется в поиске. Это основное, что нужно сделать: не бросать страницы без входящих ссылок.
Добавляя ссылки, вы сообщаете Google две вещи. Во-первых, что ссылку нужно добавить в очередь на сканирование. Во-вторых, что это – важная ссылка. Google поймет, что на новый контент ссылаются качественные страницы и будет лучше его ранжировать.
Старый контент
Пункт, о котором часто забывают – обновление старого контента. Стоит линковать не только новые страницы со старыми, но и старые с новыми.
Как понять, с каким старым материалом залинковать новый? Можно воспользоваться поиском по сайту или командой: site: [URL сайта + запрос], вбитой в поиске Google.
Соцмедиа
Очевидный пункт, который нельзя обойти стороной. Существует большая взаимосвязь между количеством репостов публикации в социальных сетях и ранжированием. Особенно полезно делиться статьями в агрегаторах контента, таких как Reddit: Google сканирует такие ссылки и анализирует активность на подобных сайтах. Такие внешние ссылки даже лучше перелинковок с собственным сайтом.
Константин Орешников, Product Owner сервиса Rookee:
Трафик страницы
До сих пор идут споры о том, является ли трафик сигналом для индексирования и ранжирования. Несмотря на это, техника работает раз за разом: сгенерируйте трафик на новую страницу, и она быстрее займет высокие позиции в поиске.
Артур Латыпов, руководитель SEO Интеллект:
Разнообразие источников трафика и внутренние метрики поведения по ним является фактором ранжирования. Количество трафика именно из поисковой системы так же является фактором ранжирования, где влияют как внешние поведенческие факторы, так и внутренние. Мы недавно как раз записали 2 видео по ПФ:
Первое – общее про ПФ, тут как раз можно узнать о трафике, как факторе ранжирования.
Второе – как влиять на внутренние и внешние ПФ.
Другие советы по ускорению индексации и ранжирования контента:
Константин Орешников, Product Owner сервиса Rookee:
- Подключайте Турбо-страницы и AMP-версии, так вы получите значительный рост мобильного трафика.
- Создавайте сразу качественные страницы, с контентом и корректной оптимизацией метатегов. Если сначала страница проиндексирована пустой, с непонятными метатегами, она может накопить негативную историю и это станет проблемой в дальнейшем.
Ранжирование
Предположим, что мы добились своего и контент проиндексирован. Как же теперь ускорить ранжирование?
Клики из поиска
Генерировать стоит не только трафик, но и переходы из поиска.
Стратегия позволяет увеличить CTR и лучше ранжироваться по предлагаемым запросам. Чем чаще запрос вводится в поиск, тем больше у него шансов попасть в автозаполнение.
Структура URL
В прошлом в Google говорили, что позиция URL в структуре сайта влияет на ранжирование.
Артур Латыпов, руководитель SEO Интеллект:
Заключение
Это – неполный список техник, которые позволят новым страницам быстрее индексироваться и ранжироваться. А какими способами, повышающими скорость индексации и ранжирования, пользуетесь вы?
Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.
Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.
Что значит индексация сайта и почему она важна
Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.
Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.
Как происходит индексация сайта
Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка.
Сканирование страниц
Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:
- Содержание, информацию о сервере и служебные данные.
- Перечень ссылок на страницах.
Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml.
Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией.
Обработка страниц
После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.
В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру.
Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.
Как проверить индексацию
Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров.
Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.
Поисковая строка
Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации.
Бесплатные плагины
Веб-сервисы Яндекс.Вебмастер и Google Search Console
Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев.
Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.
Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.
Управление индексацией сайта
Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации.
Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.
- Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
- User-Agent указывает поисковую систему для индексации по написанной инструкции.
- Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
- Clean-param закрывает индексирование с конкретными динамическими параметрами.
- Директива Allow разрешает роботам индексирование отдельных страниц.
Что делать, если сайт не индексируется
Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.
Технические причины
Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:
Контентные причины
Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:
- Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
- Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
- Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.
«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.
Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.
Иные причины
Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: " тарифы" в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.
Заключение
Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.
Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.
Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.
Для чего служит индексация сайта в Google? Можно ли обойтись без индексации сайта в Google? Каковы инструменты проверки индексации сайта в Google? Можно ли ускорить индексацию сайта в Google? Какие ошибки могут привести к отказу в индексации в Google?
Генератор Продаж
Из этой статьи вы узнаете:
- Для чего служит индексация сайта в Google
- Можно ли обойтись без индексации сайта в Google
- Каковы инструменты проверки индексации сайта в Google
- Можно ли ускорить индексацию сайта в Google
- Какие ошибки могут привести к отказу в индексации в Google
Почему так важна индексация сайта в Google
Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.
Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).
Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.
Как происходит индексация сайта в Google
После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.
Рассмотрим основные факторы, влияющие на индексацию сайта в Google:
- посещаемость;
- релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
- внутренняя оптимизация страниц сайта.
Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.
У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.
Рекомендуемые статьи по данной теме:
- Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
- Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
- Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
- На сайте нужно разместить работающие исходящие ссылки.
- Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.
Yandex указывает сайты, для которых необходима привязка по региону:
Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.
Как проиндексировать сайт в Google
Этапы регистрации сайта в Google:
Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.
Как проверить индексацию сайта в Google
- Применяйте поисковые операторы (специальные символы, добавляемые к запросам).
- Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).
С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.
- Устанавливайте специальные сервисы, проверяющие индексацию.
Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.
С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.
После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.
Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:
Как ускорить индексацию сайта в Google
Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:
1. Создание Sitemap.
2. Предоставьте Google Indexing Tool свою карту сайта.
3. Используйте Google Analytics.
4. Зарегистрируйте сайт в поисковых системах.
5. Сделайте внутреннюю перелинковку.
Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.
6. Своевременно публикуйте качественный и уникальный контент на сайте.
Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента.
В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:
- копирование статей с других ресурсов;
- публикация материалов с большим количеством орфографических и других ошибок;
- добавление текстов, перенасыщенных ключевыми словами.
На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.
7. Добавьте URL страницы вручную.
8. Создавайте и обновляйте свои социальные профили.
Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.
10. Добавьте кнопки социальных сетей на сайт.
Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.
11. Разместите ссылки на новую страницу на внешних ресурсах.
Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.
12. Создайте RSS-канал.
Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.
13. Отслеживайте ошибки индексации (о них будет рассказано ниже).
Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц.
Для отслеживания ошибок используется Google Search Console.
Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.
Почему не индексируется сайт в Google
Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:
Проблемы с индексаций сайта в Google могут возникнуть также под влиянием следующих факторов:
- дубли страниц;
- недостаточный процент уникальности контента;
- затрудненный доступ к страницам и длительное время их загрузки.
Часто проблема заключается не в самой индексации, а в методах оптимизации сайта. Чтобы ваш ресурс быстро индексировался в Google, нужно лучше конкурентов удовлетворять запросы пользователей. При таком подходе все, что описано в этом материале, понадобится только для фиксации качественного результата.
Как отключить индексацию сайта в Google
Нужно отметить, что посещение и сканирование станиц ресурса роботами не может быть гарантией их попадания в индекс. В некоторых случаях стоит закрывать определенные страницы от индексации (к примеру, URL с техническими GET-параметрами, служебные файлы и материалы посетителей).
Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.
К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.
Частые проблемы с индексацией сайта в ПС
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.
Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:
Индексация и санкции ПС в Анализе сайта
Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.
Как ускорить индексацию страниц
Представитель Google Джон Мюллер на вопрос об индексировании ответил так:
Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный :) Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.
Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива "disallow", "nofollow", можно использовать мета-тег "noindex" или "none". Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.
Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:
В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.
Создать Sitemap — Карту сайта
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на Wordpress с этой задачей справится All in One SEO Pack.
Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом . Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.
Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.
Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.
Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:
Упрощенный пример структуры сайта, подходит для меню
Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Публиковать ссылки в соцсетях и на других площадках
Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.
Превью поста с сайта на Фейсбуке
Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.
Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.
Фрагмент анализа сайта
Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.
FAQ: что еще влияет на скорость индексации сайта
Как страницы вне индекса могут повлиять на отношение поисковика к сайту?
Качество контента на сайте поисковики оценивают только по проиндексированным страницам.
Тег noindex может влиять на индексацию страницы после его снятия?
По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.
Как редирект влияет на индексацию страниц?
Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.
Как ускорить индексацию страниц, которые были 404?
Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.
Как поисковики относятся к URL c хэшами?
Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.
Читайте также: