Индексация сайта в поисковых системах

Для того чтобы страницы сайта попали в доступную для выдачи базу данных поисковой системы, должна пройти индексация сайта. Это происходит в тот момент, когда сайт сканируется поисковым роботом.

В этой статье мы проанализируем, что нужно сделать для индексации сайта и как ускорить этот процесс.

индексация сайта поисковыми системами

Для ясного представления разберем, что включает в себя индексация сайта и как страницы сайтов обрабатываются поисковыми системами:

  • Боты поисковых систем обходят страницы сайта
  • Они вносят в базу данных подробную информацию о сайте и всех его страницах, доступных для поиска
  • Боты индексируют изображения, видео, ссылки и прочие элементы сайта

 

Для индексации сайта нам потребуется:

 

  1. Проверить файл robots.txt на разрешение индексации

 

Индексация сайта может быть запрещена в robots.txt при установке сайта и если об этом забыть, то сайт окажется недоступным для поиска.

Пример файла robots.txt, полностью запрещающего индексацию:

User-agent: *

Disallow: /

В этом примере инструкция Disallow: /  запрещает индексацию всего сайта, начиная от корневой папки. Если у вас сайт на популярной системе управления контентом WordPress, то ваш robots.txt может выглядеть таким образом:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

*Так закрываются страницы или служебные разделы, индексация которых не требуется.

Также необходимо указать директивы Host и Sitemap

  1. Создать html и xml карту сайта и добавить ее в панели вебмастера Яндекс и Google

 

Html карта сайта – создается для посетителей, это некий каталог в рамках ресурса, где находится список всех разделов и страниц в виде ссылок. Помогает посетителям удобнее осуществлять навигацию по сайту, а поисковым ботам быстрее индексировать документы.

Xml карта – для поисковых роботов, именно она дает ботам информацию о том, где появилась новая страница или где обновлена информация. Также, можно указать, какой из документов более важен, дату его появления и периодичность обращения, которая необходима.

*Обе карты сайта создаются разными способами в зависимости от системы управления контентом (cms) вашего ресурса.

 

  1. Добавить сайт в основные поисковые системы

 

Пожалуй, это самый простой способ сообщить поисковым системам о своем сайте. Об этом можно прочитать статью про то, как добавить сайт в поисковые системы. В ней детально рассмотрено и описано шаг за шагом, как добавить сайт в основные поисковые системы через специальные формы (Google Webmaster Tools, Яндекс Вебмастер — подробная статья).

  1. Получить ссылки с других сайтов

 

Нужно получить индексируемые ссылки на свой сайт с других ресурсов. Можно приобрести ссылки на биржах или поставить ссылки с других сайтов, если они у вас есть. Такие ссылки будут полезны, если они имеются на часто обновляемых и авторитетных сайтах.

Очень хорошо индексируются авторитетные блоги и новостные сайты. Биржи ссылок позволяют купить постоянные или арендовать временные ссылки с наиболее подходящих нам сайтов. Тем более, что выбор сайтов на этих биржах очень велик: от самых лучших сайтов и до плохих, но дешевых.

 

  1. Получить ссылки из социальных сетей

 

Все индексируемые прямые ссылки, поставленные из популярных социальных сетей, могут помочь индексации сайта. Это всем известные: Twitter, Google+, Facebook, YouTube и многие другие.

Такие ссылки из социальных сетей работают и дают отличный результат для индексации сайта. Но они должны быть обязательно прямыми (то есть не через редирект, как реализовано Вконтакте).

ссылки из социальных сетей ускоряют индексацию сайта

  1. Добавить сайт в социальные закладки

В интернете все очень быстро меняется и, если еще недавно (пару лет назад) почти все ссылки, добавленные в различные сервисы социальных закладок, работали на отлично, то на данный момент не все эти сервисы дают ожидаемый результат.

Примеры социальных закладок, с помощью которых все еще можно привлечь поисковых ботов для индексации: bobrdobr.ru, memori.qip.ru, mister-wong.ru, moemesto.ru и  прочие.

Для максимально быстрой индексации сайта, рекомендуется использовать весь комплекс рассмотренных методов и тогда можно добиться лучших результатов.

 

Если сайт не индексируется, то проверить по чеклисту:

  • Проверить, открыт ли сайт для индексации?
  • Добавлен ли сайт в основные поисковые системы?
  • Поставлены ли ссылки с других сайтов, индексируются ли они?
  • Проверить наличие прямых ссылок из социальных сетей
  • Добавлен ли сайт в индексируемые социальные закладки?

Статья в тему: Как быстро проиндексировать страницы сайта?

Оцените статью: 1 балл2 балла3 балла4 балла5 баллов
(1 оценок, средняя: 5,00 из 5)
Loading...Loading...

Оставьте свой комментарий к статье