Индексация сайта в поисковых системах
Для того чтобы страницы сайта попали в доступную для выдачи базу данных поисковой системы, должна пройти индексация сайта. Это происходит в тот момент, когда сайт сканируется поисковым роботом.
В этой статье мы проанализируем, что нужно сделать для индексации сайта и как ускорить этот процесс.
Для ясного представления разберем, что включает в себя индексация сайта и как страницы сайтов обрабатываются поисковыми системами:
- Боты ПС обходят страницы сайта
- Они вносят в базу данных подробную информацию о сайте и всех его страницах, доступных для поиска
- Боты индексируют изображения, видео, ссылки и прочие элементы сайта
Для индексации сайта нам потребуется:
- Проверить файл robots.txt на разрешение индексации
Индексация сайта в поисковых системах может быть запрещена в robots.txt при установке сайта и если об этом забыть, то сайт окажется недоступным для поиска.
Пример файла robots.txt, полностью запрещающего индексацию:
User-agent: *
Disallow: /
В этом примере инструкция Disallow: / запрещает индексацию всего сайта, начиная от корневой папки. Если у вас сайт на популярной системе управления контентом WordPress, то ваш robots.txt может выглядеть таким образом:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
*Так закрываются страницы или служебные разделы, индексация которых не требуется.
Также необходимо указать директивы Host и Sitemap
- Создать html и xml карту сайта и добавить ее в панели вебмастера Яндекс и Google
Html карта сайта – создается для посетителей, это некий каталог в рамках ресурса, где находится список всех разделов и страниц в виде ссылок. Помогает посетителям удобнее осуществлять навигацию по сайту, а поисковым ботам быстрее индексировать документы.
Xml карта – для поисковых роботов, именно она дает ботам информацию о том, где появилась новая страница или где обновлена информация. Также, можно указать, какой из документов более важен, дату его появления и периодичность обращения, которая необходима.
*Обе карты сайта создаются разными способами в зависимости от системы управления контентом (cms) вашего ресурса.
- Добавить сайт в основные поисковые системы
Пожалуй, это самый простой способ сообщить поисковым системам о своем сайте. Об этом можно прочитать статью про то, как добавить сайт в ПС. В ней детально рассмотрено и описано шаг за шагом, как добавить сайт в основные поисковые системы через специальные формы (Google Webmaster Tools, Яндекс Вебмастер — подробная статья).
- Получить ссылки с других сайтов
Нужно получить индексируемые ссылки на свой сайт с других ресурсов. Можно приобрести ссылки на биржах или поставить ссылки с других сайтов, если они у вас есть. Такие ссылки будут полезны, если они имеются на часто обновляемых и авторитетных сайтах.
Очень хорошо индексируются авторитетные блоги и новостные сайты. Биржи ссылок позволяют купить постоянные или арендовать временные ссылки с наиболее подходящих нам веб-сайтов. Тем более, что выбор на этих биржах очень велик: от самых лучших сайтов и до плохих, но дешевых.
- Получить ссылки из социальных сетей
Все индексируемые прямые ссылки, поставленные из популярных социальных сетей, могут помочь индексации сайта. Это всем известные: Twitter, Google+, Facebook, YouTube и многие другие.
Такие ссылки из социальных сетей работают и дают отличный результат для индексации. Но они должны быть обязательно прямыми (то есть не через редирект, как реализовано Вконтакте).
- Добавить сайт в социальные закладки
В интернете все очень быстро меняется и, если еще недавно (пару лет назад) почти все ссылки, добавленные в различные сервисы социальных закладок, работали на отлично, то на данный момент не все эти сервисы дают ожидаемый результат.
Примеры социальных закладок, с помощью которых все еще можно привлечь поисковых ботов для индексации: bobrdobr.ru, memori.qip.ru, mister-wong.ru, moemesto.ru и прочие.
Для максимально быстрой индексации рерса, рекомендуется использовать весь комплекс рассмотренных методов и тогда можно добиться лучших результатов.
Если сайт не индексируется, то проверить по чеклисту:
- Проверить, открыт ли он для индексации?
- Добавлен ли в основные ПС?
- Поставлены ли ссылки с других сайтов, индексируются ли они?
- Проверить наличие прямых ссылок из социальных сетей
- Добавлен ли в индексируемые социальные закладки?
Статья в тему: Как быстро проиндексировать страницы веб-сайта?
Загрузка...