Краулинговый бюджет

Под термином «краулинговый бюджет» понимается количество страниц, которые поисковая система индексирует за определенную единицу времени. Скорость индексации и частота посещений поискового робота зависит от ряда факторов. Проблема оптимизации краулингового бюджета важна для крупных ресурсов с тысячами веб-страниц, в то время как для большинства сайтов этот вопрос не является актуальным. Необходимо управлять процессом индексации, чтобы ее ускорить.

Способы повышения краулингового бюджета

Краулинговый бюджет сочетает в себе скорость сканирования и краулинговый спрос, т.е. количество страниц, которые хочет просканировать поисковик Google. Этот параметр основывается на популярности страниц ресурса и актуальности контента в индексе поисковика.

В поисковой системе Google краулинговый бюджет представляет собой количество URL, которое поисковый робот хочет и имеет возможность просканировать.

Для поисковика Google краулинговый бюджет пропорционален PageRank сайта. Чем он выше, тем скорее пройдет индексирование и тем большее количество страниц попадет в индекс. Для повышения краулингового бюджета необходимо повысить PageRank, что делается при помощи ссылок с качественных источников и других способов оптимизации.

Веб-страницы индексируются не сразу. Когда поисковый робот попадает на новый сайт, он индексирует несколько страниц, после чего анализирует их качество. Если оно признается высоким, индексация пойдет скорее. Поэтому рекомендуется загружать по несколько веб-страниц через определенные периоды времени. Обозначим дополнительные факторы повышения краулингового бюджета:

• Количество оригинальных страниц. Копированный контент или дублированный материал приведут к тому, что робот станет реже заходить на сайт.
• Регулярное обновление контента. Учитывается добавление новых текстов, обновление рубрикаторов.
• Не менее важный фактор — посещаемость ресурса. Чем она выше, тем скорее индексируется новый материал.

Причины понижения краулингового бюджета

Негативное влияние на краулинговый бюджет оказывают битые ссылки и цепочки редиректов. Они свидетельствуют о плохой структуре и усложняют работу поисковика. Индексацию замедляет статический контент: если информация не обновляется, скорость попадания в индекс снижается.

Также негативно влияет на скорость индексации и сканирования большое количество некачественных страниц, которые распределяются на следующие группы:

• фасетная навигация;
• идентификаторы сессий;
• дубликаты;
• страницы, которые подверглись взлому;
• некачественный контент, спам.

Если сервер будет расходовать свои ресурсы на такие страницы, то в итоге это приведет к падению интенсивности сканирования страниц с качественным и полезным контентом.

Следует отметить, что увеличение скорости сканирования не всегда обеспечивает рост позиций сайта в поисковой выдаче. Система Google использует при ранжировании самые разные сигналы и в данном случае сканирование не является одним из них.

Если вебмастеру предстоит запуск крупного проекта, лучше позаботиться о выделенном сервере (несколько сайтов, расположенных на одном сервере, индексируются медленнее).

Краулинговый бюджет расходуется на все URL, включая альтернативные, и на встроенный контент.

Знание этих особенностей позволит скорее добиться высокой посещаемости ресурса. Не сомневайтесь, опытные специалисты «Паньшин Групп» обеспечат эффективное продвижение, обращайтесь!