Блог студии веб-дизайна «Make a Site» Дизайн, верстка, программирование, наполнение и раскрутка сайтов.

Увеличение частоты посещения сайта поисковым роботом

Скорость индексации сайта напрямую зависит от частоты посещения его поисковым роботом. Чем чаще робот посещает ваш сайт, тем соответственно быстрее будут индексироваться новые материалы.

Увеличение частоты посещения сайта поисковым роботом
Содержание статьи

Очень важным аспектом в продвижении сайта в поисковых системах является поддержание высокой частоты посещений продвигаемого ресурса поисковым роботом. В арсенале каждой поисковой системы есть множество роботов, по большей части предназначенных для индексации новых материалов. Каждый робот отвечает только за те материалы, для которых он предназначен — это могут быть статьи, изображения, видео и т. д. Например, у Яндекса список роботов довольно солиден и, как видно, почти для каждой ситуации есть собственный робот. Даже для фавиконок есть свой собственный бот — YandexFavicons/1.0.

Как видите, роботов достаточно много, но сайтов в интернете то еще больше и нужно как-то справляться с этой ситуацией. Именно поэтому каждый сайт посещается роботом с определенной частотой, которая по большей части зависит от того, насколько часто сайт обновляется. Ведь если тратить ресурсы на просмотр сайтов, на которых годами ничего не меняется, то не хватит времени и сил на обход действительно интересных сайтов, на которых каждый день добавляются свежие материалы, которые потенциально могут быть полезны посетителям. Ведь, как известно, хороший и регулярно обновляемый контент на сайте — залог успеха и успех этот придет со временем, когда поисковая система привыкнет к тому, что ей регулярно "скармливают" свежие и уникальные материалы.

Низкая частота посещения сайта поисковым роботом

В качестве простого примера рассмотрим такую ситуацию — сайт был разработан несколько лет назад и изначально на нем было создано несколько страниц, на которых были размещены страницы, описывающие деятельности компании, опыт существования на рынке, а также отзывы довольных клиентов, портфолио, контактная информация и др. Предположим, через какое-то время сайт был полностью проиндексирован Яндексом и все страницы были успешно добавлены в его поисковый индекс. Такой результат — уже хорошо, но с тех пор на сайте не происходило почти никаких изменений (разве что немного менялись цены на товары или услуги). А теперь спрашивается — зачем поисковому роботу повторно заходить на этот сайт? Все равно на нем ничего не меняется и нового ничего не добавляется. Гораздо лучше будет потратить время и ресурсы на другие сайты, которые, возможно, будут интересней и полезней. Правильно — робот будет заходить крайне редко. Таким образом поисковые системы оптимизируют труд своих детищ — индексирующих ботов. Крайне редко — понятие довольно растяжимое, но совершенно точно, если все запущено и контент принципиально не добавляется и не обновляется, время между посещениями сайта поисковым роботом может достигать нескольких месяцев и хочется отметить, что это совершенно справедливо!

Высокая частота посещения сайта поисковым роботом

В случае, прямо противоположном описанному выше, частота посещений роботом может быть настолько высока, что добавленные на сайт материалы можно увидеть в поиске уже спустя несколько часов (обычно подобный эффект можно наблюдать на популярных новостных сайтах и раскрученных форумах с высокой посещаемостью). Сайты, на которых стабильно и регулярно, на протяжении нескольких месяцев или даже лет добавляется по несколько уникальных статей в день, посещаются поисковыми ботами с такой высокой частотой, что можно даже сказать они там скорее живут и практически никогда оттуда не уходят. Такой эффект в первую очередь достигается благодаря успешному продвижению сайта статьями — одному из самых перспективных способов продвижения сайта в поисковых системах.

Увеличение частоты посещения сайта поисковым роботом

Если вы хотите добиться подобных результатов и увеличить частоту посещений сайта поисковым роботом, прежде всего необходимо начать с написания интересных статей, которые ориентированы на живых людей, а не на роботов, причем эти материалы должны быть уникальными, а не скопированными откуда-то (копировать и обезьяну можно научить, потратив на это несколько килограмм бананов, только это никому не надо), в противном случае неизбежна блокировка ресурса. Если вы не обновляли сайт несколько лет, а сейчас вдруг решили им заняться и начали писать уникальные статьи каждый день, вам нужно хорошенько запастись терпением и быть готовым к тому, что первые 2-3, а то и 4 месяца вы не увидите практически никаких изменений. Будет очень тяжело писать и при этом не видеть никаких подвижек. У вас будет ощущение того, что вы работаете бесплатно и никому ваш труд не нужен. Очень важно не сдаться именно в этот момент. Нужно подойти к процессу самоотверженно и не жалеть сил. А все это потому, что ваш ресурс зарекомендовал себя за долгие годы простоя как никому не интересный, заброшенный и неактуальный сайт, который нет смысла посещать ни поисковым роботам, ни живым посетителям. Для того, чтобы убедить поисковую систему в обратном, нужно вернуть доверие, приложив невероятное количество усилий — заниматься наполнением сайта каждый день и не обращать внимание на игнорирование со стороны поисковых систем первые несколько месяцев.

Продвинутая настройка заголовков

Также обязательно позаботьтесь о том, чтобы ответ сервера, на котором расположен ваш сайт был корректным — несуществующие страницы должны отдавать 404 ошибку в заголовке, перемещенные на новый адрес — 301, а страницы, которые не изменялись со времени последнего посещения сайта роботом должны отдавать 304 Not Modified в заголовке, в случае, если поисковый бот добавляет If-Modified-Since к своему запросу. Это очень важно, потому что на каждый сайт у робота есть определенный лимит времени за одно посещение. Соответственно те страницы, которые он не успеет посетить за отведенное на разовую сессию время, встанут в очередь и будут посещены в следующий раз. Для сайтов, которые раскручены и посещаются роботом по несколько раз в день это не критично, а вдруг следующий раз будет только через месяц? Поэтому очень важно, чтобы первыми в очереди стояли страницы с новыми материалами, которые еще не были проиндексированы, а старые страницы должны ставиться в конец очереди. Такой эффект как раз и достигается настройкой заголовка Last-Modified и установкой ответа сервера 304 Not Modified для старых страниц, о чем мы уже как-то подробно рассказывали в соответствующей статье, с которой настоятельно рекомендуем ознакомиться, если вы не совсем поняли о чем идет речь.

Долгожданный результат

Итак, спустя 2 или 3 месяца напряженной и безвозмездной работы вы начнете замечать, что ваш сайт постепенно стал посещаться роботом не с прежней частотой — раз в три месяца, а несколько раз в неделю, а то и ежедневно — увеличение частоты налицо. Если вы дойдете до показателя ежедневного посещения сайта ботом — это хороший знак, означающий, что информация представляет какой-то интерес и скоро ваши статьи одна за другой начнут появляться в результатах поиска. Кстати, чтобы проверить частоту посещения вашего сайта сканерами Яндекса, нужно первым делом добавить его в специальный сервис Яндекс.Вебмастер, подтвердить права на его управление, а затем в разделе "Общая информация" следить за пунктом "Дата последнего посещения сайта роботом".


Предыдущая статья:
CSS спрайты (sprites sheet) — способ ускорения загрузки сайта

Читайте также:
«Ссылка откроется в новом окне»


Блог студии веб-дизайна «Make a Site».
Дизайн, верстка, программирование, наполнение и раскрутка сайтов.

Текущий проект: «Stream Booster» — раскрутка Twitch и YouTube каналов

Студия веб-дизайна «Make a site»