Как Гугл индексирует Ваши сайты?

 Мне тяжело сказать Вам, сколько раз я отвечал на этот вопросец на форумах, так что я поразмыслил, что это совсем неплохой материал для маленький статьи. 
 Поначалу давайте разберемся, о чем мы будет говорить. "Бот" - это часть программного обеспечения поискового сервера, который сотворен для того, чтоб пройти каждую страничку Вашего сайта, проиндексировать её, и разместить это в базе данных. 

У Гугл есть три известные бота: Adsensebot, Freshbot и DeepCrawl. 

Adsensebot, как Вы могли предположить, употребляется для людей, которые имеют объявления от Adsense на собственных сайтах. Как только возникает новая страничка, JavaScript в пределах кода Adsense отправляет сообщение Adsensebot, и он прибудет в течение 15 минут, чтоб проиндексировать страничку так, чтоб она могла выдавать самые актуальные и тематические объявления. 
 Но, в данной статье мы будет говорить лишь о DeepCrawl и Freshbot. 

 Freshbot прогуливается по самым популярным страничкам на Вашем сайте. Не имеет значения, будь то одна страничка либо тыщи. Сайты подобно Amazon.com и CNN.com имеют странички, которые обходятся ботом каждые 10 минут, опосля того, как Гугл вызнал, что эти странички имеют определенное количество нередких конфигураций. Обычный сайт должен ждать посещение Freshbot каждые 1 - 14 дней, в зависимости от того, как популярны странички. 
 Что случается с Вашим сайтом при посещении Freshbot? Все, даже совсем глубочайшие, ссылки располагаются в базу данных так, чтоб, DeepCrawl сумел проиндексировать весь сайт. 

 Один раз за месяц, DeepCrawl посещает Ваш сайт и пробегается через все ссылки, отысканные Freshbot. Это причина, по которой может требоваться до месяца для полной индексации сайта. 
 Так будьте терпеливы, постоянно обновляйте содержание Вашего сайта и работайте над получением ценных наружных ссылок - Гугл наградит Вас за это.