Индексом поисковой машины называется база данных у поисковых систем, которая содержит всю информацию о каждом документе интернета, которая была проиндексирована. Если поисковой робот заходил на сайт, то это означает, что он его проиндексировал. Однако проиндексированный документ не обязательно должен попасть в выдачу, поскольку по каким-то причинам он может оказаться под фильтром поисковой машины, например из-за копипаста или плохого рерайта.
Процесс индексации интернета происходит регулярно, а момент видимого обновления называется апдейтом. В Яндексе апдейты индексации в среднем проводятся раз в неделю. Кстати, в кэше страницы можно посмотреть дату индексации страницы, что будет соответствовать дате индексации.
Чтобы поисковой робот зашел на новую страницу, нужно добавить её в аддурилку или же поставить на неё ссылку (внутреннюю или внешнюю). Например, часто ссылки ставят с твиттера или с внешнего сайта. Вообще вопрос скорости индексации отдельная тема, про которую можно почитать тут
Индексация сайта
Процесс обхода робота страниц сайта называется индексацией сайта. Робот переходит по ссылкам на сайте с одной страницы на другие. На каждый сайт в зависимости от его траста и размеров отводится какой-то ресурс робота (например, обновить 100 страниц). Насколько будет успешно переиндексироваться сайт зависит от нескольких факторов:
- Перелинковки сайта. Равномерное распределение ссылок по сайту будет позволять роботу быстро добираться до каждой страницы
- Невысокий уровень вложенности страниц
- Отсутствие сквозняков. Поисковой робот переходит по каждой ссылке на странице. Чтобы не было постоянного дублирования, стоит не ставить сквозные ссылки
- Наличия карты сайта всегда положительно сказывается на индексации. Желательно, чтобы формат был в sitemap.xml (см. как создать карту сайта)
- Отсутствие дублей на сайте. Они нагружают робота и в итоге можно считать, что он индексирует одно и то же, а уникальные страницы могут попадать в индекс со значительным запозданием.
- Частое обновление контента на страницах сайта
Читайте также:
• Кэш поисковика
• Как удалить страницу из индекса
• Как ускорить индексацию сайта
• Причины выпадения страниц из индекса
• Как массово добавить страницы в индекс Яндекса