Что такое индексация
Когда вы только создали сайт, о нём не знает никто, кроме вас. Такой веб-ресурс не слишком полезен. Для того, чтобы о нём узнали другие люди, его нужно раскрутить. Один из способов раскрутки - поисковые системы. Для того, чтобы поисковая система узнала о вашем сайте, нужно специальным образом добавить ваш веб-ресурс. Поисковики о нём могут узнать и сами, но этот процесс займет значительно больше времени.
Само понятие индексации - это внесение страниц сайта в базу поисковой системы.
Как происходит индексация
Каждая система поиска обладает роботом. Но это не физический робот, а всего лишь программа, которая сканирует интернет и обнаруживает ссылки на новые сайты. Веб-разработчик с помощью специальных тегов, а также с помощью файла robots.txt может ограничить доступ роботам. В этом случае страницы, попавшие в ограничение, не будут проиндексированы.
Добавляя сайт в базу поисковой системы, вы лишь даёте знать о том, что появился новый сайт. Но это совершенно не означает того, что он сразу же будет проиндексирован.