Что такое индексация и как ей управлять?

Занесение информации о сайте в базу данных поисковика — это индексация или индексирование сайта. Без нее сайт не будет появляться в результатах выдачи. В базу данных боты заносят не все страницы сайта, а только те, которые открыты для индексации и отвечают критериям качества веб-ресурса. Управлять этим процессом можно и нужно, если веб-мастер заинтересован в выдаче сайта по тому или иному запросу.