Войти


Индексация сайта

В данной категории представлен свод материалов о том, как можно повлиять на индексирование сайта в поисковых системах и ускорить данный процесс.

Индексирование сайта

Что такое индексирование сайта?

Индексация (индексирование) сайта — процесс добавления информации о страницах сайта в индексную базу данных поисковых систем. Решение об индексировании той или иной страницы принимается при её обходе (сканировании) поисковым роботом. Также следует понимать, что индексация веб-страницы предшествует её попаданию в поисковую выдачу, но не гарантирует этого.

Зачем настраивать индексацию сайта?

Настраивать и контролировать процесс индексирования следует для того, чтобы:

  • исключить индексацию ненужных страниц,
  • ускорить индексацию новых страниц,
  • ускорить переиндексацию обновлённых страниц.

Что затрудняет индексацию сайта?

  • Наличие дубликатов страниц,
  • некорректная обработка несуществующих страниц сервером («ложная ошибка 404»),
  • некорректные HTTP-статусы страниц,
  • ошибки в файле robots.txt,
  • ошибки в файлах Sitemap.

Как ускорить индексирование веб-страниц?

Ускорению индексации способствуют:

  • установленные счетчики веб-аналитики Яндекс.Метрика и Google Аналитика,
  • полноценный динамический файл Sitemap в формате XML,
  • применение соответствующих возможностей в сервисах Яндекс.Вебмастер и Search Console.

Как запретить индексирование веб-страниц?

Запретить индексацию можно посредством:

  • запрещающих директив в файле robots.txt,
  • мета-тега robots со значением noindex,
  • склейки дубликатов страниц посредством редиректов,
  • тега <link> с атрибутом rel="canonical" и ссылкой на канонический URL в атрибуте href.