Войти


Индексация сайта

В данной категории представлен свод материалов о том, как можно повлиять на индексирование сайта в поисковых системах и ускорить данный процесс.

Индексирование сайта

Что такое индексирование сайта?

Индексация (индексирование) сайта — процесс добавления информации о страницах сайта в индексную базу данных поисковых систем. Решение об индексировании той или иной страницы принимается при её обходе (сканировании) поисковым роботом. Также следует понимать, что индексация веб-страницы предшествует её попаданию в поисковую выдачу, но не гарантирует этого.

Зачем настраивать индексацию сайта?

Настраивать и контролировать процесс индексирования следует для того, чтобы:

  • ускорить попадание в выдачу нужных страниц,
  • улучшить ранжирование обновлённых страниц,
  • исключить попадание в выдачу ненужных страниц,
  • снизить создаваемую роботами нагрузку на сервер,
  • экономить ресурсы поисковых систем.

Что затрудняет индексацию сайта?

  • Большое количество страниц на сайте.
  • Дубликаты страниц (пример: seoportal.net и www.seoportal.net).
  • Некорректная обработка несуществующих страниц.
  • Некорректные ответы сервера (HTTP-статусы).
  • Ошибки в файле robots.txt или его отсутствие.
  • Ошибки в файле Sitemap или его отсутствие.
  • Неправильное применение мета-тега Robots.

Как ускорить индексирование веб-страниц?

Быстрому и корректному индексированию способствуют:

  • установленные счетчики веб-аналитики Яндекс.Метрика и Google Аналитика,
  • полноценный динамический файл Sitemap в формате XML,
  • применение соответствующих возможностей в сервисах Яндекс.Вебмастер и Search Console,
  • грамотно настроенный файл robots.txt,
  • склейка дублей веб-страниц.

Как запретить индексирование веб-страниц?

Запретить индексацию можно посредством:

  • запрещающих директив в файле robots.txt,
  • мета-тега robots со значением noindex,
  • склейки дубликатов страниц посредством редиректов,
  • тега <link> с атрибутом rel="canonical" и ссылкой на канонический URL в атрибуте href.