Мета-тег Robots

Мета-тег Robots должен содержать инструкции для поисковых роботов по отношению к веб-странице, на которой он указан.

Мета-тег Robots

Видео по теме

Для чего нужен мета-тег Robots?

Указание данного мета-тега, в зависимости от используемых в нем значений, может обеспечить запрет или разрешение поисковым роботам на индексирование веб-страницы, на переход по ссылкам, размещенным на данной странице, для последующей индексации, или на комбинацию данных инструкций.

С помощью файла robots.txt можно запретить сканирование определённых страниц и каталогов сайта, однако это не гарантирует того, что данные страницы не будут проиндексированы, т. к. роботы могут попасть на неё по внешним ссылкам. С помощью мета-тега Robots можно точно указать роботу, что данную страницу не следует индексировать.

Корректные инструкции мета-тега Robots гарантированно исполняются роботами поисковых систем по отношению к веб-странице.

Как прописать мета-тег Robots?

Как и другие мета-теги в HTML, Meta Robots указывается в блоке head веб-страницы и должен содержать два обязательных атрибута name и content:

<head>
<meta name="robots" content="all" />
<head>

Атрибут Name мета-тега Robots

Важно знать, что атрибут name не обязательно должен содержать значение robots: в нём можно указывать название конкретного робота, для которого указана инструкция в атрибуте. Если указывается значение robots, то инструкция в атрибуте content предназначается для всех поисковых роботов. Таким образом, можно комбинировать инструкции для определённых роботов с помощью нескольких мета-тегов на одной веб-странице:

<head>

<!-- Запрет индексирования страницы для всех роботов: -->
<meta name="robots" content="noindex" />

<!-- Разрешение индексирования страницы роботу Яндекса: -->
<meta name="yandex" content="index" />

</head>

Отметим, что в 99.9% случаев мета-тег Robots содержит общие для всех роботов инструкции и прибегать к использованию нескольких мета-тегов нет необходимости.

Директивы мета-тега Robots

В качестве значения атрибута content указывается одна или несколько директив (инструкций), перечисленных через запятую. Существуют общие директивы, понятные всем поисковым роботам, а также директивы, понятные только роботам определённых поисковых систем.

Общие директивы

В таблице представлены директивы мета-тега Robots, понятные роботам Яндекса и Google.

Универсальные директивы мета-тега Robots
Директива Значение
all Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов.
noindex Запрещает индексирование (отображение в поисковой выдаче) веб-страницы.
nofollow Запрещает переход по ссылкам на веб-странице.
none Запрещает индексирование и переход по ссылкам на веб-странице.
noarchive Запрещает выводить ссылку на сохраненную копию веб-страницы в сниппете поисковой выдачи.

Директивы для Google

В таблице ниже представлены директивы, понятные только роботам Google.

Директивы мета-тега Robots для Google
Директива Значение
nosnippet Запрещает отображать фрагмент содержания страницы в поисковой выдаче, размещенный под заголовком сниппета.
notranslate Запрещает отображать предложение перевести страницу в сниппете.
noimageindex Запрещает индексировать изображения на странице.
unavailable_after:[date] Запрещает отображать страницу в поисковой выдаче после указанного в формате RFC 850 времени.
nositelinkssearchbox Запрещает отображение поля поиска по сайту в поисковой выдаче.

Директивы для Яндекса

Кроме общих для всех роботов директив, робот Яндекса способен учитывать отдельную директиву noyaca, запрещающую использовать описание из Яндекс.Каталога при формировании сниппета поисковой выдачи:

<meta name="yandex" content="noyaca" />

Комбинирование директив

В качестве значения атрибута content в мета-теге Robots можно применять комбинации директив, перечисляя их через запятую. Рассмотрим на примерах.

Значение «index, follow» или «all»

Для разрешения индексирования и перехода по ссылкам можно не указывать мета-тег Robots совсем, или использовать следующие значения:

<!--отсутствие мета-тега-->
<!--или-->
<meta name="robots" content="index, follow" />
<!--или-->
<meta name="robots" content="all" />

Значение «noindex, nofollow» или «none»

Для запрета индексирования страницы и перехода по ссылкам на ней можно применять следующие значения:

<meta name="robots" content="noindex, nofollow" />
<!--или-->
<meta name="robots" content="none" />

Значение «noindex, follow»

Если страницу не следует отображать в поисковой выдаче, но можно её сканировать на предмет ссылок, то применяется комбинация директив noindex, follow:

<meta name="robots" content="noindex, follow" />

Значение «index, nofollow»

Если страницу следует отображать в поисковой выдаче, но не следует переходить по ссылкам на ней, то применяется комбинация index, nofollow:

<meta name="robots" content="index, nofollow" />

Рекомендации по применению

Необходимо очень внимательно использовать мета-тег Robots, т. к. он может стать причиной непопадания страниц сайта в поисковую выдачу. Чтобы исключить возможные недоразумения, следуйте указанным рекомендациям:

  • применяйте запрещающие директивы мета-тега Robots, совмещая их с директивами файла robots.txt и не допускайте конфликтов между ними;
  • учтите, что директивы файла robots.txt выполняются в первую очередь: если в robots.txt установлен запрет на сканирование страницы, а на странице указан мета-тег Robots со значением all или другим равнозначным значением, то робот, следуя инструкции в файле robots.txt, не перейдёт на страницу и не проиндексирует её;
  • исключайте индексирование ненужных в поисковой выдаче страниц сайта (виртуальная корзина, результаты поиска по сайту, дубли страниц и т. д.).

Ссылки

Автор:
Оцените материал:
5.0/5

Добавить комментарий