Мета-тег Robots должен содержать инструкции для поисковых роботов по отношению к веб-странице, на которой он указан.
Содержание
Видео по теме
Для чего нужен мета-тег Robots?
Указание данного мета-тега, в зависимости от используемых в нем значений, может обеспечить запрет или разрешение поисковым роботам на индексирование веб-страницы, на переход по ссылкам, размещенным на данной странице, для последующей индексации, или на комбинацию данных инструкций.
С помощью файла robots.txt можно запретить сканирование определённых страниц и каталогов сайта, однако это не гарантирует того, что данные страницы не будут проиндексированы, т. к. роботы могут попасть на неё по внешним ссылкам. С помощью мета-тега Robots можно точно указать роботу, что данную страницу не следует индексировать.
Корректные инструкции мета-тега Robots гарантированно исполняются роботами поисковых систем по отношению к веб-странице.
Как прописать мета-тег Robots?
Как и другие мета-теги в HTML, Meta Robots указывается в блоке head веб-страницы и должен содержать два обязательных атрибута name и content:
<head> <meta name="robots" content="all" /> <head>
Атрибут Name мета-тега Robots
Важно знать, что атрибут name не обязательно должен содержать значение robots: в нём можно указывать название конкретного робота, для которого указана инструкция в атрибуте. Если указывается значение robots, то инструкция в атрибуте content предназначается для всех поисковых роботов. Таким образом, можно комбинировать инструкции для определённых роботов с помощью нескольких мета-тегов на одной веб-странице:
<head> <!-- Запрет индексирования страницы для всех роботов: --> <meta name="robots" content="noindex" /> <!-- Разрешение индексирования страницы роботу Яндекса: --> <meta name="yandex" content="index" /> </head>
Отметим, что в 99.9% случаев мета-тег Robots содержит общие для всех роботов инструкции и прибегать к использованию нескольких мета-тегов нет необходимости.
Директивы мета-тега Robots
В качестве значения атрибута content указывается одна или несколько директив (инструкций), перечисленных через запятую. Существуют общие директивы, понятные всем поисковым роботам, а также директивы, понятные только роботам определённых поисковых систем.
Общие директивы
В таблице представлены директивы мета-тега Robots, понятные роботам Яндекса и Google.
| Директива | Значение |
|---|---|
| all | Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов. |
| noindex | Запрещает индексирование (отображение в поисковой выдаче) веб-страницы. |
| nofollow | Запрещает переход по ссылкам на веб-странице. |
| none | Запрещает индексирование и переход по ссылкам на веб-странице. |
| noarchive | Запрещает выводить ссылку на сохраненную копию веб-страницы в сниппете поисковой выдачи. |
Директивы для Google
В таблице ниже представлены директивы, понятные только роботам Google.
| Директива | Значение |
|---|---|
| nosnippet | Запрещает отображать фрагмент содержания страницы в поисковой выдаче, размещенный под заголовком сниппета. |
| notranslate | Запрещает отображать предложение перевести страницу в сниппете. |
| noimageindex | Запрещает индексировать изображения на странице. |
| unavailable_after:[date] | Запрещает отображать страницу в поисковой выдаче после указанного в формате RFC 850 времени. |
| nositelinkssearchbox | Запрещает отображение поля поиска по сайту в поисковой выдаче. |
Директивы для Яндекса
Кроме общих для всех роботов директив, робот Яндекса способен учитывать отдельную директиву noyaca, запрещающую использовать описание из Яндекс.Каталога при формировании сниппета поисковой выдачи:
<meta name="yandex" content="noyaca" />
Комбинирование директив
В качестве значения атрибута content в мета-теге Robots можно применять комбинации директив, перечисляя их через запятую. Рассмотрим на примерах.
Значение «index, follow» или «all»
Для разрешения индексирования и перехода по ссылкам можно не указывать мета-тег Robots совсем, или использовать следующие значения:
<!--отсутствие мета-тега--> <!--или--> <meta name="robots" content="index, follow" /> <!--или--> <meta name="robots" content="all" />
Значение «noindex, nofollow» или «none»
Для запрета индексирования страницы и перехода по ссылкам на ней можно применять следующие значения:
<meta name="robots" content="noindex, nofollow" /> <!--или--> <meta name="robots" content="none" />
Значение «noindex, follow»
Если страницу не следует отображать в поисковой выдаче, но можно её сканировать на предмет ссылок, то применяется комбинация директив noindex, follow:
<meta name="robots" content="noindex, follow" />
Значение «index, nofollow»
Если страницу следует отображать в поисковой выдаче, но не следует переходить по ссылкам на ней, то применяется комбинация index, nofollow:
<meta name="robots" content="index, nofollow" />
Рекомендации по применению
Необходимо очень внимательно использовать мета-тег Robots, т. к. он может стать причиной непопадания страниц сайта в поисковую выдачу. Чтобы исключить возможные недоразумения, следуйте указанным рекомендациям:
- применяйте запрещающие директивы мета-тега Robots, совмещая их с директивами файла robots.txt и не допускайте конфликтов между ними;
- учтите, что директивы файла robots.txt выполняются в первую очередь: если в robots.txt установлен запрет на сканирование страницы, а на странице указан мета-тег Robots со значением
allили другим равнозначным значением, то робот, следуя инструкции в файле robots.txt, не перейдёт на страницу и не проиндексирует её; - исключайте индексирование ненужных в поисковой выдаче страниц сайта (виртуальная корзина, результаты поиска по сайту, дубли страниц и т. д.).