Когда следует применять мета-тег Robots?

Мета-тег Robots – важный тег, который помогает сайту взаимодействовать с поисковыми роботами. С его помощью можно запретить или разрешить индексацию страниц сайта, запретить сканирование отдельных страниц и каталогов сайта, запретить переход по ссылкам на веб-странице. Для того, чтобы поисковые боты корректно выполняли инструкции мета-тега – его важно заполнить правильно.