Файл robots.txt для Joomla

Файл robots.txt в Joomla 3 по умолчанию содержит исключающие правила почти для всех системных каталогов CMS:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Можно заметить, что в коде нет исключающего правила для каталога /media. Учитывая, что содержание данного каталога практически не соответствует его названию (в основном он содержит системные файлы с серверным кодом для отдельных элементов Joomla), рекомендуем всё же добавлять для него исключение:

Disallow: /media/

Дубли страниц компонента контента Joomla 3 генерируются сами собой. Рассмотрим пример:

Категория uncategorised применяется для материалов Joomla, не определённых в категорию. Допустим, материал с алиасом about закреплен за пунктом меню с алиасом about. В результате материал about будет доступен по двум URL-адресам:

1. /about,
2. /uncategorised/about +id материала.

Не углубляясь в подробности процесса генерации дублей в Joomla, следует добавить в robots.txt инструкции, ограждающие поисковых роботов от них:

Disallow: /uncategorised/ # дубли материалов без категорий
Disallow: /component/ # дубли и ненужные страницы различных компонентов
Disallow: /*print= # версии для печати
Disallow: /*index.php # дубли с index.php
Disallow: /*=feed # фиды RSS и Atom
Disallow: /*?tp=1 # дубли с отображением позиций для модулей

Следует отметить, что разбиения материалов на отдельные страницы лучше избегать: в индексе должна быть первая страница материала, но преградив доступ к страницам пагинации через robots.txt, роботы не станут их сканировать и учитывать при определении релевантности. Если всё же будет необходимость для исключения страниц пагинации от сканирования и индексирования, то можно воспользоваться следующими директивами:

Disallow: /*start=
Disallow: /*showall=

Иногда имеет смысл исключать любые страницы с параметрами в URL-адресах, в том числе:

• страницы пагинации,
• фиды RSS и Atom,
• страницы для печати.

Делается это с помощью одной директивы:

 Disallow: /*?

Если к каким-то страницам, содержащим параметры в URL, потребуется открыть доступ для роботов, то можно добавить исключение. Например:

Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 # для отдельной страницы
Allow: /*=com_xmap # для всех страниц с параметром

Обобщим все приведённые выше доводы и соберём их к одному виду. robots.txt со следующим списком директив подойдёт для большинства сайтов на CMS Joomla 3:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /media/
Disallow: /uncategorised/
Disallow: /component/
Disallow: /*print=
Disallow: /*index.php
Disallow: /*=feed
Disallow: /*?tp=1

Интернет-магазины на «голом» (без сторонних расширений) JoomShopping, как правило, имеют:

• страницу виртуальной корзины URL-префикс по умолчанию: /cart/
• страницы оформления заказа URL-префикс по умолчанию: /checkout/
• страницы профиля клиента URL-префикс по умолчанию: /user/
• страницу поиска по сайту URL-префикс по умолчанию: /search/

Все эти страницы не нужны в индексной базе поисковых систем, поэтому их следует исключить через robots.txt.

URL-префиксы для данных страниц можно кастомизировать через алиасы, создавая пункты меню. Если этого не делать, то для их исключения достаточно добавить в robots.txt следующие строки:

Disallow: */cart/
Disallow: */checkout/
Disallow: */user/
Disallow: */search/

Следует отметить, что вариант с директивами без слеша в конце:

Disallow: */cart
Disallow: */checkout
Disallow: */user
Disallow: */search

Если при создании товаров и категорий JoomShopping не вводить алиас, то они будут иметь URL-префикс /product/view для товаров и /category/view для категорий. Даже если не забывать вводить алиас, все товары и категории всё равно будут иметь свои дубли с указанными префиксами. Для того, чтобы исключить попадание дублей данных страниц в индекс, необходимо добавить в robots.txt исключающие директивы для указанных URL-префиксов:

Disallow: */product/
Disallow: */category/

Компонент JoomShopping для хранения изображений использует не системный каталог /images, размещенный в корне сайта, а свои каталоги из папки /components/com_jshopping/files. Чтобы роботы индексировали изображения товаров и категорий, в robots.txt необходимо добавить разрешение для соответствующих каталогов:

Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/

Добавив к правилам, созданным для компонента контента Joomla 3, директивы для компонента JoomShopping, получим следующий пример оптимизированного файла robots.txt, актуального для интернет-магазинов на Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /media/
Disallow: /uncategorised/
Disallow: /component/
Disallow: /*print=
Disallow: /*index.php
Disallow: /*=feed
Disallow: /*?tp=1
Disallow: */basket/
Disallow: */checkout/
Disallow: */user/
Disallow: */search/
Disallow: */product/
Disallow: */category/
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/

После того, как файл robots.txt.dist преобразуется в robots.txt, можно открыть его в текстовом редакторе и увидеть следующее содержание:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Базовый файл содержит исключающие инструкции для абсолютно всех системных каталогов сайта, в том числе папки с изображениями и файлами шаблонов. Следует ли говорить, что в большинстве случаев роботам необходим доступ к изображениям для их индексации, а также к .css и .js файлам для оценки веб-страниц.

Чтобы файл был не столь воспрещающим, достаточно удалить соответствующие запреты, а именно строки:

Disallow: /images/ # каталог с изображениями Joomla
Disallow: /templates/ # каталог с файлами шаблонов

Рассматриваемый выше пример robots.txt для Joomla 3 актуален для сайтов на Joomla 2.5.

Для более тонкой настройки robots.txt необходимо внимательно изучить его синтаксис.