Файл Sitemap XML (карта сайта)
Файл Sitemap XML — самый функциональный формат карты сайта, существенно облегчающий работу поисковым роботам. Для создания, настройки и проверки файлов Sitemap в формате XML требуются знания и практические навыки.
Содержание
Видео по теме
Зачем нужен файл Sitemap XML?
Файл Sitemap нужен для управления сканированием и индексированием сайта и должен содержать URL-адреса веб-страниц, подлежащих индексированию.
При отсутствии карты сайта сканирование веб-страниц поисковыми роботами осуществляется беспорядочно посредством перехода по внутренним ссылкам. Правильный файл Sitemap XML позволяет упорядочить процесс сканирования и ускорить индексирование веб-страниц, предоставляя роботам:
- список URL-адресов сайта, желательных для индексирования,
- приблизительную частоту обновления контента страниц,
- информацию о появлении новых URL-адресов,
- информацию об обновлении контента старых URL-адресов,
- индексирование каких URL-адресов является предпочтительным.
Sitemap и robots.txt – первые файлы, которые посещает поисковой робот перед сканированием веб-страниц (при наличии данных файлов).
Таким образом, файл Sitemap нужен, чтобы указать роботу, как часто и в каком порядке следует сканировать определенные страницы, и на какие страницы стоит обратить особое внимание при сканировании в зависимости от указанных рекомендаций. Кроме того, карта сайта в формате XML предоставляет роботам информацию о новых страницах, а также даёт возможность поисковой системе узнать о новом сайте (при добавлении файла Sitemap с помощью инструментов для веб-мастеров).
Информация, предоставляемая в файле Sitemap, носит для роботов рекомендательный характер и не гарантирует попадания в индекс тех или иных веб-страниц.
Из вышесказанного следует, что:
- файл Sitemap актуально создавать для:
- новых сайтов,
- сайтов с большим количеством страниц,
- часто обновляемых сайтов.
- карта сайта в формате
xml
– лучший вариант Sitemap, т. к. она предоставляет роботам максимум информации; - файл карты сайта при возможности должен быть динамическим (обновляться при каждом добавлении, удалении страниц сайта и при обновлениях их содержимого);
- файл Sitemap должен содержать только актуальную информацию для роботов;
- при использовании расширения для CMS, генерирующего файл карты сайта автоматически, необходимо правильно настроить его работу;
- при добавлении в Интернет нового сайта необходимо указать поисковым системам на файл Sitemap для ускорения индексирования веб-страниц.
Где находится файл Sitemap?
Файл с картой сайта рекомендуется размещать в корневой директории сайта (например: site.net/sitemap.xml
). В противном случае, если Sitemap будет размещен в директории нижнего уровня (например: site.net/files/sitemap.xml
), то файл должен содержать информацию о страницах, размещенных не выше уровня директории, в которой он находится.
Файл Sitemap должен находится в корневой папке или в другой папке сайта, но не ниже уровня вложенности URL-адресов, которые он содержит.
Требования к файлу
Существует ряд общих технических требований для карты сайта в формате XML
. Прежде, чем приступать к созданию файла, внимательно изучите данные требования:
- кодировка: UTF-8,
- символы: цифры и латинские буквы,
- максимальный размер в несжатом виде: 50 МБ,
- максимальное количество URL: 50 000,
- файл должен быть размещен на том же домене, что и сайт, для которого он составлен,
- файл должен содержать URL-адреса, принадлежащие одному доменному имени,
- URL-адреса должны быть в абсолютной форме с указанием протокола (например: http://site.net),
- файл не должен содержать URL-адреса, находящиеся на верхнем уровне относительно расположения самого файла,
- для следующих символов должны применяться соответствующие мнемоники (маскирование):
Символ Название Мнемоника & Амперсанд amp; ' Одинарные кавычки apos; " Двойные кавычки quot; > Больше gt; < Меньше lt;
Файл Sitemap XML, составленный без соблюдения технических требований, может не распознаваться или неверно распознаваться поисковыми роботами.
Синтаксис
Стандарт Sitemap XML предусматривает использование 6-ти специальных тегов:
Тег <urlset>
Обязательный тег, являющийся общим контейнером, указывающим на применяемый в файле стандарт с помощью атрибута xmlns
.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> ... </urlset>
Тег <url>
Обязательный тег, являющийся контейнером для остальных тегов, относящихся к одному URL-адресу. Не имеет атрибутов.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> ... </url> </urlset>
Тег <loc>
Обязательный тег, содержащий полный (с указанием протокола) URL-адрес страницы сайта. Не имеет атрибутов.
<url> <loc>http://site.net</loc> </url>
При заполнении тега loc придерживайтесь следующих правил:
- указывайте URL-адреса только главного зеркала сайта,
- не допускайте URL-адресов страниц с дублируемой информацией – в таком случае указывайте только канонический URL,
- не допускайте в URL-адресах наличия идентификаторов, не влияющих на содержание страницы.
Тег <lastmod>
Необязательный тег, содержащий информацию о дате и (или) времени последнего изменения контента страницы в формате W3C Datetime. Допускается указывать только дату в формате ГГГГ-ММ-ДД.
<url> <loc>http://site.net</loc> <lastmod>2005-01-01</lastmod> </url>
Следует отметить, что значение этого тега поисковые роботы особенно принимают во внимание: оно позволяет быстро определить страницы для очередного сканирования, не теряя время на оставшиеся неизменными с момента последнего сканирования страницы.
Тег <changefreq>
Необязательный тег, содержащий информацию о приблизительной частоте обновления контента страницы в виде следующих допустимых значений:
- always – обновление при каждом обращении к странице,
- hourly – обновление раз в час,
- daily – ежесуточное обновление,
- weekly – еженедельное обновление,
- monthly – ежемесячное обновление,
- yearly – ежегодное обновление,
- never – не обновляется.
<url> <loc>http://site.net</loc> <changefreq>weekly</changefreq> </url>
Данная информация носит рекомендательный характер для роботов и они могут её игнорировать.
Тег <priority>
Необязательный тег, определяющий важность определенных страниц относительно других страниц в пределах сайта. Приоритет выражается в числах от 0.1 (минимальный) до 1.0 (максимальный).
<url> <loc>http://site.net</loc> <priority>0.5</priority> </url>
Рекомендации по применению тега priority:
- если все страницы, указанные в карте сайта, желательны для попадания в индекс, а очередность их сканирования не важна, то можно не указывать данный тег,
- если определенную страницу (страницы) желательно сканировать раньше других, то следует установить для неё соответствующий приоритет,
- высшее значение тега не гарантирует попадания (или непопадания) страницы в индекс поисковой системы.
Как создать файл Sitemap XML?
Карту сайта в XML-формате можно создать «вручную», однако это далеко не самый лучший вариант даже для небольшого сайта, а для сайтов с огромным количеством страниц это даже не рассматривается. Дело даже не в том, что добавление огромного списка URL-адресов вручную – это рутинная работа, а в том, что файл должен содержать актуальную информацию для роботов, регулярно обновляясь. А это сделать вручную для большого количества страниц практически невозможно. Именно поэтому целесообразно использовать серверные программы для создания и автоматического обновления карты сайта.
Cуществует три способа составить карту сайта в формате xml
:
- ручной способ,
- с помощью онлайн-генератора (веб-сервиса),
- с помощью серверных программ.
Рассмотрим детально каждый из указанных способов.
Ручной способ
Создать Sitemap XML вручную достаточно просто и целесообразно в случе, если карта сайта будет содержать список из небольшого количества страниц, обновление содержания которых происходит достаточно редко. Следует учесть, что если контент сайта обновляется регулярно, то в файл придется также регулярно вносить изменения самостоятельно, а это очень неудобно даже для небольших сайтов (5-10 страниц) и практически невозможно для крупных сайтов (от 50 страниц).
Создание Sitemap ручным способом целесообразно только для сайтов с небольшим количеством редко обновляющихся страниц.
Как создать файл самостоятельно?
Предположим что у нас есть сайт site.net, у которого есть страница «Контакты» (site.net/kontakty) и «Услуги» (site.net/uslugi).
С этими знаниями мы уже можем создать простейшую карту сайта, понятную поисковым роботам:
- Создаем текстовый файл
sitemap.txt
и изменяем расширение файла на.xml
. - Открываем файл и прописываем тип файла и кодировку:
<?xml version="1.0" encoding="UTF-8"?>
- Ниже прописываем тег urlset, в качестве атрибута тега указываем применяемый стандарт:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> </urlset>
- Теперь прописываем тег url и указываем в нем тег loc, содержащий абсолютный URL главной страницы:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> </url> </urlset>
5. Теперь дополняем список информацией об остальных страницах:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> </url> <url> <loc>http://site.net/uslugi</loc> </url> <url> <loc>http://site.net/kontakty</loc> </url> </urlset>
Простейшая карта сайта со списком URL-адресов сайта, необходимых для индексации, создана. Такой вариант Sitemap будет нуждаться в обновлении только в случае увеличения количества страниц сайта.
- Теперь применим необязательные теги стандарта. Допустим, что мы располагаем информацией о том, как часто будут вноситься изменения на сайте:
- главная страница будет меняться не чаще 1 раза в год,
- страница Контакты будет меняться не чаще 1 раза в месяц,
- страница Услуги будет меняться не чаще 1 раза в неделю.
- Мы можем указать поисковым роботам о возможной частоте обновлений, чтобы роботы могли посещать страницы с необходимой частотой. Для этого в каждом теге url указываем тег changefreq с нужными значениями:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <changefreq>yearly</changefreq> </url> <url> <loc>http://site.net/uslugi</loc> <changefreq>weekly</changefreq> </url> <url> <loc>http://site.net/kontakty</loc> <changefreq>monthly</changefreq> </url> </urlset>
- Мы также знаем, что страницу «Услуги» мы желаем увидеть в результатах поиска раньше, чем другие страницы. Мы можем сообщить об этом роботам с помощью тега priority:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <changefreq>yearly</changefreq> <priority>0.5</priority> </url> <url> <loc>http://site.net/uslugi</loc> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> <url> <loc>http://site.net/kontakty</loc> <changefreq>monthly</changefreq> <priority>0.5</priority> </url> </urlset>
- После внесения изменений на страницах, мы также можем указать на это поисковым роботам, прописывая дату обновления каждой страницы с помощью тега lastmod:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <lastmod>2005-01-01</lastmod> <changefreq>yearly</changefreq> <priority>0.5</priority> </url> <url> <loc>http://site.net/uslugi</loc> <lastmod>2005-01-01</lastmod> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> <url> <loc>http://site.net/kontakty</loc> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.5</priority> </url> </urlset>
Мы разобрали ручной процесс создания и заполнения файла Sitemap в качестве ознакомления, однако на практике такой способ не применяется вовсе. Давайте рассмотрим более актуальные способы создания карты сайта в формате XML: онлайн-генераторы и программы.
Онлайн-генераторы
Онлайн-генераторы – это веб-сервисы, способные создавать карту сайта, полностью автоматизируя процесс ручного составления.
Существует много сервисов, предлагающих создание файла Sitemap XML в режиме онлайн с небольшими ограничениями бесплатно, или без ограничений за небольшую плату. При этом вы сможете выбрать, какую информацию следует размещать в XML-файле карты сайта. Вот список наиболее популярных сервисов:
Все указанные сервисы идентичны и без проблем создают Sitemap XML онлайн. Это удобно, однако в действительности данные сервисы не более чем автоматизируют ручной труд. Для сайта с небольшим числом статических (не обновляемых) страниц этого будет достаточно: создал, скачал, разместил на сайте и дал знать об этом поисковым системам. Однако если сайт имеет большое количество как обновляемых, так и статических страниц, а также регулярно пополняется новыми страницами – что делать в таком случае? Генерировать файл с помощью сервиса при каждом добавлении и обновлении страниц? Это будет, мягко говоря, не удобно. А если речь идет о тысячах страниц? Решить такую задачу помогут серверные программы для создания карты сайта.
С помощью программ
Использование специальных программ, установленных в серверной части сайта, позволяет не только автоматически создавать файл Sitemap в формате XML, но и автоматически обновлять его при:
- изменении существующих страниц,
- появлении новых страниц,
- удалении страниц.
Как создать файл Sitemap автоматически?
В настоящее время подавляющее большинство сайтов базируется на системах управления контентом (CMS), для наиболее популярных из которых не составит труда найти необходимое стороннее расширение (программу), позволяющее автоматизировать процесс создания и обновления XML карты сайта:
- Google XML Sitemaps – плагин для WordPress
- OSMap – компонент для Joomla
- XML sitemap – модуль для Drupal
При использовании расширений для CMS, способных создавать динамический (обновляемый на сервере) файл Sitemap XML, крайне рекомендуется разобраться в их настройках и верно настроить их функционирование, т. к. расширение не может читать мысли веб-мастера и способно добавить (или не добавить) в файл нежелательные (или желательные) к индексированию URL-адреса, а так же задать неверную частоту обновления и приоритеты для страниц.
Где взять файл Sitemap для самописной CMS?
Если сайт построен на самописной СMS, или для CMS не предусмотрена программа для создания карты сайта, то следует обратиться к веб-разработчику и поставить соответствующую задачу.
Примеры Sitemap XML
Рассмотрим примеры карты сайта в формате xml
для одностраничного и многостраничного сайта и разберем их синтаксис.
Пример для одностраничного сайта
Ниже представлен пример карты сайта в XML-формате для одностраничного сайта (только один URL-адрес в списке) с использованием всех стандартных тегов.
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.5</priority> </url> </urlset>
Код примера с комментариями
Теперь, зная значения каждого тега стандарта, разберем вышеуказанный пример карты сайта с комментариями в коде:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов--> <url><!--Открывает список значений для URL--> <loc>http://site.net</loc><!--URL-адрес страницы--> <lastmod>2005-01-01</lastmod><!--Дата последнего обновления--> <changefreq>monthly</changefreq><!--Регулярность обновлений (в данном случае ежемесячно)--> <priority>0.5</priority><!--Приоритет URL (в данном случае не актуален, т. к. страница только одна)--> </url><!--Закрывает список значений для URL--> </urlset><!--Закрывает список-->
Информация для роботов
Из данной карты сайта поисковые роботы извлекут следующую информацию:
- сайт содержит одну страницу для индексации,
- URL данной страницы – http://site.net,
- последний раз страница обновлялась 1 января 2005 года,
- страница должна обновляться ежемесячно,
- приоритет данной страницы относительно других страниц не учитывается, т. к. другие страницы отсутствуют.
Пример для многостраничного сайта
Теперь рассмотрим пример карты сайта в XML-формате для ресурса из нескольких страниц:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.5</priority> </url> <url> <loc>http://site.net/uslugi</loc> <lastmod>2005-01-01</lastmod> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> <url> <loc>http://site.net/kontakty</loc> <lastmod>2005-01-01</lastmod> <changefreq>yearly</changefreq> <priority>0.5</priority> </url> </urlset>
Код примера с комментариями
Теперь посмотрим на данный Sitemap XML с внутренними пояснениями к каждому тегу:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов--> <url><!--Открывает список значений для URL--> <loc>http://site.net</loc><!--URL-адрес страницы--> <lastmod>2005-01-01</lastmod><!--Дата последнего обновления--> <changefreq>monthly</changefreq><!--Регулярность обновлений (ежемесячно)--> <priority>0.5</priority><!--Приоритет перед другими страницами =0.5--> </url><!--Закрывает список значений для URL--> <url><!--Открывает список значений для URL--> <loc>http://site.net/uslugi</loc><!--URL-адрес страницы--> <lastmod>2005-01-01</lastmod><!--Дата последнего обновления--> <changefreq>weekly</changefreq><!--Регулярность обновлений (еженедельно)--> <priority>1.0</priority><!--Приоритет перед другими страницами =1.0 (высший)--> </url><!--Закрывает список значений для URL--> <url><!--Открывает список значений для URL--> <loc>http://site.net/kontakty</loc><!--URL-адрес страницы--> <lastmod>2005-01-01</lastmod><!--Дата последнего обновления--> <changefreq>yearly</changefreq><!--Регулярность обновлений (ежегодно)--> <priority>0.5</priority><!--Приоритет перед другими страницами =0.5--> </url><!--Закрывает список значений для URL--> </urlset><!--Закрывает список URL-адресов-->
Информация для роботов
Данный пример файла обеспечит роботов поисковых систем следующей информацией:
- сайт содержит 3 URL-адреса для индексации;
- страница http://site.net:
- обновлялась 1 января 2005 года;
- может обновляться ежемесячно;
- имеет приоритет 0.5 относительно других страниц сайта.
- страница http://site.net/uslugi:
- обновлялась 1 января 2005 года;
- может обновляться еженедельно;
- имеет приоритет 1.0 относительно других страниц сайта (является самой важной).
- страница http://site.net/kontakty:
- обновлялась 1 января 2005 года;
- может обновляться ежегодно;
- имеет приоритет 0.5 относительно других страниц сайта.
Карта сайта в XML-формате для Google
Стандарт Sitemap XML основан компанией Google для ускорения процесса сканирования и индексирования сайтов. В отличие от роботов других поисковых систем, роботы Google способны учитывать дополнительную информацию, предоставляемую картой сайта в XML-формате.
Приведём и прокомментируем некоторые цитаты из Справки Google.
Зачем Google нужна карта вашего сайта?
Файл Sitemap позволяет сообщить Google и другим поисковым системам о том, как организован контент на вашем сайте. Поисковые роботы (например, Googlebot) просматривают этот файл, чтобы более точно индексировать ваши страницы.
Справка Google
Это стандартное описание значимости файлов Sitemap для поисковых систем. Однако, Google, как и Яндекс, не гарантирует, что все URL-адреса, указанные в карте сайта, будут проиндексированы:
Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.
Справка Google
Какие данные распознаёт Google?
Не удивительно, что роботы Google способны корректно распознавать все стандартные теги:
Файлы Sitemap также можно использовать для предоставления системе Google метаданных о ваших страницах. Это такие сведения, как дата последних изменений, периодичность обновления контента и важность страницы в сравнении с другими URL на сайте.
Справка Google
Иными словами, робот Googlebot без проблем поймет следующее содержание:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://site.net</loc> <lastmod>2005-01-01</lastmod> <changefreq>yearly</changefreq> <priority>0.5</priority> </url> </urlset>
Однако, в отличие от других роботов поисковых систем, роботы Google способны распознавать дополнительные данные о других типах контента:
Файлы Sitemap также можно использовать для предоставления системе Google метаданных о типах контента, в том числе о видео и изображениях.
Справка Google
Это значит, что вы можете помочь Google упорядочить процесс индексации не только URL-адресов веб-страниц, но и медиа-контента. Робот Googlebot способен различать дополнительные теги, предоставляющую данную информацию:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1" > <url> <loc>http://site.net</loc> <image:image> <image:loc>http://site.net/image.jpg</image:loc> <image:caption>Подпись к изображению</image:caption> </image:image> <video:video> <video:content_loc>http://site.net/video-1.flv</video:content_loc> <video:player_loc allow_embed="yes" autoplay="ap=1"> http://site.net/videoplayer.swf?video=1 </video:player_loc> <video:thumbnail_loc>http:/site.net/thumbs/1.jpg</video:thumbnail_loc> <video:title>Название видео</video:title> <video:description>Краткое описание видео</video:description> </video:video> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.5</priority> </url> </urlset>
Робот Яндекса проигнорирует нестандартные теги из данного примера, а робот Google учтет их при сканировании и индексировании.
Какие форматы карт сайта поддерживает Google?
Google поддерживает файлы Sitemap в форматах XML
или TXT
. Кроме того, Google может использовать URL-адрес фидов RSS или Atom:
Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что в нем может быть представлена информация только о последних URL.
Справка Google
Как создать Google Sitemap?
В большинстве случаев не требуется создавать отдельные карты сайта для разных поисковых систем: при их сканировании поисковые роботы примут к сведению понятную им информацию. О том, как создать файл Sitemap, понятный всем поисковым системам, смотрите выше по тексту. После этого при необходимости расширьте данный файл дополнительной информацией с помощью перечисленных ниже тегов, понятных роботу googlebot.
Как добавить Sitemap в Google?
Существует 2 способа указать поисковой системе Google на карту сайта:
- С помощью файла robots.txt
Для этого необходимо указать в файле robots.txt ссылку на файл. Подходит для указания на карту сайта роботам всех поисковых систем.
- С помощью сервиса Google Search Console
Актуально только для поисковой системы Google.
Добавление Sitemap в Search Console
- перейдите на главную страницу сервиса Google Search Console
Требуется авторизация в поисковой системе Google. Если у Вас нет аккаунта, то необходимо его создать.
- выберите требуемый сайт
Выберите сайт, файл для которого Вы желаете проверить. Если сайта нет – необходимо пройти процедуру добавления сайта.
- в левой колонке кликните Сканирование
Развернутся дополнительные элементы навигации.
- перейдите по ссылке Файлы Sitemap
Вы попадете на страницу со списком соответствующих файлов для данного сайта. При их отсутствии на странице будет сообщение «Файлы Sitemap для этого сайта отсутствуют».
- кликните кнопку ДОБАВЛЕНИЕ/ПРОВЕРКА ФАЙЛА SITEMAP
Появится всплывающее окно с формой для добавления URL-адреса.
- вставьте URL-адрес и нажмите Отправить
Файл будет добавлен в очередь для сканирования поисковым роботом Google, после чего на текущей странице будет отображаться отчет о состоянии данного файла: ошибки, предупреждения, количество отправленных и проиндексированных страниц.
Синтаксис Google Sitemap
Подробно разберем расширенный синтаксис карты сайта в формате xml
, предоставляющий информацию роботам Google об изображениях, видео и новостях.
Карта сайта для изображений
Для изображений можно создать отдельный файл Sitemap или обновить уже существующий.
Справка Google
Для указания используемого пространства имен в теге urlset указывается атрибут xmlns:image
со значением http://www.google.com/schemas/sitemap-image/1.1
.
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" > <url> <loc>http://site.net</loc> <image:image> <image:loc>http://site.net/image.jpg</image:loc> <image:title>Название изображения</image:title> <image:caption>Подпись к изображению</image:caption> <image:geo_location>Геолокация объекта изображения</image:geo_location> </image:image> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.8</priority> </url> </urlset>
XML-теги для изображений
- image:image обязательный
- Обязательный (при предоставлении информации об изображении) тег, размещаемый в теге url и являющийся контейнером для остальных тегов, предоставляющих информацию об изображении. Тег url может содержать до 1000 тегов image:image.
- image:loc обязательный
- URL-адрес изображения. Правила заполнения аналогичны правилам заполнения тега loc.
- image:caption необязательный
- Подпись к изображению (небольшое описание).
- image:title необязательный
- Название изображения (например, содержимое атрибута alt).
- image:geo_location необязательный
- Географическое расположение объекта изображения (если это актуально).
- image:license необязательный
- URL-адрес лицензии.
Карта сайта для видео
Предоставляя роботу Google структурированную информацию о видеороликах на сайте, мы способствуем скорейшему их индексированию и лучшему отображению на странице результатов поисковой выдачи:
Отправив в Google файл Sitemap для видео, вы сделаете URL своих роликов доступными для поиска в Google Видео.
Справка Google
Вот пример XML-кода карты сайта, содержащего все возможные теги для передачи данных о видеороликах, используемые Google:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1" > <url> <loc>http://site.net/page.html</loc> <video:video> <video:thumbnail_loc>http://site.net/thumbs/1.jpg</video:thumbnail_loc> <video:title>Video Title</video:title> <video:description>Описание видеоролика</video:description> <video:content_loc>http://site.net/video1.flv</video:content_loc> <video:player_loc allow_embed="yes" autoplay="ap=1"> http://site.net/videoplayer.swf?video=123</video:player_loc> <video:duration>600</video:duration> <video:expiration_date>2009-11-05T19:20:30+08:00</video:expiration_date> <video:rating>4.2<video:rating> <video:view_count>12345</video:view_count> <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date> <video:family_friendly>yes</video:family_friendly> <video:restriction relationship="allow">IE GB US CA</video:restriction> <video:gallery_loc title="Поисковая оптимизация">http://seo.site.net</video:gallery_loc> <video:price currency="RUB">1.99</video:price> <video:requires_subscription>yes</video:requires_subscription> <video:uploader info="http://site.net/users/vpupkin"> Vasya Pupkin </video:uploader> <video:live>no</video:live> </video:video> </url> </urlset>
XML-теги для видео
Роботы Google способны распознавать большое количество обязательных и необязательных тегов для видео.
Обязательные теги
- video:video обязательный
- Размещается в теге url в качестве общего контейнера для остальных тегов, предоставляющих информацию о видео.
- video:thumbnail_loc обязательный
- URL-адрес, указывающий на изображение миниатюры для видеоролика. Изображение должно быть не менее 160x90 пикселей и не более 1920x1080 пикселей. Рекомендуются изображения в формате
JPG
,PNG
илиGIF
. - video:title обязательный
- Название видеоролика (максимум 100 символов). Все HTML-сущности должны быть экранированы.
- video:description обязательный
- Описание видеоролика (максимум 2048 символов). Все HTML-сущности должны быть экранированы.
- video:content_loc обязательный
- Обязательный тег, если не применяется альтернативный тег video:player_loc. Должен содержать URL-адрес, указывающий на файл видео. Этот файл может быть в формате
MPG
,MPEG
,MP4
,M4V
,MOV
,WMV
,ASF
,AVI
,RA
,RAM
,RM
,FLV
или в другом формате. - video:player_loc обязательный
- Обязательный тег, если не применяется альтернативный тег video:content_loc. Должен содержать URL-адрес, указывающий на проигрыватель видео. Обычно данный URL указывается в атрибуте
src
тега embed.
Необязательный атрибутallow_embed
со значениемyes
илиno
может указывать Google на то, следует ли отображать видео в результатах поиска.
Необязательные теги
- video:duration необязательный
- Рекомендуемый к применению тег, содержащий продолжительность видео в секундах (допустимы значения от 0 до 28800).
- video:expiration_date необязательный
- Дата в формате W3C Datetime, по истечении которой видео больше не будет доступно. Данный тег не следует применять, если срок действия видео не ограничен.
Допустимые значения: полная датаYYYY-MM-DD
или полная дата плюс часы, минуты, секунды и часовой поясYYYY-MM-DDThh:mm:ss+TZD
. Например:2012-07-16T19:20:30+08:00
. - video:rating необязательный
- Рейтинг видеоролика в виде дробного числа от 0.0 до 0.5.
- video:view_count необязательный
- Количество просмотров видео в виде целого числа.
- video:publication_date необязательный
- Дата публикации видео в формате формате W3C Datetime.
Допустимые значения: полная датаYYYY-MM-DD
или полная дата плюс часы, минуты, секунды и часовой поясYYYY-MM-DDThh:mm:ss+TZD
. Например:2012-07-16T19:20:30+08:00
. - video:family_friendly необязательный
- Значение
no
указывается в случае, если видеоролик должен быть доступен только пользователям с отключенной функцией безопасного поиска. - video:tag необязательный
- Тематическая метка (ключевое слово) в виде слова или словосочетания. Допускается до 32 тегов video:tag для одного видеоролика.
- video:category необязательный
- Категория видеоролика в виде строки длиной не более 256 символов.
- video:restriction необязательный
- Список стран с пробелами в качестве разделителей, в которых может или не может проигрываться видеоролик. Страны указываются в виде кодов в формате ISO 3166.
Для одного видеоролика допустим только один тег video:restriction.
При отсутствии тега video:restriction предполагается, что видеоролик может воспроизводиться не зависимо от территории.
Обязательный атрибутrelationship
может содержать значениеallow
(разрешает воспроизведение в указанных странах) илиdeny
(запрещает воспроизведение в указанных странах). - video:gallery_loc необязательный
- URL-адрес директории, содержащей список видеороликов (галерею), к которым относится текущий видеоролик.
В качестве значения необязательного атрибутаtitle
может указываться название галереи. - video:price необязательный
- Стоимость загрузки или просмотра видеоролика. Должен указываться только для платных видеороликов. Может применяться несколько тегов video:price с различными значениями атрибутов для одного видеоролика.
В качестве значения обязательного атрибутаcurrency
указывается валюта в формате ISO 4217.
Необязательный атрибутtype
может указывать на вариант покупки. Допустимые значения:rent
(аренда) илиown
(приобретение, используется по умолчанию).
Необязательный атрибутresolution
может указывать на разрешение оплачиваемого видеоролика. Допустимые значения:HD
иSD
. - video:requires_subscription необязательный
- Необходимость подписки для просмотра видео. Допустимые значения:
yes
илиno
. - video:uploader необязательный
- Имя пользователя, загрузившего видеоролик.
Необязательный атрибутinfo
может содержать URL-адрес страницы, содержащей дополнительную информацию о данном пользователе. Данный URL должен на одном домене с URL текущей страницы (указываемом в теге loc). - video:platform необязательный
- Список платформ с пробелами в качестве разделителей, на которых может (или не может) быть воспроизведено видео. Допустимые значения:
web
,mobile
иtv
.
Для одного видеоролика допустим только один тег video:platform.
При осутствии тега video:platform предполагается, что видео может быть воспроизведено на всех платформах.
Обязательный атрибутrelationship
может содержать значениеallow
(разрешает воспроизведение на указанных платформах) илиdeny
(запрещает воспроизведение на указанных платформах). - video:live необязательный
- Указывает, транслируется ли видео в прямом эфире. Допустимые значения:
yes
илиno
.
Карта сайта для сервиса «Google Новости»
Роботы Google способны распознавать отдельный синтаксис Sitemap XML, предназначенный для сайтов, включенных в сервис Google Новости:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" > <url> <loc>http://site.net</novost> <news:news> <news:publication> <news:name>Известия</news:name> <news:language>ru</news:language> </news:publication> <news:genres>PressRelease, Blog</news:genres> <news:publication_date>2005-01-01</news:publication_date> <news:title>Название новости</news:title> <news:keywords>ключ, ключ, ключ</news:keywords> <news:stock_tickers>NASDAQ:AMAT</news:stock_tickers> </news:news> </url> </urlset>
Следует учитывать, что данный синтаксис не применяется совместно со стандартным синтаксисом, и его необходимо включать в отдельный XML-файл с картой сайта, предназначенный для поискового робота googlebot-news. Кроме того, существуют отдельные официальные рекомендации по созданию файлов Sitemap для Google Новостей.
Необходимо создавать отдельный файл Sitemap XML с синтаксисом для Google Новостей.
XML-теги для Google Новостей
- news:publication обязательный
- Контейнер для тегов name и language.
- news:name обязательный
- Обязательный тег, содержащий название новостного издания в статьях на сайте news.google.com.
- news:language обязательный
- Обязательный тег, содержащий код языка издания в формате ISO 639.
- news:publication_date обязательный
- Дата публикации статьи в формате формате W3C Datetime.
Допустимые значения: полная датаYYYY-MM-DD
или полная дата плюс часы, минуты, секунды и часовой поясYYYY-MM-DDThh:mm:ss+TZD
. Например:2012-07-16T19:20:30+08:00
. - news:title обязательный
- Название статьи (должно совпадать с HTML-тегом title).
- news:genres необязательный
- Список свойств с запятыми в качестве разделителей, характеризующий тип статьи. Возможные значения:
- PressRelease (официальный пресс-релиз),
- Satire (обсуждение в комической форме),
- Blog (статья в формате блога),
- OpEd (субъективное мнение в колонке редактора),
- Opinion (субъективное мнение вне колонки редактора),
- UserGenerated (пользовательский материал, прошедший модерацию).
- news:keywords необязательный
- Список ключевых слов с запятыми в качестве разделителей, характеризующих контент статьи.
- news:stock_tickers необязательный
- Список биржевых символов компаний, взаимных фондов или других финансовых организаций, которым посвящена статья, разделенный запятыми. Может содержать не более 5-ти значений.
Файл Sitemap для Яндекса
Отметим некоторые ключевые особенности относительно карты сайта, обозначенные в сервисе Яндекс.Помощь.
Для чего Яндексу нужны файлы Sitemap?
Файл sitemap учитывается при индексировании сайта роботом, однако Яндекс не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс Яндекса.
Яндекс.Помощь
Из данного утверждения можно сделать вывод, что робот Яндекса не обязан индексировать все URL-адреса, указанные в файле карты сайта, но принимает их к сведению.
Обычно робот Яндекса узнает о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако робот может не найти некоторые страницы или неверно определить их важность: проблемными обычно становятся динамически создаваемые страницы или страницы, на которые можно попасть, только пройдя по длинной цепочке внутренних ссылок. Файл sitemap помогает решить эти проблемы.
Яндекс.Помощь
Иначе говоря, файл с картой сайта способствует скорейшему сканированию страниц сайта роботом Яндекса, а следовательно, и скорейшему их индексированию.
Какие данные Sitemap XML поддерживает Яндекс?
Роботы Яндекса воспринимают только стандартные теги:
Поиск Яндекса не поддерживает передачу информации об изображениях, RSS/Atom-фидов с помощью файла sitemap.
Яндекс.Помощь
Возникает вопрос: нужно ли создавать отдельный файл карты сайта с расширенными данными, например, для Google? И как робот Яндекса воспринимает нестандартные теги?
Вот ответ из службы поддержки Яндекса:
В такой ситуации можно использовать один файл для всех, данные из неподдерживаемых тегов будут проигнорированы нашим роботом.
Платон Щукин
Какие форматы Sitemap поддерживает Яндекс?
Роботы Яндекса обрабатывают 2 формата карты сайта: XML и TXT.
Есть мнение службы поддержки Яндекса относительно использования страницы с картой сайта в формате HTML в качестве альтернативы:
HTML-карта сайта может стать альтернативой XML файлу sitemap, но робот воспринимает её в качестве обычной страницы сайта. Файлы в таком виде не позволяют передавать роботу дополнительные данные (частоту обновления страниц или приоритет при обходе сайта), также такие страницы будут обновляться роботом в соответствии с внутренними политиками обхода, XML же обрабатывается не реже 1 раза в 2 недели.
Платон Щукин
Как создать файл Sitemap для Яндекса?
Исходя из вышесказанного, не следует создавать отдельные карты сайта для роботов разных поисковых систем: каждый из роботов обработает ту информацию, которую способен воспринимать (робот Яндекса примет к сведению только стандартные теги).
Как добавить файл Sitemap в Яндекс?
После того, как файл будет создан, проверен и, если необходимо, откорректирован, на него следует указать Яндексу, чтобы поисковой робот как можно скорее начал его обрабатывать. Существует 2 способа это сделать:
- с помощью файла robots.txt
Для этого необходимо указать в robots.txt ссылку на файл с картой сайта. Это подходит для указания на файл роботам всех поисковых систем.
- с помощью сервиса Яндекс.Вебмастер
Актуально только для поисковой системы Яндекс.
Добавление карты сайта в Яндекс.Вебмастер
Для того, чтобы сообщить Яндексу о существующем файле Sitemap, необходимо:
- перейти на главную страницу сервиса Яндекс.Вебмастер
Требуется авторизация в поисковой системе Яндекс. Если у Вас нет аккаунта, то необходимо его создать.
- выбрать требуемый сайт
Выберите сайт, карту сайта для которого Вы желаете добавить в Яндекс. Если сайта нет – необходимо пройти процедуру добавления сайта.
- в левой колонке кликнуть Индексирование
Развернутся дополнительные элементы навигации.
- перейти по ссылке Файлы Sitemap
Вы попадете на страницу проверки и добавления соответствующих файлов для выбранного сайта.
- вставить в текстовом поле ссылку на файл и кликнуть Добавить
После этого карта сайта будет добавлена в очередь на обработку. В последующем он будет регулярно проверяться роботами Яндекса. Если же в файле будут обнаружены ошибки или замечания, вы сможете их увидеть на текущей странице сервиса.
Как проверить файл Sitemap XML на ошибки?
Прежде, чем указывать поисковым системам на карту сайта, необходимо проверить её на наличие синтаксических ошибок. Проверка легко осуществляется с помощью валидаторов, предоставляемых поисковыми системами.
Проверка онлайн в Яндекс
Сервис Яндекс.Вебмастер предоставляет разработчикам и оптимизаторам отличный и удобный валидатор Анализатор файлов Sitemap. Он обладает рядом преимуществ и незначительными недостатками.
Преимущества валидатора от Яндекс
- Не требуется регистрация
Регистрация необходима для добавления, но не для проверки карты сайта.
- Проверка по тексту
Можно скопировать текст файла, не указывая ссылку на него. Это удобно, когда файл еще не размещен в Интернете.
- Проверка по URL-адресу
Если файл уже размещен в интернете, для проверки достаточно указать его URL-адрес.
- Проверка загруженного файла
Можно просто загрузить файл с локального компьютера.
Недостатки валидатора от Яндекс
- не проверяет расширенный синтаксис
Расширенный XML-синтаксис, понятный роботам Google, будет воспринят валидатором Яндекса как ошибочный.
Как проверить Sitemap в Яндексе?
Рассмотрим процесс проверки файла карты сайта в формате xml
с помощью инструмента от Яндекса:
- Перейдите на страницу инструмента Анализатор файлов Sitemap:
- Скопируйте код XML-файла, вставьте в текстовую область и нажмите Проверить:
- Произойдет проверка кода на синтаксические ошибки, после чего внизу появятся результаты анализа:
- Если код будет содержать неизвестную Яндексу разметку (в том числе расширенные данные, понятные Google), то в результатах анализа будут отображаться соответствующие предупреждения:
При наличии ошибок и (или) предупреждений, ознакомьтесь со списком ошибок и предупреждений в анализаторе файлов Sitemap и изучите способы их устранения. После успешной валидации добавьте XML-файл с картой сайта в Яндекс, как написано выше.
Проверка онлайн в Google
Google предоставляет возможность проверки файлов Sitemap с помощью инструмента в сервисе Search Console. Данный инструмент имеет ряд недостатков по сравнению со способом проверки от Яндекса при одном явном преимуществе.
Преимущества валидатора от Google
- проверяет расширенный синтаксис
Search Console учитывает известные Google XML-теги стандарта для передачи данных о видео и изображениях и проверяет корректность их использования.
Недостатки валидатора от Google
- требуется регистрация
Необходима регистрация в сервисе Google Search Console.
- проверка только размещенных в интернете файлов
Нельзя проверить синтаксис, просто скопировав код файла, или загрузив файл с локального компьютера.
- проверка файлов только для подтверждённого сайта
Нельзя проверить файл Sitemap для сайта, не добавленного в Search Console.
Как проверить Sitemap в Google?
Рассмотрим процесс проверки XML-файла карты сайта в Search Console:
- перейдите на главную страницу сервиса Google Search Console
Требуется авторизация в поисковой системе Google. Если у Вас нет аккаунта, то необходимо его создать.
- выберите требуемый сайт
Выберите сайт, к которому относится проверяемый XML-файл. Если сайта нет – необходимо пройти процедуру добавления сайта.
- в левой колонке кликните Сканирование
Развернутся дополнительные элементы навигации.
- перейдите по ссылке Файлы Sitemap
Вы попадете на страницу со списком файлов для данного сайта. При их отсутствии на странице будет сообщение «Файлы Sitemap для этого сайта отсутствуют».
- кликните по кнопке ДОБАВЛЕНИЕ/ПРОВЕРКА ФАЙЛА SITEMAP
Появится всплывающее окно с формой для добавления URL-адреса проверяемого файла.
- вставьте необходимую часть URL-адреса и нажмите Тест
Начнется проверка указанного файла, по завершению которой появится соответствующее уведомление.
- кликните по кнопке Просмотреть результаты проверки
Отобразятся результаты проверки файла.
- ознакомьтесь с результатами проверки и кликните по кнопке Закрыть
Вы попадете на страницу проверки карты сайта в формате
xml
с отчетом об ошибках, после закройте результаты проверки, в случае наличия ошибок – исправьте их, проверьте файл еще раз и, убедившись в отсутствии ошибок, добавьте его в очередь для сканирования роботом googlebot. - для добавления файла в Google вернитесь к пункту 6, но теперь нажмите Отправить
Таким образом вы сообщите Google о существовании и расположении XML-файла, после чего поисковые роботы Google будут регулярно сканировать и проверять его на наличие обновлений.
- обновите текущую страницу Search Console
После обновления текущая страница Search Console будет отображать статистику по проиндексированным ссылкам, указанным в карте сайта, а также информацию о наличии ошибок и предупреждений в случае их появления.
В случае, если будут обнаружены ошибки, ознакомьтесь со списком ошибок в Google Sitemap и изучите способы их устранения. После успешной валидации следует добавить Sitemap в Google (сообщить Google о наличии карты сайта).