Файл Sitemap XML (карта сайта)

Файл Sitemap XML — самый функциональный формат карты сайта, существенно облегчающий работу поисковым роботам. Для создания, настройки и проверки файлов Sitemap в формате XML требуются знания и практические навыки.

Файл Sitemap XML

Видео по теме

Зачем нужен файл Sitemap XML?

Файл Sitemap нужен для управления сканированием и индексированием сайта и должен содержать URL-адреса веб-страниц, подлежащих индексированию.

При отсутствии карты сайта сканирование веб-страниц поисковыми роботами осуществляется беспорядочно посредством перехода по внутренним ссылкам. Правильный файл Sitemap XML позволяет упорядочить процесс сканирования и ускорить индексирование веб-страниц, предоставляя роботам:

  • список URL-адресов сайта, желательных для индексирования,
  • приблизительную частоту обновления контента страниц,
  • информацию о появлении новых URL-адресов,
  • информацию об обновлении контента старых URL-адресов,
  • индексирование каких URL-адресов является предпочтительным.

Sitemap и robots.txt – первые файлы, которые посещает поисковой робот перед сканированием веб-страниц (при наличии данных файлов).

Таким образом, файл Sitemap нужен, чтобы указать роботу, как часто и в каком порядке следует сканировать определенные страницы, и на какие страницы стоит обратить особое внимание при сканировании в зависимости от указанных рекомендаций. Кроме того, карта сайта в формате XML предоставляет роботам информацию о новых страницах, а также даёт возможность поисковой системе узнать о новом сайте (при добавлении файла Sitemap с помощью инструментов для веб-мастеров).

Информация, предоставляемая в файле Sitemap, носит для роботов рекомендательный характер и не гарантирует попадания в индекс тех или иных веб-страниц.

Из вышесказанного следует, что:

  • файл Sitemap актуально создавать для:
    • новых сайтов,
    • сайтов с большим количеством страниц,
    • часто обновляемых сайтов.
  • карта сайта в формате xml – лучший вариант Sitemap, т. к. она предоставляет роботам максимум информации;
  • файл карты сайта при возможности должен быть динамическим (обновляться при каждом добавлении, удалении страниц сайта и при обновлениях их содержимого);
  • файл Sitemap должен содержать только актуальную информацию для роботов;
  • при использовании расширения для CMS, генерирующего файл карты сайта автоматически, необходимо правильно настроить его работу;
  • при добавлении в Интернет нового сайта необходимо указать поисковым системам на файл Sitemap для ускорения индексирования веб-страниц.

Где находится файл Sitemap?

Файл с картой сайта рекомендуется размещать в корневой директории сайта (например: site.net/sitemap.xml). В противном случае, если Sitemap будет размещен в директории нижнего уровня (например: site.net/files/sitemap.xml), то файл должен содержать информацию о страницах, размещенных не выше уровня директории, в которой он находится.

Файл Sitemap должен находится в корневой папке или в другой папке сайта, но не ниже уровня вложенности URL-адресов, которые он содержит.

Требования к файлу

Существует ряд общих технических требований для карты сайта в формате XML. Прежде, чем приступать к созданию файла, внимательно изучите данные требования:

  • кодировка: UTF-8,
  • символы: цифры и латинские буквы,
  • максимальный размер в несжатом виде: 50 МБ,
  • максимальное количество URL: 50 000,
  • файл должен быть размещен на том же домене, что и сайт, для которого он составлен,
  • файл должен содержать URL-адреса, принадлежащие одному доменному имени,
  • URL-адреса должны быть в абсолютной форме с указанием протокола (например: http://site.net),
  • файл не должен содержать URL-адреса, находящиеся на верхнем уровне относительно расположения самого файла,
  • для следующих символов должны применяться соответствующие мнемоники (маскирование):
    Символ Название Мнемоника
    & Амперсанд amp;
    ' Одинарные кавычки apos;
    " Двойные кавычки quot;
    > Больше gt;
    < Меньше lt;

Файл Sitemap XML, составленный без соблюдения технических требований, может не распознаваться или неверно распознаваться поисковыми роботами.

Синтаксис

Стандарт Sitemap XML предусматривает использование 6-ти специальных тегов:

Тег <urlset>

Обязательный тег, являющийся общим контейнером, указывающим на применяемый в файле стандарт с помощью атрибута xmlns.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
...
</urlset>

Тег <url>

Обязательный тег, являющийся контейнером для остальных тегов, относящихся к одному URL-адресу. Не имеет атрибутов.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    ...
  </url>
</urlset>

Тег <loc>

Обязательный тег, содержащий полный (с указанием протокола) URL-адрес страницы сайта. Не имеет атрибутов.

<url>
   <loc>http://site.net</loc>
</url>

При заполнении тега loc придерживайтесь следующих правил:

  • указывайте URL-адреса только главного зеркала сайта,
  • не допускайте URL-адресов страниц с дублируемой информацией – в таком случае указывайте только канонический URL,
  • не допускайте в URL-адресах наличия идентификаторов, не влияющих на содержание страницы.

Тег <lastmod>

Необязательный тег, содержащий информацию о дате и (или) времени последнего изменения контента страницы в формате W3C Datetime. Допускается указывать только дату в формате ГГГГ-ММ-ДД.

<url>
    <loc>http://site.net</loc>
    <lastmod>2005-01-01</lastmod>
</url>

Следует отметить, что значение этого тега поисковые роботы особенно принимают во внимание: оно позволяет быстро определить страницы для очередного сканирования, не теряя время на оставшиеся неизменными с момента последнего сканирования страницы.

Тег <changefreq>

Необязательный тег, содержащий информацию о приблизительной частоте обновления контента страницы в виде следующих допустимых значений:

  • always – обновление при каждом обращении к странице,
  • hourly – обновление раз в час,
  • daily – ежесуточное обновление,
  • weekly – еженедельное обновление,
  • monthly – ежемесячное обновление,
  • yearly – ежегодное обновление,
  • never – не обновляется.
  <url>
   <loc>http://site.net</loc>
   <changefreq>weekly</changefreq>
</url>

Данная информация носит рекомендательный характер для роботов и они могут её игнорировать.

Тег <priority>

Необязательный тег, определяющий важность определенных страниц относительно других страниц в пределах сайта. Приоритет выражается в числах от 0.1 (минимальный) до 1.0 (максимальный).

<url>
	<loc>http://site.net</loc>
	<priority>0.5</priority>
</url>

Рекомендации по применению тега priority:

  • если все страницы, указанные в карте сайта, желательны для попадания в индекс, а очередность их сканирования не важна, то можно не указывать данный тег,
  • если определенную страницу (страницы) желательно сканировать раньше других, то следует установить для неё соответствующий приоритет,
  • высшее значение тега не гарантирует попадания (или непопадания) страницы в индекс поисковой системы.

Как создать файл Sitemap XML?

Карту сайта в XML-формате можно создать «вручную», однако это далеко не самый лучший вариант даже для небольшого сайта, а для сайтов с огромным количеством страниц это даже не рассматривается. Дело даже не в том, что добавление огромного списка URL-адресов вручную – это рутинная работа, а в том, что файл должен содержать актуальную информацию для роботов, регулярно обновляясь. А это сделать вручную для большого количества страниц практически невозможно. Именно поэтому целесообразно использовать серверные программы для создания и автоматического обновления карты сайта.

Cуществует три способа составить карту сайта в формате xml:

  1. ручной способ,
  2. с помощью онлайн-генератора (веб-сервиса),
  3. с помощью серверных программ.

Рассмотрим детально каждый из указанных способов.

Ручной способ

Создать Sitemap XML вручную достаточно просто и целесообразно в случе, если карта сайта будет содержать список из небольшого количества страниц, обновление содержания которых происходит достаточно редко. Следует учесть, что если контент сайта обновляется регулярно, то в файл придется также регулярно вносить изменения самостоятельно, а это очень неудобно даже для небольших сайтов (5-10 страниц) и практически невозможно для крупных сайтов (от 50 страниц).

Создание Sitemap ручным способом целесообразно только для сайтов с небольшим количеством редко обновляющихся страниц.

Как создать файл самостоятельно?

Предположим что у нас есть сайт site.net, у которого есть страница «Контакты» (site.net/kontakty) и «Услуги» (site.net/uslugi).

С этими знаниями мы уже можем создать простейшую карту сайта, понятную поисковым роботам:

  1. Создаем текстовый файл sitemap.txt и изменяем расширение файла на .xml.
  2. Открываем файл и прописываем тип файла и кодировку:
    <?xml version="1.0" encoding="UTF-8"?>
  3. Ниже прописываем тег urlset, в качестве атрибута тега указываем применяемый стандарт:
    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    </urlset>
  4. Теперь прописываем тег url и указываем в нем тег loc, содержащий абсолютный URL главной страницы:
    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
      <loc>http://site.net</loc>
     </url>
    </urlset>

    5. Теперь дополняем список информацией об остальных страницах:

    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
      <loc>http://site.net</loc>
     </url>
     <url>
      <loc>http://site.net/uslugi</loc>
     </url>
     <url>
      <loc>http://site.net/kontakty</loc>
     </url>
    </urlset>

    Простейшая карта сайта со списком URL-адресов сайта, необходимых для индексации, создана. Такой вариант Sitemap будет нуждаться в обновлении только в случае увеличения количества страниц сайта.

  5. Теперь применим необязательные теги стандарта. Допустим, что мы располагаем информацией о том, как часто будут вноситься изменения на сайте:
    • главная страница будет меняться не чаще 1 раза в год,
    • страница Контакты будет меняться не чаще 1 раза в месяц,
    • страница Услуги будет меняться не чаще 1 раза в неделю.
  6. Мы можем указать поисковым роботам о возможной частоте обновлений, чтобы роботы могли посещать страницы с необходимой частотой. Для этого в каждом теге url указываем тег changefreq с нужными значениями:
    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
      <loc>http://site.net</loc>
      <changefreq>yearly</changefreq>
     </url>
     <url>
      <loc>http://site.net/uslugi</loc>
      <changefreq>weekly</changefreq>
     </url>
     <url>
      <loc>http://site.net/kontakty</loc>
      <changefreq>monthly</changefreq>
     </url>
    </urlset>
  7. Мы также знаем, что страницу «Услуги» мы желаем увидеть в результатах поиска раньше, чем другие страницы. Мы можем сообщить об этом роботам с помощью тега priority:
    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
      <loc>http://site.net</loc>
      <changefreq>yearly</changefreq>
      <priority>0.5</priority>
     </url>
     <url>
      <loc>http://site.net/uslugi</loc>
      <changefreq>weekly</changefreq>
      <priority>1.0</priority>
     </url>
     <url>
      <loc>http://site.net/kontakty</loc>
      <changefreq>monthly</changefreq>
      <priority>0.5</priority>
     </url>
    </urlset>
  8. После внесения изменений на страницах, мы также можем указать на это поисковым роботам, прописывая дату обновления каждой страницы с помощью тега lastmod:
    <?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
     <url>
      <loc>http://site.net</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>yearly</changefreq>
      <priority>0.5</priority>
     </url>
     <url>
      <loc>http://site.net/uslugi</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>weekly</changefreq>
      <priority>1.0</priority>
     </url>
     <url>
      <loc>http://site.net/kontakty</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.5</priority>
     </url>
    </urlset>

Мы разобрали ручной процесс создания и заполнения файла Sitemap в качестве ознакомления, однако на практике такой способ не применяется вовсе. Давайте рассмотрим более актуальные способы создания карты сайта в формате XML: онлайн-генераторы и программы.

Онлайн-генераторы

Онлайн-генераторы – это веб-сервисы, способные создавать карту сайта, полностью автоматизируя процесс ручного составления.

Существует много сервисов, предлагающих создание файла Sitemap XML в режиме онлайн с небольшими ограничениями бесплатно, или без ограничений за небольшую плату. При этом вы сможете выбрать, какую информацию следует размещать в XML-файле карты сайта. Вот список наиболее популярных сервисов:

Все указанные сервисы идентичны и без проблем создают Sitemap XML онлайн. Это удобно, однако в действительности данные сервисы не более чем автоматизируют ручной труд. Для сайта с небольшим числом статических (не обновляемых) страниц этого будет достаточно: создал, скачал, разместил на сайте и дал знать об этом поисковым системам. Однако если сайт имеет большое количество как обновляемых, так и статических страниц, а также регулярно пополняется новыми страницами – что делать в таком случае? Генерировать файл с помощью сервиса при каждом добавлении и обновлении страниц? Это будет, мягко говоря, не удобно. А если речь идет о тысячах страниц? Решить такую задачу помогут серверные программы для создания карты сайта.

С помощью программ

Использование специальных программ, установленных в серверной части сайта, позволяет не только автоматически создавать файл Sitemap в формате XML, но и автоматически обновлять его при:

  • изменении существующих страниц,
  • появлении новых страниц,
  • удалении страниц.
Как создать файл Sitemap автоматически?

В настоящее время подавляющее большинство сайтов базируется на системах управления контентом (CMS), для наиболее популярных из которых не составит труда найти необходимое стороннее расширение (программу), позволяющее автоматизировать процесс создания и обновления XML карты сайта:

При использовании расширений для CMS, способных создавать динамический (обновляемый на сервере) файл Sitemap XML, крайне рекомендуется разобраться в их настройках и верно настроить их функционирование, т. к. расширение не может читать мысли веб-мастера и способно добавить (или не добавить) в файл нежелательные (или желательные) к индексированию URL-адреса, а так же задать неверную частоту обновления и приоритеты для страниц.

Где взять файл Sitemap для самописной CMS?

Если сайт построен на самописной СMS, или для CMS не предусмотрена программа для создания карты сайта, то следует обратиться к веб-разработчику и поставить соответствующую задачу.

Примеры Sitemap XML

Рассмотрим примеры карты сайта в формате xml для одностраничного и многостраничного сайта и разберем их синтаксис.

Пример для одностраничного сайта

Ниже представлен пример карты сайта в XML-формате для одностраничного сайта (только один URL-адрес в списке) с использованием всех стандартных тегов.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>

</urlset>

Код примера с комментариями

Теперь, зная значения каждого тега стандарта, разберем вышеуказанный пример карты сайта с комментариями в коде:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов-->

 <url><!--Открывает список значений для URL-->
  <loc>http://site.net</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>monthly</changefreq><!--Регулярность обновлений (в данном случае ежемесячно)-->
  <priority>0.5</priority><!--Приоритет URL (в данном случае не актуален, т. к. страница только одна)-->
 </url><!--Закрывает список значений для URL-->

</urlset><!--Закрывает список-->

Информация для роботов

Из данной карты сайта поисковые роботы извлекут следующую информацию:

  • сайт содержит одну страницу для индексации,
  • URL данной страницы – http://site.net,
  • последний раз страница обновлялась 1 января 2005 года,
  • страница должна обновляться ежемесячно,
  • приоритет данной страницы относительно других страниц не учитывается, т. к. другие страницы отсутствуют.

Пример для многостраничного сайта

Теперь рассмотрим пример карты сайта в XML-формате для ресурса из нескольких страниц:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>
 
 <url>
  <loc>http://site.net/uslugi</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>weekly</changefreq>
  <priority>1.0</priority>
 </url>
 
 <url>
  <loc>http://site.net/kontakty</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>yearly</changefreq>
  <priority>0.5</priority>
 </url>

</urlset>

Код примера с комментариями

Теперь посмотрим на данный Sitemap XML с внутренними пояснениями к каждому тегу:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><!--Открывает список URL-адресов-->

 <url><!--Открывает список значений для URL-->
  <loc>http://site.net</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>monthly</changefreq><!--Регулярность обновлений (ежемесячно)-->
  <priority>0.5</priority><!--Приоритет перед другими страницами =0.5-->
 </url><!--Закрывает список значений для URL-->
 
  <url><!--Открывает список значений для URL-->
  <loc>http://site.net/uslugi</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>weekly</changefreq><!--Регулярность обновлений (еженедельно)-->
  <priority>1.0</priority><!--Приоритет перед другими страницами =1.0 (высший)-->
 </url><!--Закрывает список значений для URL-->
 
 <url><!--Открывает список значений для URL-->
  <loc>http://site.net/kontakty</loc><!--URL-адрес страницы-->
  <lastmod>2005-01-01</lastmod><!--Дата последнего обновления-->
  <changefreq>yearly</changefreq><!--Регулярность обновлений (ежегодно)-->
  <priority>0.5</priority><!--Приоритет перед другими страницами =0.5-->
 </url><!--Закрывает список значений для URL-->

</urlset><!--Закрывает список URL-адресов-->

Информация для роботов

Данный пример файла обеспечит роботов поисковых систем следующей информацией:

  • сайт содержит 3 URL-адреса для индексации;
  • страница http://site.net:
    • обновлялась 1 января 2005 года;
    • может обновляться ежемесячно;
    • имеет приоритет 0.5 относительно других страниц сайта.
  • страница http://site.net/uslugi:
    • обновлялась 1 января 2005 года;
    • может обновляться еженедельно;
    • имеет приоритет 1.0 относительно других страниц сайта (является самой важной).
  • страница http://site.net/kontakty:
    • обновлялась 1 января 2005 года;
    • может обновляться ежегодно;
    • имеет приоритет 0.5 относительно других страниц сайта.

Карта сайта в XML-формате для Google

Стандарт Sitemap XML основан компанией Google для ускорения процесса сканирования и индексирования сайтов. В отличие от роботов других поисковых систем, роботы Google способны учитывать дополнительную информацию, предоставляемую картой сайта в XML-формате.

Приведём и прокомментируем некоторые цитаты из Справки Google.

Зачем Google нужна карта вашего сайта?

Файл Sitemap позволяет сообщить Google и другим поисковым системам о том, как организован контент на вашем сайте. Поисковые роботы (например, Googlebot) просматривают этот файл, чтобы более точно индексировать ваши страницы.

Справка Google

Это стандартное описание значимости файлов Sitemap для поисковых систем. Однако, Google, как и Яндекс, не гарантирует, что все URL-адреса, указанные в карте сайта, будут проиндексированы:

Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.

Справка Google

Какие данные распознаёт Google?

Не удивительно, что роботы Google способны корректно распознавать все стандартные теги:

Файлы Sitemap также можно использовать для предоставления системе Google метаданных о ваших страницах. Это такие сведения, как дата последних изменений, периодичность обновления контента и важность страницы в сравнении с другими URL на сайте.

Справка Google

Иными словами, робот Googlebot без проблем поймет следующее содержание:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
  <loc>http://site.net</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>yearly</changefreq>
  <priority>0.5</priority>
 </url>
</urlset>

Однако, в отличие от других роботов поисковых систем, роботы Google способны распознавать дополнительные данные о других типах контента:

Файлы Sitemap также можно использовать для предоставления системе Google метаданных о типах контента, в том числе о видео и изображениях.

Справка Google

Это значит, что вы можете помочь Google упорядочить процесс индексации не только URL-адресов веб-страниц, но и медиа-контента. Робот Googlebot способен различать дополнительные теги, предоставляющую данную информацию:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
>
<url>
 <loc>http://site.net</loc>
 <image:image>
  <image:loc>http://site.net/image.jpg</image:loc>
  <image:caption>Подпись к изображению</image:caption>
 </image:image>
 
 <video:video>
  <video:content_loc>http://site.net/video-1.flv</video:content_loc>
  <video:player_loc allow_embed="yes" autoplay="ap=1">
   http://site.net/videoplayer.swf?video=1
  </video:player_loc>
  <video:thumbnail_loc>http:/site.net/thumbs/1.jpg</video:thumbnail_loc>
  <video:title>Название видео</video:title>
  <video:description>Краткое описание видео</video:description>
 </video:video>
 
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>

</url>
</urlset>

Робот Яндекса проигнорирует нестандартные теги из данного примера, а робот Google учтет их при сканировании и индексировании.

Какие форматы карт сайта поддерживает Google?

Google поддерживает файлы Sitemap в форматах XML или TXT. Кроме того, Google может использовать URL-адрес фидов RSS или Atom:

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что в нем может быть представлена информация только о последних URL.

Справка Google

Как создать Google Sitemap?

В большинстве случаев не требуется создавать отдельные карты сайта для разных поисковых систем: при их сканировании поисковые роботы примут к сведению понятную им информацию. О том, как создать файл Sitemap, понятный всем поисковым системам, смотрите выше по тексту. После этого при необходимости расширьте данный файл дополнительной информацией с помощью перечисленных ниже тегов, понятных роботу googlebot.

Как добавить Sitemap в Google?

Существует 2 способа указать поисковой системе Google на карту сайта:

  1. С помощью файла robots.txt

    Для этого необходимо указать в файле robots.txt ссылку на файл. Подходит для указания на карту сайта роботам всех поисковых систем.

  2. С помощью сервиса Google Search Console

    Актуально только для поисковой системы Google.

Добавление Sitemap в Search Console

  1. перейдите на главную страницу сервиса Google Search Console

    Требуется авторизация в поисковой системе Google. Если у Вас нет аккаунта, то необходимо его создать.

  2. выберите требуемый сайт

    Выберите сайт, файл для которого Вы желаете проверить. Если сайта нет – необходимо пройти процедуру добавления сайта.

  3. в левой колонке кликните Сканирование
    1. Список Sitemap в Search Console
    1. Список Sitemap в Search Console

    Развернутся дополнительные элементы навигации.

  4. перейдите по ссылке Файлы Sitemap
    2. Переход к проверке Sitemap в Search Console
    2. Переход к проверке Sitemap в Search Console

    Вы попадете на страницу со списком соответствующих файлов для данного сайта. При их отсутствии на странице будет сообщение «Файлы Sitemap для этого сайта отсутствуют».

  5. кликните кнопку ДОБАВЛЕНИЕ/ПРОВЕРКА ФАЙЛА SITEMAP
    3. Ввод URL-адреса карты сайта в Search Console
    3. Ввод URL-адреса карты сайта в Search Console

    Появится всплывающее окно с формой для добавления URL-адреса.

  6. вставьте URL-адрес и нажмите Отправить
    4. Добавление Sitemap в Google
    4. Добавление Sitemap в Google

    Файл будет добавлен в очередь для сканирования поисковым роботом Google, после чего на текущей странице будет отображаться отчет о состоянии данного файла: ошибки, предупреждения, количество отправленных и проиндексированных страниц.

Синтаксис Google Sitemap

Подробно разберем расширенный синтаксис карты сайта в формате xml, предоставляющий информацию роботам Google об изображениях, видео и новостях.

Карта сайта для изображений

Для изображений можно создать отдельный файл Sitemap или обновить уже существующий.

Справка Google

Для указания используемого пространства имен в теге urlset указывается атрибут xmlns:image со значением http://www.google.com/schemas/sitemap-image/1.1.

<?xml version="1.0" encoding="UTF-8"?>
<urlset 
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
>
<url>
 <loc>http://site.net</loc>
 <image:image>
  <image:loc>http://site.net/image.jpg</image:loc>
  <image:title>Название изображения</image:title>
  <image:caption>Подпись к изображению</image:caption>
  <image:geo_location>Геолокация объекта изображения</image:geo_location>
 </image:image>
 <lastmod>2005-01-01</lastmod>
 <changefreq>monthly</changefreq>
 <priority>0.8</priority>
</url>
</urlset>

XML-теги для изображений

image:image обязательный
Обязательный (при предоставлении информации об изображении) тег, размещаемый в теге url и являющийся контейнером для остальных тегов, предоставляющих информацию об изображении. Тег url может содержать до 1000 тегов image:image.
image:loc обязательный
URL-адрес изображения. Правила заполнения аналогичны правилам заполнения тега loc.
image:caption необязательный
Подпись к изображению (небольшое описание).
image:title необязательный
Название изображения (например, содержимое атрибута alt).
image:geo_location необязательный
Географическое расположение объекта изображения (если это актуально).
image:license необязательный
URL-адрес лицензии.

Карта сайта для видео

Предоставляя роботу Google структурированную информацию о видеороликах на сайте, мы способствуем скорейшему их индексированию и лучшему отображению на странице результатов поисковой выдачи:

Отправив в Google файл Sitemap для видео, вы сделаете URL своих роликов доступными для поиска в Google Видео.

Справка Google

Вот пример XML-кода карты сайта, содержащего все возможные теги для передачи данных о видеороликах, используемые Google:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
>
<url> 
 <loc>http://site.net/page.html</loc>
 <video:video>
  <video:thumbnail_loc>http://site.net/thumbs/1.jpg</video:thumbnail_loc>
  <video:title>Video Title</video:title>
  <video:description>Описание видеоролика</video:description>
  <video:content_loc>http://site.net/video1.flv</video:content_loc>
  <video:player_loc allow_embed="yes" autoplay="ap=1">
   http://site.net/videoplayer.swf?video=123</video:player_loc>
  <video:duration>600</video:duration>
  <video:expiration_date>2009-11-05T19:20:30+08:00</video:expiration_date>
  <video:rating>4.2<video:rating>
  <video:view_count>12345</video:view_count>   
  <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date>
  <video:family_friendly>yes</video:family_friendly>  
  <video:restriction relationship="allow">IE GB US CA</video:restriction>
  <video:gallery_loc title="Поисковая оптимизация">http://seo.site.net</video:gallery_loc>
  <video:price currency="RUB">1.99</video:price>
  <video:requires_subscription>yes</video:requires_subscription>
  <video:uploader info="http://site.net/users/vpupkin">
   Vasya Pupkin
  </video:uploader>
  <video:live>no</video:live>
 </video:video> 
</url> 
</urlset>
XML-теги для видео

Роботы Google способны распознавать большое количество обязательных и необязательных тегов для видео.

Обязательные теги
video:video обязательный
Размещается в теге url в качестве общего контейнера для остальных тегов, предоставляющих информацию о видео.
video:thumbnail_loc обязательный
URL-адрес, указывающий на изображение миниатюры для видеоролика. Изображение должно быть не менее 160x90 пикселей и не более 1920x1080 пикселей. Рекомендуются изображения в формате JPG, PNG или GIF.
video:title обязательный
Название видеоролика (максимум 100 символов). Все HTML-сущности должны быть экранированы.
video:description обязательный
Описание видеоролика (максимум 2048 символов). Все HTML-сущности должны быть экранированы.
video:content_loc обязательный
Обязательный тег, если не применяется альтернативный тег video:player_loc. Должен содержать URL-адрес, указывающий на файл видео. Этот файл может быть в формате MPG, MPEG, MP4, M4V, MOV, WMV, ASF, AVI, RA, RAM, RM, FLV или в другом формате.
video:player_loc обязательный
Обязательный тег, если не применяется альтернативный тег video:content_loc. Должен содержать URL-адрес, указывающий на проигрыватель видео. Обычно данный URL указывается в атрибуте src тега embed.
Необязательный атрибут allow_embed со значением yes или no может указывать Google на то, следует ли отображать видео в результатах поиска.
Необязательные теги
video:duration необязательный
Рекомендуемый к применению тег, содержащий продолжительность видео в секундах (допустимы значения от 0 до 28800).
video:expiration_date необязательный
Дата в формате W3C Datetime, по истечении которой видео больше не будет доступно. Данный тег не следует применять, если срок действия видео не ограничен.
Допустимые значения: полная дата YYYY-MM-DD или полная дата плюс часы, минуты, секунды и часовой пояс YYYY-MM-DDThh:mm:ss+TZD. Например: 2012-07-16T19:20:30+08:00.
video:rating необязательный
Рейтинг видеоролика в виде дробного числа от 0.0 до 0.5.
video:view_count необязательный
Количество просмотров видео в виде целого числа.
video:publication_date необязательный
Дата публикации видео в формате формате W3C Datetime.
Допустимые значения: полная дата YYYY-MM-DD или полная дата плюс часы, минуты, секунды и часовой пояс YYYY-MM-DDThh:mm:ss+TZD. Например: 2012-07-16T19:20:30+08:00.
video:family_friendly необязательный
Значение no указывается в случае, если видеоролик должен быть доступен только пользователям с отключенной функцией безопасного поиска.
video:tag необязательный
Тематическая метка (ключевое слово) в виде слова или словосочетания. Допускается до 32 тегов video:tag для одного видеоролика.
video:category необязательный
Категория видеоролика в виде строки длиной не более 256 символов.
video:restriction необязательный
Список стран с пробелами в качестве разделителей, в которых может или не может проигрываться видеоролик. Страны указываются в виде кодов в формате ISO 3166.
Для одного видеоролика допустим только один тег video:restriction.
При отсутствии тега video:restriction предполагается, что видеоролик может воспроизводиться не зависимо от территории.
Обязательный атрибут relationship может содержать значение allow (разрешает воспроизведение в указанных странах) или deny (запрещает воспроизведение в указанных странах).
video:gallery_loc необязательный
URL-адрес директории, содержащей список видеороликов (галерею), к которым относится текущий видеоролик.
В качестве значения необязательного атрибута title может указываться название галереи.
video:price необязательный
Стоимость загрузки или просмотра видеоролика. Должен указываться только для платных видеороликов. Может применяться несколько тегов video:price с различными значениями атрибутов для одного видеоролика.
В качестве значения обязательного атрибута currency указывается валюта в формате ISO 4217.
Необязательный атрибут type может указывать на вариант покупки. Допустимые значения: rent (аренда) или own (приобретение, используется по умолчанию).
Необязательный атрибут resolution может указывать на разрешение оплачиваемого видеоролика. Допустимые значения: HD и SD.
video:requires_subscription необязательный
Необходимость подписки для просмотра видео. Допустимые значения: yes или no.
video:uploader необязательный
Имя пользователя, загрузившего видеоролик.
Необязательный атрибут info может содержать URL-адрес страницы, содержащей дополнительную информацию о данном пользователе. Данный URL должен на одном домене с URL текущей страницы (указываемом в теге loc).
video:platform необязательный
Список платформ с пробелами в качестве разделителей, на которых может (или не может) быть воспроизведено видео. Допустимые значения: web, mobile и tv.
Для одного видеоролика допустим только один тег video:platform.
При осутствии тега video:platform предполагается, что видео может быть воспроизведено на всех платформах.
Обязательный атрибут relationship может содержать значение allow (разрешает воспроизведение на указанных платформах) или deny (запрещает воспроизведение на указанных платформах).
video:live необязательный
Указывает, транслируется ли видео в прямом эфире. Допустимые значения: yes или no.

Карта сайта для сервиса «Google Новости»

Роботы Google способны распознавать отдельный синтаксис Sitemap XML, предназначенный для сайтов, включенных в сервис Google Новости:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:news="http://www.google.com/schemas/sitemap-news/0.9"
>
<url>
 <loc>http://site.net</novost>
 <news:news>
  <news:publication>
   <news:name>Известия</news:name>
   <news:language>ru</news:language>   
  </news:publication>
  <news:genres>PressRelease, Blog</news:genres>
  <news:publication_date>2005-01-01</news:publication_date> 
  <news:title>Название новости</news:title>  
  <news:keywords>ключ, ключ, ключ</news:keywords> 
  <news:stock_tickers>NASDAQ:AMAT</news:stock_tickers>  
 </news:news>
</url>
</urlset>

Следует учитывать, что данный синтаксис не применяется совместно со стандартным синтаксисом, и его необходимо включать в отдельный XML-файл с картой сайта, предназначенный для поискового робота googlebot-news. Кроме того, существуют отдельные официальные рекомендации по созданию файлов Sitemap для Google Новостей.

Необходимо создавать отдельный файл Sitemap XML с синтаксисом для Google Новостей.

XML-теги для Google Новостей
news:publication обязательный
Контейнер для тегов name и language.
news:name обязательный
Обязательный тег, содержащий название новостного издания в статьях на сайте news.google.com.
news:language обязательный
Обязательный тег, содержащий код языка издания в формате ISO 639.
news:publication_date обязательный
Дата публикации статьи в формате формате W3C Datetime.
Допустимые значения: полная дата YYYY-MM-DD или полная дата плюс часы, минуты, секунды и часовой пояс YYYY-MM-DDThh:mm:ss+TZD. Например: 2012-07-16T19:20:30+08:00.
news:title обязательный
Название статьи (должно совпадать с HTML-тегом title).
news:genres необязательный
Список свойств с запятыми в качестве разделителей, характеризующий тип статьи. Возможные значения:
  • PressRelease (официальный пресс-релиз),
  • Satire (обсуждение в комической форме),
  • Blog (статья в формате блога),
  • OpEd (субъективное мнение в колонке редактора),
  • Opinion (субъективное мнение вне колонки редактора),
  • UserGenerated (пользовательский материал, прошедший модерацию).
news:keywords необязательный
Список ключевых слов с запятыми в качестве разделителей, характеризующих контент статьи.
news:stock_tickers необязательный
Список биржевых символов компаний, взаимных фондов или других финансовых организаций, которым посвящена статья, разделенный запятыми. Может содержать не более 5-ти значений.

Файл Sitemap для Яндекса

Отметим некоторые ключевые особенности относительно карты сайта, обозначенные в сервисе Яндекс.Помощь.

Для чего Яндексу нужны файлы Sitemap?

Файл sitemap учитывается при индексировании сайта роботом, однако Яндекс не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс Яндекса.

Яндекс.Помощь

Из данного утверждения можно сделать вывод, что робот Яндекса не обязан индексировать все URL-адреса, указанные в файле карты сайта, но принимает их к сведению.

Обычно робот Яндекса узнает о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако робот может не найти некоторые страницы или неверно определить их важность: проблемными обычно становятся динамически создаваемые страницы или страницы, на которые можно попасть, только пройдя по длинной цепочке внутренних ссылок. Файл sitemap помогает решить эти проблемы.

Яндекс.Помощь

Иначе говоря, файл с картой сайта способствует скорейшему сканированию страниц сайта роботом Яндекса, а следовательно, и скорейшему их индексированию.

Какие данные Sitemap XML поддерживает Яндекс?

Роботы Яндекса воспринимают только стандартные теги:

Поиск Яндекса не поддерживает передачу информации об изображениях, RSS/Atom-фидов с помощью файла sitemap.

Яндекс.Помощь

Возникает вопрос: нужно ли создавать отдельный файл карты сайта с расширенными данными, например, для Google? И как робот Яндекса воспринимает нестандартные теги?

Вот ответ из службы поддержки Яндекса:

В такой ситуации можно использовать один файл для всех, данные из неподдерживаемых тегов будут проигнорированы нашим роботом.

Платон Щукин

Какие форматы Sitemap поддерживает Яндекс?

Роботы Яндекса обрабатывают 2 формата карты сайта: XML и TXT.

Есть мнение службы поддержки Яндекса относительно использования страницы с картой сайта в формате HTML в качестве альтернативы:

HTML-карта сайта может стать альтернативой XML файлу sitemap, но робот воспринимает её в качестве обычной страницы сайта. Файлы в таком виде не позволяют передавать роботу дополнительные данные (частоту обновления страниц или приоритет при обходе сайта), также такие страницы будут обновляться роботом в соответствии с внутренними политиками обхода, XML же обрабатывается не реже 1 раза в 2 недели.

Платон Щукин

Как создать файл Sitemap для Яндекса?

Исходя из вышесказанного, не следует создавать отдельные карты сайта для роботов разных поисковых систем: каждый из роботов обработает ту информацию, которую способен воспринимать (робот Яндекса примет к сведению только стандартные теги).

Как добавить файл Sitemap в Яндекс?

После того, как файл будет создан, проверен и, если необходимо, откорректирован, на него следует указать Яндексу, чтобы поисковой робот как можно скорее начал его обрабатывать. Существует 2 способа это сделать:

  1. с помощью файла robots.txt

    Для этого необходимо указать в robots.txt ссылку на файл с картой сайта. Это подходит для указания на файл роботам всех поисковых систем.

  2. с помощью сервиса Яндекс.Вебмастер

    Актуально только для поисковой системы Яндекс.

Добавление карты сайта в Яндекс.Вебмастер

Для того, чтобы сообщить Яндексу о существующем файле Sitemap, необходимо:

  1. перейти на главную страницу сервиса Яндекс.Вебмастер

    Требуется авторизация в поисковой системе Яндекс. Если у Вас нет аккаунта, то необходимо его создать.

  2. выбрать требуемый сайт

    Выберите сайт, карту сайта для которого Вы желаете добавить в Яндекс. Если сайта нет – необходимо пройти процедуру добавления сайта.

  3. в левой колонке кликнуть Индексирование

    Развернутся дополнительные элементы навигации.

  4. перейти по ссылке Файлы Sitemap

    Вы попадете на страницу проверки и добавления соответствующих файлов для выбранного сайта.

  5. вставить в текстовом поле ссылку на файл и кликнуть Добавить

    После этого карта сайта будет добавлена в очередь на обработку. В последующем он будет регулярно проверяться роботами Яндекса. Если же в файле будут обнаружены ошибки или замечания, вы сможете их увидеть на текущей странице сервиса.

Как проверить файл Sitemap XML на ошибки?

Прежде, чем указывать поисковым системам на карту сайта, необходимо проверить её на наличие синтаксических ошибок. Проверка легко осуществляется с помощью валидаторов, предоставляемых поисковыми системами.

Проверка онлайн в Яндекс

Сервис Яндекс.Вебмастер предоставляет разработчикам и оптимизаторам отличный и удобный валидатор Анализатор файлов Sitemap. Он обладает рядом преимуществ и незначительными недостатками.

Преимущества валидатора от Яндекс

  • Не требуется регистрация

    Регистрация необходима для добавления, но не для проверки карты сайта.

  • Проверка по тексту

    Можно скопировать текст файла, не указывая ссылку на него. Это удобно, когда файл еще не размещен в Интернете.

  • Проверка по URL-адресу

    Если файл уже размещен в интернете, для проверки достаточно указать его URL-адрес.

  • Проверка загруженного файла

    Можно просто загрузить файл с локального компьютера.

Недостатки валидатора от Яндекс

  • не проверяет расширенный синтаксис

    Расширенный XML-синтаксис, понятный роботам Google, будет воспринят валидатором Яндекса как ошибочный.

Как проверить Sitemap в Яндексе?

Рассмотрим процесс проверки файла карты сайта в формате xml с помощью инструмента от Яндекса:

  1. Перейдите на страницу инструмента Анализатор файлов Sitemap:
    1. Анализатор файлов Sitemap Яндекса
    1. Анализатор файлов Sitemap Яндекса
  2. Скопируйте код XML-файла, вставьте в текстовую область и нажмите Проверить:
    2. Проверка XML-кода в валидаторе Яндекса
    2. Проверка XML-кода в валидаторе Яндекса
  3. Произойдет проверка кода на синтаксические ошибки, после чего внизу появятся результаты анализа:
    3. Результаты анализа Sitemap XML в валидаторе Яндекса
    3. Результаты анализа Sitemap XML в валидаторе Яндекса
  4. Если код будет содержать неизвестную Яндексу разметку (в том числе расширенные данные, понятные Google), то в результатах анализа будут отображаться соответствующие предупреждения:
    4. Предупреждения в валидаторе Яндекса
    4. Предупреждения в валидаторе Яндекса

При наличии ошибок и (или) предупреждений, ознакомьтесь со списком ошибок и предупреждений в анализаторе файлов Sitemap и изучите способы их устранения. После успешной валидации добавьте XML-файл с картой сайта в Яндекс, как написано выше.

Проверка онлайн в Google

Google предоставляет возможность проверки файлов Sitemap с помощью инструмента в сервисе Search Console. Данный инструмент имеет ряд недостатков по сравнению со способом проверки от Яндекса при одном явном преимуществе.

Преимущества валидатора от Google

  • проверяет расширенный синтаксис

    Search Console учитывает известные Google XML-теги стандарта для передачи данных о видео и изображениях и проверяет корректность их использования.

Недостатки валидатора от Google

  • требуется регистрация

    Необходима регистрация в сервисе Google Search Console.

  • проверка только размещенных в интернете файлов

    Нельзя проверить синтаксис, просто скопировав код файла, или загрузив файл с локального компьютера.

  • проверка файлов только для подтверждённого сайта

    Нельзя проверить файл Sitemap для сайта, не добавленного в Search Console.

Как проверить Sitemap в Google?

Рассмотрим процесс проверки XML-файла карты сайта в Search Console:

  1. перейдите на главную страницу сервиса Google Search Console

    Требуется авторизация в поисковой системе Google. Если у Вас нет аккаунта, то необходимо его создать.

  2. выберите требуемый сайт

    Выберите сайт, к которому относится проверяемый XML-файл. Если сайта нет – необходимо пройти процедуру добавления сайта.

  3. в левой колонке кликните Сканирование

    Развернутся дополнительные элементы навигации.

  4. перейдите по ссылке Файлы Sitemap
    1. Переход к списку Sitemap в Search Console
    1. Переход к списку Sitemap в Search Console

    Вы попадете на страницу со списком файлов для данного сайта. При их отсутствии на странице будет сообщение «Файлы Sitemap для этого сайта отсутствуют».

  5. кликните по кнопке ДОБАВЛЕНИЕ/ПРОВЕРКА ФАЙЛА SITEMAP
    2. Переход к проверке Sitemap в Search Console
    2. Переход к проверке Sitemap в Search Console

    Появится всплывающее окно с формой для добавления URL-адреса проверяемого файла.

  6. вставьте необходимую часть URL-адреса и нажмите Тест
    3. Ввод URL-адреса Sitemap в Search Console
    3. Ввод URL-адреса Sitemap в Search Console

    Начнется проверка указанного файла, по завершению которой появится соответствующее уведомление.

  7. кликните по кнопке Просмотреть результаты проверки
    4. Переход к результатам проверки
    4. Переход к результатам проверки

    Отобразятся результаты проверки файла.

  8. ознакомьтесь с результатами проверки и кликните по кнопке Закрыть
    5. Результаты проверки Sitemap|
    5. Результаты проверки Sitemap|

    Вы попадете на страницу проверки карты сайта в формате xml с отчетом об ошибках, после закройте результаты проверки, в случае наличия ошибок – исправьте их, проверьте файл еще раз и, убедившись в отсутствии ошибок, добавьте его в очередь для сканирования роботом googlebot.

  9. для добавления файла в Google вернитесь к пункту 6, но теперь нажмите Отправить
    6. Добавление Sitemap в Google
    6. Добавление Sitemap в Google

    Таким образом вы сообщите Google о существовании и расположении XML-файла, после чего поисковые роботы Google будут регулярно сканировать и проверять его на наличие обновлений.

  10. обновите текущую страницу Search Console
    7. Содержание файлов Sitemap в Google
    7. Содержание файлов Sitemap в Google

    После обновления текущая страница Search Console будет отображать статистику по проиндексированным ссылкам, указанным в карте сайта, а также информацию о наличии ошибок и предупреждений в случае их появления.

В случае, если будут обнаружены ошибки, ознакомьтесь со списком ошибок в Google Sitemap и изучите способы их устранения. После успешной валидации следует добавить Sitemap в Google (сообщить Google о наличии карты сайта).

Ссылки

Автор:
Оцените материал:
5.0/5

Комментарии  

Виктория +4
А как насчет карты сайта в формате HTML? Поисковики учитывают ее наличие на сайте при ранжировании?
05.02.2020 21:40 Ответить
Антон Майоров +5
Не исключено, что поисковики учитывают наличие карты сайта в HTML-формате как хостовый фактор ранжирования, но можно с уверенностью утверждать, что карта сайта на отдельной веб-странице упрощает навигацию по сайту реальным пользователям, тем самым улучшая юзабилити и поведенческие факторы. Т. е. даже если напрямую на ранжирование карта сайта в формате HTML может и не влиять, то может влиять косвенно через поведенческие, особенно на многостраничных сайтах с глубокой структурой.
05.02.2020 22:11 Ответить

Добавить комментарий