Sitemap.xml и Robots.txt для блога

Robots.txt и Sitemap.xml создаём

для блога на Blogger

  С созданием карты блога для поисковых роботов Sitemap.xml на Blogger (Blogspot) до недавнего времени было все довольно сложно. Зато теперь после последних обновлений это довольно элементарное дело.
Создаём Sitemap.xml и Robots.txt
 Нужно лишь к веб-адресу блога дописать:
 /sitemap.xml,
тогда ссылка на карту для поисковых роботов будет выглядеть вот в таком виде:
Пройдя по этой ссылке можно автоматически сгенерировать карту блога для поисковых роботов и сразу же можно её закачать себе на компьютер для ознакомления. Сейчас больше не надо напрягаться с вопросом, какую ссылку предоставить поисковикам как карту сайта. С этим в настоящее время нет никакой проблемы.

  Теперь, когда нам стало известно как создать карту блога для поисковых роботов нужно об этом сообщить поисковому роботу. через информацию в файле Robots.txt. В файле можно записать о том, что нужно индексировать и определить адрес страницы sitemap.xml. При этом с проходом робота по прописанному адресу автоматически сгенерируется Sitemap.xml.
  Для этого из админки блога проходим в "НАСТРОЙКИ", затем в "Настройки Поиска" и ставим точку в кружке "Да" включая тем самым "Пользовательский файл Robots.txt". Откроется окно в котором нужно прописать, что именно вы хотите разрешить или запретить для индексации и адрес страницы карты блога для поисковых роботов Sitemap.xml на Blogger.
  По умолчанию в файле robots.txt прописано следующее:

User-agent: Mediapartners-Google
Disallow:


User-agent: *
Disallow: /search
Allow: /


Sitemap: http://
ob-bl.blogspot.ru/feeds/posts/default?orderby=UPDATED

  Объяснять что к чему не обязательно, а кто разбирается - поймет.
Вы же должны в файл Robots.txt скопировать и вставить следующий скрипт:

User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex 
Disallow: /search 
Disallow: /p/search.html 
Allow: /

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://ob-bl.blogspot.ru/sitemap.xml

  После вставки обязательно замените домен этого блога, выделенный красным цветом, на домен своего блога. Не забудьте сохранить изменения в файле robots.txt.
  Теперь надо настроить персонализированные теги robots для заголовков. Включение их находится сразу под настройкой файла robots.txt. Чтобы правильно настроить персонализированные теги robots посмотрите на картинку и расставьте галочки также как это сделано на ней. По окончании сохраните настройки.
  Таким образаом теперь создан файл Robots.txt в котором прописан веб-адрес к странице карты блога для поисковых роботов Sitemap.xml на Blogger. Заодно настроены и персонализированные теги robots для заголовков. Посмотреть его можно по адресу: http://ob-bl.blogspot.ru/robots.txt
  Проверить наличие вновь созданного файла Sitemap.xml, а также корректность его с точки зрения Яндекса можно в Яндекс-мастере с помощью валидатора файлов Sitemap. Для этого кликните по картинке.
  В открывшейся вкладке выберите источник данных для проверки - по ссылке. В появившемся окошке введите адрес файла Sitemap.xml. Для этого блога адрес файла выглядит следующим образом: 
http://ob-bl.blogspot.ru/sitemap.xml
  Вместо доменного имени данного блога вам нужно будет подставить доменое имя своего блога.



6 комментариев:

  1. Привет. Почти всё получилось. Единственной при проверке на яндексе выдаёт ошибку "Произошла внутренняя ошибка. Попробуйте повторить попытку позже." При попытке создать робофайл на сторонних ресурсах тоже выдаёт ошибку "Прочие ошибки при сканировании(1):
    Переадресация на http://svitovikazki.blogspot.de/ http://svitovikazki.blogspot.com/"

    ОтветитьУдалить
  2. В первый раз слетело почему-то, второй раз получилось, спасибо!

    ОтветитьУдалить
  3. Спасибо за полезную статью! Мира вам, счастья и удачи во всех делах

    ОтветитьУдалить
  4. очень полезно спасибо большое, только спам слева про бесплатные авиабилеты напрягает

    ОтветитьУдалить