Блогеры, обязательно проверьте sitemap своих сайтов

map

Привет, друзья IdeaFox!

Сегодня будет сугубо технический пост, но думаю, что многие вздрогнут, как проверят свой любимые блоги : ) Сначала не хотел его писать, но вот только за сегодня получил пять вопросов по этому поводу… Видимо, многие даже не подозревают : )

Итак, мои знакомые блогеры столкнулись с тем, что у них пропала карта сайта в формате .xml. Все они использовали плагин под названием Google XML Sitemaps.

Эта проблема появилась после обновления плагина до версии 4.0, которое вышло на этой неделе. Само обновление проходит без проблем, но вот если проверить его работу…

Как проверить?

Если вы обновляли этот плагин, то обязательно проверьте карту по ссылке http://имя_сайта/sitemap.xml  Например, вот как выглядит мой sitemap:

image

http://ideafox.ru/sitemap.xml

Обратите внимание, что формат sitemap стал новым. Он разбит на множество мелких карт в соответствии со структурой блога. Теперь карта формируется динамически, и ее больше нет в корне сайта.

Убедитесь, что Яндекс корректно обработал (или обработает) карту в валидаторе. Он есть в Яндекс.Вебмастер.

map2

Если Вас выбрасывает на главную страницу или отдает ошибку 404, то у вас ПРОБЛЕМЫ : )

Чем это грозит?

Поисковые системы не находят карту сайта в формате .xml, и начинают медленнее индексировать сайт, возможно понижение в поисковой выдаче…. Обязательно проверьте, очень советую. Конечно, отсутствие карты не катастрофа, но она реально ускоряет индексацию сайтов.

Не знаю в чем дело, но на одном из своих подопытных блогов я так и не смог решить эту проблему – плагин не захотел нормально работать. Пришлось его удалить от греха подальше…

Что делать, если обновление прошло неудачно?

Зайдите в корень сайта, и найдите два файла под названием:

image

sitemap.backup.xml
sitemap.backup.xml.gz

И переименуйте их следующим образом:

sitemap.xml
sitemap.xml.gz

То есть, уберите из имени файла слово backup. Эти два файла были созданы автоматически, при обновлении плагина до версии 4.0.

Затем снова проверьте, как отображается sitemap в броузере. Если нормально, то не нужно узбагаиваться : )

Еще не все :

Дело в том, что от того, что мы переименовали эти два файла, плагин не станет работать нормально. Мы просто восстановили старую карту сайта, которая больше не будет обновляться… Нужно искать альтернативный плагин, который создает карту сайта для поисковых систем.

Какой выбрать? Представления не имею… Я пока оставил эти два файла, и ищу достойную замену. Да, полно вариантов, но я очень дотошный в таких делах, и не набрасываюсь на первое же решение : )

Что посоветуете использовать для таких целей?

На новости блога подписаться можно вот здесь: http://ideafox.ru/podpiska

Еще почитать:

  1. Делаем собственный сервис рассылок
  2. Коварный метод увеличения подписной базы
  3. Обновляем Better WP Security до iThemes Security

Только для блогеров и вебмастеров:

127 комментариев к «Блогеры, обязательно проверьте sitemap своих сайтов»

    • Мария, еще убедись, что Яндекс-Вебмастер и Гугл-Вебмастер нормально их обработал.

  1. У меня на блогинфо.биз плагин видимо еще не обновлен. Буду посмотреть завтра. А порекомендовать в качестве замены могу вот этот плагинчег: _http://bestwebsoft.com/plugin/google-sitemap-plugin/ Работает на одном блоге, как часы, на полном автомате. Переведен на русский и украинский.

    • Спасибо, Саш.
      Яндекс на тестовом блоге карту в новом формате прожевал без проблем

      • Короче тема такая у меня (на блогинфо). Плагин был обновлен, все в порядке, как ты в статье и писал. Но сегодня я в его настройки зашел, и там была фраза, выделенная красным. Говорилось что-то вроде «необходимо удалить старую карту, чтобы плагин смог нормально работать в новом динамическом режиме». Ну и есть ссылка на автоматическое удаление оной. Сделал — все ОК. И карта стала отображаться уже в новом формате.

        Спасибо, Дмитрий, за статью. А то не знаю когда бы сам до туда добрался и узнал об этом =))

        Я.Вебмастер и Гугл нормально схавали новый формат.

        А тот плагин, что я порекомендовал реально рабочий. Около года пользуюсь, проблем нет.

  2. А почему просто не отключить обновлне плагинов и обновлять их ручками.

    Я давно так делаю так как у меня обновлние плагинов разваливает форму комментариев.

    старая то карта почему не будет создаваться?

    • Можно и руками забивать каждый раз данные в xml-файл : ) но плагин обновляет еще и данные по старым ссылкам. Например, появился коммент, обновилась статья.

      • Кстати, я вот раньше в этом плагине после добавления новой статьи всегда обновлял карту вручную. Там прям ссылка была на построение новой карты. Даже не знаю, нужно ли было это делать, но мне казалось, что после публикации статьи он не сразу добавлял ее в карту =) Теперь уж точно этого делать не нужно, да и функции такой более нет (ручное построение).

    • Вот именно, что я и делаю все время и поэтому не приходится думать» … а что там у меня как дела обстоят с обновленным плагином?»
      Зачем обновлять то, что и так хорошо работает?

      • Александр, приветствую на блоге)
        Как зачем? Рано или поздно может возникнуть плагин между версией плагина и движком ВП.
        Да и дыры закрывают разработчики

  3. По поводу яндексвебмастера. Мне он говорит, что обновляет карту раз в две недели, а сейчас у него загружена старая и типа все окей… Ждем две недели, или я чойта не догоняю???

      • хорошая шутка! Особенно для блогера, у которого из посетителей — супруга и коллега по давней работе)))))) Просто осваиваю новые технологии…

  4. Этим советом ты меня спас от поседения:)

    Если найдешь альтернативу, свистни. А я спрошу у знакомого веб-программиста, как появится в Сети:)

    • Ольга, помню)
      Саша плагин советует в комментах выше, но я его пока не проверял. Саша тоже дотошный в таких вопросах : )

        • Александр, тут еще подсказывают, что есть модуль в All in Seo Pack
          А я даже не обращал на него внимание)
          Он ничуть не хуже

          • Кстати, да. Относительно недавно появилась такая функция. Но я что-то не стал ее активировать, т.к. уже плагин это делал. Надо попробовать (минус плагин =)

    • Все правильно. Блогер должен жить в постоянном страхе и ужасе : )
      Не расслабляться : )

  5. Ложная тревога, зато держит в постоянной боевой готовности мозг вебмастера. У меня всё нормуль…
    Спасибо, товарищ, враг не дремлет:)

      • Дмитрий, вот только сегодня у меня плагин вечером предложил обновиться до версии 4.0.3 и всё прошло хорошо, предложений снести старую карту плагин не было.
        В валидаторе всё проверил, хотя вид у карты необычный слегка, я бы сказал.
        Наверное, для Украины обновления позже дают, сначала на вас проверят, потом нам предлагают :)
        Спасибо за ценные советы!

    • Николай, а карта-то у вас до сих пор в старом формате =)) Посмотрите выше один из моих камментов, там я писал, что нужно еще некоторые манипуляции проделать (удалить старые карты средствами самого плагина)

      • Александр, у меня нет никакой красной строки с предложением удалить старую карту, подожду обновления плагина.

  6. Я сначала было испугалась когда в браузере открылся ситенап моего блога с пустой страницей, все дело было в том что с www он кажет страницу нормально, а без них выдает пустую страницу.
    Спасибо Дмитрий за предупреждение!

  7. О, Сергей. И правда, в All in Seo Pack — есть вполне нормальная карта. Спасибо большое — даже не знал про нее)
    Одним плагином меньше
    Она активируется в «Другие модули»

    • а у меня гугл предупредил — «Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt». Будем рыть дальше, играть с настройками… Кстати, самих сайтмапов все-равно не вижу в корне сайта…

  8. Прямо с понедельника закошмарил — спасибо, конечно…
    Иду смотреть…

    • Ответ валидатора:
      Ошибок не найдено

      Не, ну так и инфаркт можно схватить, правда при моих отношениях с Яндексом они хуже не станут.

        • Не, ну взял, гад и сам обновился Вордпресс и теперь появилась надпись: Конфликт с неизвестным файлом /home/users1/m/myrassilka/domains/myrassilka.ru/sitemap.xml.gz.
          А при моих познаниях только брать мыло и верёвку намыливать…. HELP!!!

  9. В настройках плагина All in One Seo Pack есть модуль «Карта сайта». Найти его просто: «Инструменты SEO» — «Другие модули» — «Карта сайта». Если активировать модуль, то он построит точно такую же карту сайта. и не нужно дополнительных плагинов.

    • Я так и сделала! И всё наладилось… и мыло с верёвкой положила до следующего обновления… :)

      • опять… обновился…
        при проверке в валидаторе пишет:
        Файл Sitemap не должен быть главной страницей сайта.
        Homepage url is not allowed.
        Зашла я в этот кошмар, что картой зовётся и вижу первой строчкой следующее:
        myrassilka.ru/ 100% Daily 2014-03-26 22:20
        а потом:
        myrassilka.ru/konkursy/vesennij-konkurs-moj-laskovyj-i-nezhnyj-zver.html/
        ТЕПЕРЬ ВОПРОСС:
        удалять эту первую строчку или нет?
        Потому что я сама боюсь решать такую страшную проблему…
        HELP! заранее благодарю…

          • Галина, привет)
            Удалять ничего не надо. Скорее всего в валидатор ввела ссылку на сайт.
            А нужно вводить myrassilka.ru/sitemap.xml

  10. Спасибо за пост и предупреждение, но я недавно отказался от этого плагина google sitemap generator в пользу All In One SEO, когда у этого плагина появился доп. модуль с картой сайта

  11. Осталось только кому-то видеоролик сбацать, обучающий, по настройкам))))))))

    • Если после обновления плагина пройдешь по ссылке на свой sitemapи и увидишь 404 ошибку или главную страницу, то проблема.
      Но перед проверкой зайди в настройки плагина и прочитай красную надпись, которая предлагает удалит старые версии карты.

  12. Обратите внимание, что формат sitemap стал новым. Он разбит на множество мелких карт в соответствии со структурой блога. Теперь карта формируется динамически, и ее больше нет в корне сайта.

    Проверял, старый на месте, в яндекс вебмастере ошибок нет.
    Но только не понял до конца.
    А если не обновлять Дмитрий плагин, оставить старый формат sitemap, поисковики станут хуже сайт индексировать?

    • Если не обновлять, то на свой страх и риск, как говорится.
      Может получиться так, что он начнет глючит на ВП 3.9.
      Отик, в All in Seo Pack — есть хороший аналог. Глянул — очень даже)

  13. спасибо за инфу.:-)))
    вроде все проверил и как назло все работает, никаких ошибок никаких выбросов и перебросов… яндекс все проверяет на ок.
    все само-собой стало как у вас на сайте(как активировал автоматическое удаление старых карт).
    Почитал форумы по поводу плагина на зарубежных сайта, там тоже легкий кипишь — у кого-то ок, у кого-то нет… рекомендуют уходить на «Better WordPress Google XML Sitemaps». Пока ничего не понятно — а вдруг это изменение к лучшему?:-)))

    • За полтора года ведения блога на вордпресс, я прихожу к выводу, что вордпресс и виндовс одинаково глючные. Объясните мне, вот почему у одного все нормально, а у другого глюки идут. Причем сие может возникать на одинаковых шаблонах и с одинаковой верией ВП.

      • Артем, еще многое от хостинга зависит. Например, версия PHP тоже имеет значение. Или собственная политика безопасности хостинга. отсюда часто бывают необъяснимые косяки)

          • Ну, и про плагины нельзя забывать =) И про некоторых пользователей, которые ручками ковыряются там, где не обязательно ковыряться. Виндовс тоже может быть весьма стабильной ОС при относительно прямых руках и соблюдении «гигиены» :)

  14. Да уж… Жути нагнал Дмитрий! :-)
    Проверил, всё работает. Попытался найти модуль в СЕО паке не смог. Где рыть то? Вдрдуг пригодится.

    • Василий, это резервные копии карт сайта, сделанные при обновлении плагина.
      Можно оставить.

  15. Привет. Не обновлял плагин) зато движок обновил. И решил начать почти с чистого листа, с винкоса, с того блога с которого с тобой одновременно начинали. А нубит… пока живет, как архив пусть будет. А то все же писать в то, что никак не индексируется и то где посещалка зависит от ПС, желания нет.

    Буду о Якутии да про Якутск фото отчеты писать)) весна все таки, камера уже не мерзнет.

  16. Дима, спасибо за статью, без тебя бы и внимания не обратила, я в этих делах далеко не мастер. Плагин обновила, проверила, как ты сказал, вроде всё ок.

  17. У меня еще давно этот говенный плагин ничего не создавал, поэтому использую модуль из сео-пака. Видимо у разработчиков хроническая рукожопость.

    • Вот, вот. Я тоже с этим плагином карту всегда вручную строил, после написания статей. Хотя периодически он и сам что-то там строил, но не тогда, когда нужно мне

  18. Снимаю шляпу перед трудами Дмитрия. Даже и не знаю, что бы я делал без его мудрых советов. Технарь из меня — на «троечку», поэтому всегда прислушиваюсь к советам специалиста. Говорю как на духу, не подлизываюсь. Ни раз и ни два, Дмитрий оказывал мне посильную помощь.
    Ах, какая же для меня мука — залезать в эти чертовы коды. Да делать нечего, сегодня же вечером — проверю плагин. Хотя, что-то не помню, чтобы были его новые версии. А может быть, обновил и внимания не придал. Вот новую версию Вордпресса закачал на прошлой неделе, это — я точно помню. Если не ошибаюсь, номер 3.8.1. Если честно, как-то мне не очень последние версии: этот мрачный черный фон — в админке…

    • Пож-та, Василий)
      Правда, сегодня ВП должен был автоматом обновиться до версии 3.8.2
      Если не обновился автоматически, то нужно это сделать вручную, так как закрыли несколько дыр безопасности.

      • Сегодня вышло обновление «Гугл Сайтмап» — до версии 4.04. Обновился. Через пару часов проверяю: из индекса «Яши» выпало половина страниц. Констатирую снижение посетителей примерно в 2 раза. Проверил файл «Сайтмапа» на «валидацию» на «Яндекс Вэбмастере». Выдает: «Ошибок нет». На главную страницу, при проверке — не выбрасывает и «Ошибку 404» не выдает.
        Дмитрий, как думаешь, что нужно сделать? Добавить файл, сгенерированный новой версией плагина, на страницу «Файлы сайтмап» Вебмастера или первоначально сделать запрос Платонам?

        • Василий, а в Вебмастере Яндекса ранее заносил ссылку на свой сайтмап?
          Вообще, у ЯНдекса бывают такие глюки — просто убедись, что страницы есть в поиске. То есть, находишь статью, которой якобы нет в поиске и ищешь ее через поисковик.
          Не раз и не два видел такое.

          • Да, в «Вэбмастер» я ранее заносил ссылку. Направил запрос Платонам — по своей ситуации. Пока — тихо. Приходится констатировать тот факт, что трафик с «Яндекса» понизился более, чем в 2 раза. Причину пытался анализировать, но пока не нашел. Однако, факт остается фактом: все это последовало сразу же за обновлением «Гугл Сайт мап» до версии 4.0 и — через пару дней — до версии 4.04. При этом, валидация проходит успешно, что и отображается на соответствующей странице «Яндекс Вебмастера».
            Что делать далее, ума не приложу.
            Дмитрий, прошу помочь. Может, есть какие мысли по ситуации?

          • Василий, не думаю что это случилось из за карты сайта. Ее единственная цель — ускорение индексации. Многие блоги вообще без sitemap работают.
            В твоем случае скорее сезонный спад. Да и праздники были…

  19. Привет всем:)
    Думаю кто начал искать аналог плагину, вы необдуманно спешите!
    Возможно плагин и вышел с багом, но он не перестал выполнять свою идею и функцию для поисковых систем. Теперь записи он ведет не в файлах с расширением xml и xml.gz а где-то в другом месте. Из-за этого и требует удалить их. При удалении он их не удаляет, а переименовывает в sitemaps.backup.xml. И кстати советую оставить эти файлы. Возможно в следующим обновлении они будут задействованы. У кого карта приняла новую структуру, то это замечательно:)

  20. Привет, искал решение проблемы почитал успокоился, но решил разобраться с проблемой. В итоге все заработало — нужно убрать все лишние проблемы перед началом строк и между строками в файле functions.php в папке вашей темы. и сразу начинает все работать. удачи!

      • Извини опечатался, пробелы надо убрать между строками, перед строками и после строк

      • Дмитрий, я только всему учусь и я не нашла этого файла, про который говорит Александр. Вы мне не подскажите где это?

  21. Странный конечно плагин стал. Раньше для того, чтобы собрать все url блога можно было включить определенную прогу, спарсить сайтмап и проверить все ссылки на индексацию.

    Сейчас через сайтмап собрать url не получается (

    Зря обновил плагин, а старую версию фиг найдешь.

    • Александр, есть аналог в Алл-Ин-СеоПак. Он генерит карту в старом формате. Ты им вроде пользуешься? Включается в «Других Модулях» AISP
      Они изменили формат карты, так как в старом виде есть ограничение по количеству строк в СайтМапе, которое равно 50 000.
      Видимо, из этих соображений сделали.

    • Все обновления зло :( Я тоже обновил плагин и только сегодня заметил, что в сайтмапе не хватает штук 70 новых статей (( И еще удивлялся, что новые статьи индексироваться не хотят.. Жесть конечно.

        • Не, ну можно же просто сравнить количество публикаций на сайте с количеством страниц в сайтмапе Гугл веб-мастер (отправлено). В отличие от Яндекса здесь можно вручную отправить карту сайта после исправления. Спасибо кстати за статью. А то в панике был не знал, то ли плагин косячит, то ли я ))

    • Я тоже пожалел, что обновился. Нужно было подождать. Да делать уже нечего. В очередной раз выявилась зависимость блогера от «Яндекс — поиска». «ЯНДЕКС» — ЭТО НАШЕ ВСЕ…

  22. Дмитрий, можно посоветоваться? Я например в валидаторе ввела ссылку __www.blog-travuscka.ru/sitemap.xml , а он показал что это ошибка, хотя сама страница открывается вполне нормально без проблем… Почему тогда он считает ошибкой?

  23. Дмитрий попробуйте плагин «WordPress SEO by Yoast» и плагин полезный и сама карта функциональней.

    • Спасибо, Александр.
      Но на данном этапе лучше не менять сео-плагин. А вот на новых проектах имеет смысл попробовать

  24. Появился такой вопрос. У меня с февраля, в панели для веб-мастеров Гугла перестали добавляться новые статьи в индекс. Там были две цифры — отправлены и проиндексированы (сюда перестали добавляться).
    Сейчас после обновления плагина, осталась только одна цифра — отправлены — 188 (все статьи), а в проиндексированы вообще ничего нет. Это у меня только так?
    В настройках сайта вообще ничего не менял, только в файле robots.txt закрыл от индексации файлы с расширением php.

    • Ты сам ответил на свой вопрос. Весь вордпресс работает на пхп. У тебя конкретный файл в роботсе или все в пхп?

        • Вообще на 100 процентов не буду утверждать, хоть и без расширений показываются ссылки в вордпрессе, но у него все исполняемые файлы в пх так что убери

  25. Вот это статья Дмитрий…А резонанс то какой вызвала:) Я еще сам не проверял,но обязательно проверю.Спасибо за очередной ликбез!

  26. Дмитрий, не думаю, что это сезонный спад. Сейчас решил проверить сайтмап через «Гугл Вэбмастер». А вот он, в отличии от аналога «Яндекса», выдает ошибку:
    Общая ошибка HTTP: 404 Не найдено
    Ошибка HTTP: 404
    А вот и описание ошибки:
    При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
    Попробую поковыряться дальше.
    У кого есть подобная проблема, прошу помочь мне в ее разрешении. Заранее благодарен.

    • Глянул на твою карту — она имеет другой формат. Плагин сейчас генерит ее иначе. Да и последняя запись от 28 марта.
      Ты восстановил файл, как было написано в этой заметке?

  27. Я решил пока повременить. Тем более, ты сам пишешь, что плагин — после этого — не будет обновляться.
    Кроме всего прочего, я смотрю: новые версии плагина — ЗАЧАСТИЛИ (4.0, 4.04)… Очень надеюсь, что этим — разработчики пытаются исправить баги…
    Жаль, конечно, трафик, но все-таки — пережду,понаблюдаю.
    Спасибо.

    • Василий, небольшой совет.
      Посмотри как ведет себя посещаемость в разных поисковых системах. Например, сравни посещаемость за сегодня (понедельник) и прошлые понедельники.
      1. Если трафик из Гугла и Яндекса падает синхронно (например, на 20%), то это сезонный спад или внимание людей обращено на что-то другое (Украина)
      2. Если трафик падает несинхронно, то это может быть признаком проблемы со стороны поисковика.

      • Спасибо Дмитрий.
        Вроде бы отпустило, трафик полился снова. Ответ Платонов не впечатлил. Мол, у нас проблем не наблюдается, ищите со своей стороны — да обрящите.
        А так, кто его знает — что это было…

  28. Добрый день.
    К сожалению у меня снова название файлов возвращается назад и появляется слово backup. Не могу понять, что мне делать. Я сделал новую карту и загрузил ее, но ничего не помогает, теперь пишет :
    This page contains the following errors:
    error on line 2 at column 6: XML declaration allowed only at the start of the document
    Below is a rendering of the page up to the first error.

  29. Кстати забыл спросить, на самом блоге тоже надо делать замену, если да, то где?

  30. sitemap.backup.xml
    sitemap.backup.xml.gz

    И переименуйте их следующим образом:

    sitemap.xml
    sitemap.xml.gz

    То есть, уберите из имени файла слово backup. Эти два файла были созданы автоматически, при обновлении плагина до версии 4.0.

    Затем снова проверьте, как отображается sitemap в броузере. Если нормально, то не нужно узбагаиваться : )
    Привет, после переименования файлов, у меня они сами переименовываются назад и я снова получаю
    sitemap.backup.xml
    sitemap.backup.xml.gz

    • Виктор, скорее всего у вас на эти файлы по неведомой причине выставлены права 444
      Поставьте 644

  31. нет, просто на блоге где-то есть старые копии XML карты, пишет плагин и их надо удалить, а где не могу найти

  32. У меня все нормально.Проверила.Даже не знала,что есть проблемы.В последнее время Яндекс плохо индексирует.Может быть причина ,как раз, в sitemap .Спасибо.

  33. У меня версия плагина 407. Я полностью перезаливала сайт. Теперь при нажатии на мою карту в хмл в плагине выдает Not Found The requested URL /sitemap.xml was not found on this server. И в кабинетах вебмастеров не видно этой карты. Плагины сео не использую, т к в шаблоне есть сеоблоки. Что мне делать?

    • Так в плагине включите карту (там вроде как должна быть красная надпись). В комментариях писали про такой случай. Если не поможет. то попробуйте переустановить плагин.

      • Хм. А вот у меня после обновления плагин забэкапил старые файлы, а новую карту не создает никак.

        Не подскажите, как решить?

        • Еще зайдите в настройки плагина, посмотрите предупреждения, которые там могут быть написаны
          Если не ошибаюсь, там должна быть надпись красными буквами о том, что нужно что-то нажать (где-то в комментах писали здесь)

          • Да, это предупреждение говорит о том, что нужно удалить файлы с сервера. Окей, он их не удаляет, а переименовывает. Их можно удалить.

            Проблема заключается в том, что обновленный плагин Google XML Sitemaps строит карту по новому, т.е. ему не нужны теперь физические файлы на сервере, но у меня он не работает :)

  34. Спасибо за статью! Хорошо, когда вебмастера могут ткнуть носом туда, куда и додуматься не может, чтобы заглянуть.
    Пару дней назад обнаружил ошибку в «Вебмастер» от яндекса, что у меня ошибка в карте сайта sitemap.xml.gz, решил проверить и понял, что эта карта у меня не полная и новых статей там нет. Вот наткнулся на вашу статью, теперь вижу, что не один я такой. Буду исправлять!

    • Э… а зачем такие страдания?
      Если только движок экзотический или самописанный?

      • А чего там страданий то? Делов то на 30 сек, после написания статьи отредактировал файл через фтп и все. Зато уверен, что никакой плагин в таком серьезном деле тебе собаку не подложит.

Оставить комментарий