Хороший способ быстро проиндексировать сайт в Google и проверьте авторство своих статей : )

Привет, друзья IdeaFox!

Сегодня будет совсем простой технический пост, который может быть полезен веб-мастерам и блогерам. Как говорится, извините за оффтоп :- )

Началось все с того, что недели три назад Гугл стал неохотно индексировать сайт моей жены (совсем перестал), и я стал копать в этом направлении.

Стандартные методы с твитами и соц.сетями не помогали, даже не знал, что делать. Перепробовал все, что возможно.

Почитал форумы и в очередной раз содрогнулся от  воплей ужаса вебмастеров, которые столкнулись с такой же проблемой, а старые методы тупо не работают.

Не знаю, что за люди обитают на Серче, но они явно нервные, и хожу на этот форум только по большой нужде : — )

В порыве отчаяния :) полез в панель для вебмастеров Google, и обнаружил довольно интересный инструмент, который помог быстро загнать в индекс все нужные страницы её сайта.

Видимо, эта возможность появилась совсем недавно, так как не видел ее полгода назад, когда решал вопросы с индексацией одного проекта…

Если же эта фича существует веками, то поправьте Капитана Очевидность, пожалуйста : )

Что я сделал?

1. Заходим в панель для вебмастеров Гугл, выбираем нужный сайт, и нажимаем на пункт меню “Сканирование”. Затем кликаем на “Посмотреть как Googlebot”

image

2. Указываем адрес страницы, которую нужно загнать в индекс Google, и нажимаем на кнопку “Получить содержимое”

image

Появляется предупреждение “Ваш запрос выполнен”, а напротив нашего адреса появляется надпись “В ожидании”

image

Наконец, видим вот такую красоту:

image

Естественно, нажимаем на кнопку “Отправить в индекс” и видим последнее окно:

image

Я указываю параметры как на скриншоте и нажимаю на кнопку “Отправка URL на индексирование”. Если указать “URL И все связанные страницы”, то таких запросов на сканирование можно сделать не более 10 раз в месяц.

Что любопытно, все страницы влетели обратно в индекс буквально за сутки, и там остались. Хотя, до этого неделю ковырялся и никак не мог добиться желаемого результата.

Ограничения:

image

1. Таким образом можно делать запрос на индексирование не более 500 раз в неделю для одиночных страниц

2. И не более 10 раз для одиночной страницы + все связанные с ней страницы.

Попробуйте, может у кого-то есть проблема с индексацией от этого американского поискового гиганта. Лично меня он выручил : )

Обязательно проверьте авторство своих статей

Кстати говоря, непременно зайдите в раздел “Лаборатория” и кликните на “Статистика для автора”.

image

Там будут отображены все Ваши страницы, которым принадлежит Ваше авторство. Обязательно это сделайте!

Я подробно описывал как подтвердить авторство своих статей (и защитить от копипастеров)  вот в этой заметке: http://ideafox.ru/pro-blog/kak-uvelichit-poseshhaemost.html

Советую прочитать:

  1. Ускорение индексации сайта: моя рабочая схема
  2. Лучше сделайте пару кривых фоток
  3. SEO-похороны: вечеринка с бубном закончилась. Наступает время филологов и лингвистов.

Только для блогеров и вебмастеров:

82 комментария к «Хороший способ быстро проиндексировать сайт в Google и проверьте авторство своих статей : )»

  1. Я как раз зашла к тебе, чтобы поделиться в теме про вымирающий автономный блогинг, что, оказывается. не хочу трафик с поисковых систем. Он некачественный. Люди приходят с ФБ и остаются на сайте по полчаса, а если с поисковых систем, то не остаются вовсе. Наверное, даже для магазина я бы ФБ использовала и другие социальные сети. Ну эти поисковики с их … своеобразием…
    У нас одна шикарная кулинарная студия сайта не имеет, только на ФБ живет и ведь на мастер-классы очереди.

    • Трафик с ПС весьма одноразовый)
      Посетители с ПС ищут инфо и быстро бегут дальше…
      Но и отказываться от него не стоит.
      Что-то задела тебя та заметка, Галина?

      • да, удивительно сильно задела :)

        почему?
        чтобы подстроиться под поисковые машины, нужно шибко напрягаться, это меня злит ))
        я считаю, что лучше писать очень качественно, осмысленно и прочувствованно
        для меня немыслимо писать заголовок, учитывая ключевые слова
        заголовок — то, что идет изнутри
        он рождается сам, как его можно изнасиловать ключевыми словами?

        более того, меня злит блогинг сам по себе, когда он создается в расчете на заработок и поисковые машины

        а соцсети — они человечные, простые, понятные
        живи по человеческим законам, уважай других, замечай их, делай хороший контент и соцсети дадут тебе отдачу

        а поисковые короли… не люблю централизованные, монопольные виды управления )) вот, пожалуй, это главное ))

        • Ну, для коммерческих проектов придется подстраиваться под ПС)
          Это реалии, от которых никуда не деться…

          Галина, а что тебе мешает написать отличный текст (без оглядки на плотность ключевых слов), а затем аккуратно вставить 2-3 ключа в текст? Это займет не более 5-10 минут после написания текста.

          Поисковые системы с радостью проглотят такой текст и не подавятся:)

    • У меня с поисковиков, с Яндекса особенно, идет почти половина трафика. А Гугл меня что-то недолюбливает. Хотя все делаю, чтобы ему «понравиться»:и аккаунт создал, и в «Гугл Закладки» — регулярно анонсы закидываю. Бесполезно…А зависеть только лишь от «Яндекса» — опасно и чревато…

      • Василий, так не бывает, чтобы трафик равномерно делился между ПС ) Как правило, либо превалирует Яндекс, либо Гугл.
        Часто слышал об этом и читал. Да и наблюдаю каждый день)

        • Привет, хмм….у меня ровно фифти-фифти. Могу даже даже дать посмотреть…
          Вот меня вопрос интересует, как PR набрать…?

          • Привет, Жень.
            PR — это ссылочное… Причем, алгоритм толком не известен и часто молодым блогам дают PR=3.

        • Я имел в виду: с «Яндекса» — половина, все остальные источники трафика (включая Гугл) — вторая половина…

  2. Дмитрий, Дмитрий… Что бы я без тебя делал? =) Действительно, познавательный пост. В первый же выходной буду всё это делать со своим сайтом, а то почти 2 года уже ему, а посещаемость до сих пор 100 чел/сутки, что-то тут не чисто =). Поискового трафика, кстати, вообще нет. Только по 3-4 фразам идет поисковый трафик (доменное имя моего сайта, моя фамилия, и мое имя с фамилией), это просто бред какой-то настоящий, давно уже рукой махнул на все эти поисковики.

    • Михаил, думаю, что у тебя основной трафик от постоянных посетителей)
      И, как понял, почти все страницы в индексе. Проверял по сервису pr-cy.ru

      Смотри сам, тебе имеет смысл все-таки повысить посещаемость от ПС. … достаточно выполнять элементарные требования при написании заметок и со временем трафик появится. Это не выглядит как составление семантического ядра или еще Бог знает что :)

      1. Внутренняя перелинковка на ПОХОЖИЕ заметки. Я не зря выделил большими буквами и делаем внутренние ссылки только на похожие по смыслу статьи.
      2. Буквально 2-3 ключевых слова. Но не перетошнить :- )
      3. Составить описание метатегов кейвордс, дескрипшн
      4. Хорошо структурированный текст: заголовки, списки, разбитие на небольшие абзацы.
      Вот здесь я подробно писал, как выглядит хорошая заметка в моем понимании http://ideafox.ru/pro-blog/bestolkovo.html
      Тем более, что статьи у тебя абсолютно уникальные)

  3. Михаил, ради интереса заглянула на ваш блог — ну какие поисковики, по каким запросам они должны ваши статьи показывать ищущим? Сами подумайте, что вам нужно искать, чтобы ответом на ваш вопрос была статья с вашего блога. Вам в жж больше повезло бы с читателями, этот ваш формат имхо.

    Я почти осилила заметку о молоке. Ищет человек отзыв о молоке валио, по какой-то случайности попадает на ваш текст — он будет его читать? Закроет через пару секунд, а поисковику информация — отказ, статья не подходит к запросу.

      • Михаил, в том-то и дело! Молоко там совсем ни при чем: если полностью убрать из текста упоминания молока, смысл его не изменится. Заголовок — это отражение самой сути, я все ждала, когда же молоко сыграет свою роль, но увы.

        Но именно эта информация может привести к вам потенциальных читателей из поиска (молоко несколько раз встречается в тексте, в том числе и в главном ключевике — заголовке, есть названия двух брендов, и поисковики могут взять это на заметку), однако эти читатели дадут вам лишь «минус в карму блога», так как сразу уйдут.

        И таких постов много. Что должен искать человек, чтобы ответом на его вопрос был ваш рассказ о вашей зарплате? Или ваше сетование о складе? Есть люди, которые любят читать о чужой жизни (чтобы в комментариях рассказать о своей), но такие люди толпами обитают в жж, потому что искать подобные истории в поисковике слишком сложно. Сложность в том, чтобы вбить в строку поиска нужные слова.

        Есть посты, которые могут привлекать целевых читателей — о ваших экспериментах с различными проектами, например. Но, опять же, слишком много лишних слов, которые путают поисковиков (они при индексации пытаются выхватить ключевые идеи, а у вас в одной статье может быть их несколько, не связанных между собой) и отпугивают читателей, которые пришли из поиска.

        Например, статья о вторых итогах экспериментов с generator money и cloud matrix — казалось бы, вот он клад для искателя, информация по существу и заголовок говорящий, ан нет — вначале две с половиной тысячи знаков совершенно о другом. И только очень упертый читатель доберется до нужной информации (а уж что там себе гугл или яша пометят в качестве ключевиков — и представить трудно).

        Я не потому вас критикую, что вы лично или ваш блог мне неприятны (я вас даже не знаю). Просто есть потенциал, и видно желание писать, но нужно учиться, чтобы потенциал превратился в реальную ценность.

        Посмотрите на эту статью Дмитрия — предыстория в начале, этот вводный оффтоп, — всего пара коротких предложений, которые можно моментально ухватить взглядом и идти дальше, к сути, которая тоже изложена максимально точно, наглядно и понятно — как для читателей, так и для поисковых систем.

  4. Полезная информация. К счастью, с Google проблем нет, еще не успел нажать кнопку опубликовать, страница уже в индексе :Ъ.

    А вот Яша последнюю неделю вообще не охотно индексирует блог… До этого, в течении 15 минут влетало все, а сейчас сутками валяется, хотя и делаю различные кросспостинги в закл. и соц. сети.

    Может подскажите в чем дело?)

    • Кстати, я тоже впервые столкнулся с таким нехорошим поведением Гугла.
      Обычно, он кушает все подряд, невзирая ни на что :- )

      По поводу Яндекса — бывает такое. Мало того, замечал, что быстробот лихо индексировал новую заметку, потом она вылетала, а через пару дней опять появлялась в поиске.

      Я заметил, что Яндекс очень неохотно индексирует новые заметки в субботу-воскресенье.

      • Я как то тоже совершенно не обращал внимание на индексацию гуглом, считая что это «железно». И до сих пор так было. Сколько раз обращал внимание на RDS панель — Гугл-«всё в индексе», Яндекс — «заходил хрен знает когда :) «.
        Ну что ж. Теперь прийдётся возиться и с Гугл вебмастером. Лишние движения. Как буд-то с одним Яндексом не хватает хлопот!

        • RDS панель глючит, отказался от нее.
          Как Яндекс ограничил количество XML-запросов — так и забросил эту панель.
          Постоянно скачут показатели и.т.д. и.т.п.

          • RDS глючит? Ну дела… А я привык к ней. Вообще корнями прирос, как без рук.
            Как же быть? А другие похожие расширения для Хрома?

          • Богдан, дело в том, что РДС постоянно обращается к сервисам Яндекса, а они его банят)
            То капчу просят ввести, то скачет кол-во страниц в поиске…
            Я через pr-cy.ru проверяю

  5. Всем добрый день! Подскажите пожалуйста, почему картинки не индексируются. Блогу уже 4 месяца, картинок в индексе нет.

      • Я понимаю, что где-то и что-то, а поконкретнее, или может почитать что-то посоветуете на эту тему? Помогите люди добрые!

        • Ольга, рад видеть на блоге.

          Посмотрел ваш robots.txt …

          Уберите строчки Disallow: /wp-content/ и начнется индексация. Не сразу, но со временем будет.
          Кто вам такой роботс прописал? :)

          • Ольга, посмотрите как он у меня прописан ideafox.ru/robots.txt

          • Дмитрий, спасибо огромное! Вечером займусь исправлением. Роботс был вместе с курсом по которому мастерила свой блог, не буду говорить автора, так как курсом в целом я довольна.

          • Ольга, посмотрите как у меня роботс сделан. По аналогии для себя запилите :)
            Нельзя писать Disallow: /wp-content/

            Нужно конкретно указывать, какие каталоги закрываем от ПС
            Например, у меня:

            Disallow: /wp-content/plugins
            Disallow: /wp-content/cache
            Disallow: /wp-content/themes

            Если же просто удалите строку Disallow: /wp-content/, то просканируются ваши плагины, кеш, темы :-)

          • У меня была аналогичная проблема….пока мне тех.поддержка яндекса не подсказала

          • Жень, тебе мешает строчка
            Disallow: /20*/
            Или яндекс что-то другое посоветовал?

          • Я уже и не помню, но фишка в том , что было 2 робота)))
            А эта строчка я даже не знаю, что закрывает…но наверно что-то нужное

  6. Добрый день Дмитрий и форумчане!

    У меня другая проблема — никак не хочет меня быстро индексировать Яндекс. По 2-3 недели иногда, только в АПы, хотя быстроробот шлёндрает по сайту ежедневно. Буду благодарен (не только на словах, естественно), если кто-то подскажет, как Яшу заставить вбивать новости в индекс ежедневно, как это происходит на сайтах гораздо хуже моего. Кстати, это первый раз, когда обращаюсь за помощью, потому и адрес оставляю — все остальное время доходил до всего своим скудным умишком.
    Из принятых мер — список пингеров (в том числе яшкин), ежедневное добавление по 1-2 статьи, стоял месяца три поиск.Яндекс — плагин яшкин и т.п. В твиттер правда статьи не загоняю (всмысле — не организовывал ретвиты).

    А вот с Гуглом (тьфу-тьфу) — полюбовь полная. Как только добавляю в аддурилку адрес, статья через пару-тройку секунд уже в поиске. Вернее, та ее часть, которая описана в сео-плагине, но и этого для поиска достаточно. А индекс проводится в среднем за 1-2 дня.

  7. Дим функция уже не новая, пользовался ей еще когда только блог свой создал.

    А почему вдруг у гугла начались проблемы с индексацией, не в курсе?

  8. Дмитрий, привет! А я вот так и не смог свое авторство подтвердить в гуголе, хотя делал все как в твоей старой статье, причем два раза. Вот не хочет он и все! Главное при проверке как это должно выглядеть все вроде работает, а на деле нет.
    Что бы это могло быть? И у меня одного такое или есть еще страждущие? Может кто ответит…

    • Александр, а в вебмастере Гугл не видны твой статьи? «Лаборатория-Статистика автора»

      • Нет, не видны, получается я ничего не написал. Правда я после второй неудачной попытки удалил коды гугла. К тому же они при оценке скорости сайта инструментами самого же гугла тормозят блог.
        С другой стороны на скорость индексации этой ПС я не жалуюсь, может и путь будет так…

        • Александр, можно без встраивания кода обойтись
          https://plus.google.com/authorship
          1. Создаешь профиль в Гугл+
          2. Пройдя по ссылке выше указываешь е-майл своего домена. В твоем случае должна быть почта вида имя_ящика@имя_твоего_домена.ru
          3. Всегда внизу статьи пишешь «Автор: Александр и твоя фамилия»
          Важно: Твое имя и фамилия должны совпадать с ФИО в профиле Гугл+

          Проверял, работает

          • То есть теперь, чтобы работало я каждую статью должен завершать словами: Автор: Александр и фамилия.???

          • Можешь сквозной виджет на сайте сделать на блоге:)
            Не лопатить же старые заметки. Посмотри как у меня сделано в самом низу)

          • В общем не получается! С ящиком замут непонятный. Если делать на моем имеющемся (он совпадает с доменом плюс @mail.ru), то на него приходит письмо, я подтверждаю. А потом в моих публикациях в Гугл+ вылазит не блог, а второй типа сайт mail.
            Значит не нужно мне это… Сейчас попробую вставить код в сквозной виджет и если нет — забью на это гиблое дело.

          • Ну глянь, как у меня сквозная ссылка сбоку сделана «Авторские права бла-бла-бла» :-)

          • Я так и сделал ))) Один в один, даже значок копирайта у тебя скопировал. Теперь должно время пройти пока они опомнятся? Или уже со следующей заметки я автор?

          • Э… надеюсь, то свой id в ссылке прописал? Id — это набор цифр в твоем аккаунте google+ иначе твои статьи мне припишутся))
            То есть из моей ссылки удали все цифры и впишу свой id на Г+.

          • Саш, вижу, что все нормально.
            Со временем все статьи должно появиться в «Статистике автора»

          • Дмитрий, спасибо! Буду ждать ))) Попытка номер три засчитана…

          • Дмитрий!!! спасибо! уже 31 статья в Лаборатории с моим авторством, причем из древних. Значит войдут и остальные. Все оказалось просто!
            Подействовал виджет. С третьего раза, но получилось )).

  9. Здравствуйте, Дмитрий! Как всегда, прочла с интересом и как всегда, извлекла пользу. Кое-что уже знакомо, но вот, все равно нашла новое для себя. Не заглядывала я веб-мастере в Лабораторию. Ну руки (глаза) не доходили. Сейчас прочла Вашу статью и забеспокоилась, все ли статьи мои, сразу же проверила. Вроде бы порядок — мои. Гора с плеч. Спасибо большое!

    • Сайт лежал часов 15, может в этом дело было.
      Может, в это время приходил робот и сильно огорчился

  10. Спасибо, познавательно. Блог свой позабросила. Но пишете хорошо — читала с удовольствием.

  11. А у меня проблема в том, что с Гугла на сайт приходит около 10% всех посетителей. Хотя с индексацией вроде бы всё в порядке…

  12. Статья конечно хорошая, и познавательная, но с гуглом все в порядке, а вот яндекс не любит и некоторые страницы вообще вылетели и индексировать не как не хочет , может кто подскажет что можно сделать, буду очень благодарен.Вот пример одной из страниц которую не как не хочет индексировать яша sovetysadovodam.ru/ovoshhi/vyrashhivanie-patissonov.html

  13. Дима, привет.
    Слушай, я заметил такую штуку. Сутки назад я поставил на сайт скрипт Гугл Аналитикс. Уже получил первую статистику. Я пока в ней не разобрался досконально (Так же оставил у себя и счетчик ЛИ), но… Сегодня заметил, что с Гугла пошел трафик. Нет, у меня и ранее были в Гугле проиндексированные страницы. Но заходы были по 10 человек в день — с американского гиганта. А на сегодня уже 30 человек, а день только начался. При этом, 3 поисковые фразы сразу же оказались в ТОП 10 (ссылки не покупаю). А раньше, самый ближний поисковый запрос начинался примерно с 35 места. Посему, вопрос у меня: действительно ли — постановка кода смогла так повлиять на выдачу с Гугла? Заранее благодарен за ответ.

    • Василий, привет
      Трудно сказать. Я бы не стал увязывать факт установки ГА и роста посещаемости, так как ни разу не слышал, чтобы это влияло на рост позиций (или их падение)
      Наверное, это осенний рост трафика + у тебя сайт методично развивается уже больше 1,5 лет.

      • А почему нет, Дим? Сейчас сразу после постановки кода, Гугол подкинет посетителей, оценит поведенческий фактор, а потом сделает вывод относительно ресурса и или вернет обратно или оставит на более высоких позициях. Такое может быть? Кто знает, что там у них на «уме» (в алгоритмах в смысле).

        • А что, мысль Александра интересная…
          Кстати, посмотрел статистику ГА. Ужас!!! Процент отказов — 78%… Все, вроде делаю как надо: перелинковка, гиперссылки, спецплагины, рассылка…
          Дима, есть у тебя статья отдельная (или советы БЫВАЛОГО) по поводу улучшения повенческих факторов на блоге?

          • В ГА критерием отказа является тот факт, что человек посмотрел менее 1 страницы. В Метрике отказом считается если человек провел на сайте менее 15 секунд.
            Нет, такой статьи нет..

      • Странно, но факт остается фактом. За прошедшие сутки (с момента вставки кода ГА) — посетители с Гугла достигли количества в 120 человек. А это: + 130% — от самого лучшего дня «допостановочного» периода. Что-то в этом есть. Буду продолжать наблюдения…

        • Ладно, Василий, возьмем на заметку.
          Сейчас многие начнут с твоей подачи ставить GA)

  14. Щас блогеры разумом тронуться, сутки проводя в гугле и проверяя авторство своих статей ))
    Вообще конечно странно, никогда не думал, что вообще есть проблема с индексированием страниц гуглем. Вот другая проблема есть — страница попадает не в основной индекс и не участвует в поиске, вот это не гуд.

  15. Дмитрий, кстати. Про поведенческий фактор. Я тебе уже писал о том, что у тебя очень интересный и важный контент. А вот найти нужную информацию на блоге — сложно, приходится изрядно поковыряться в рубриках или на страницах. Есть ли у тебя в планах поставить «Поиск». Но, ставить тот, что стоит, по умолчанию, в виджетах WP, не советую: тупит он по — страшному. Я лично поставил «Поиск от Гугла» и очень доволен выбором. Даже какие — то копейки (полный автопилот) зарабатываю на этом, ибо в выдаче там тоже показываются релевантные ссылки на сторонние тематические ресурсы. Плата, конечно, только — за переходы…

  16. Это все хорошо. А как сейчас загонять страницы чужого сайта в индекс гугла? Банально те же профили.

  17. К сожалению сайт с динамическим содержимым так просто не проиндексируешь..

Оставить комментарий