Три хитрых приема по борьбе с рефспамом и подозрительной активностью на сайте

hyena

Привет друзья IdeaFox!

Сегодня я расскажу Вам о том, что может навредить молодым сайтам в плане продвижения. Настойчиво советую прочитать эту статью тем, у кого относительно небольшой трафик, так как речь пойдет о рефспамерах, которые могут плохо повлиять на развитие Ваших блогов.

Приступим.

Я постоянно вижу на своих сайтах всплески переходов с мусорных сайтов + подозрительную активность. Причем, никакие это не переходы живых людей, а так называемый “рефспам”, который генерят злодеи.

Выглядит эта беда в статистике Google Analitics примерно вот так:

Рефспам

То есть, буквально на 5-10 минут наблюдается резкий рост “посещаемости” от которой нет никакого прока, кроме раздражения.

Еще раз подчеркну, что это не живые люди, а фейковые переходы, которых на самом деле нет. А называется эта зараза — “реферальный спам”.

У меня есть подозрения, что такие переходы могут косвенно влиять на поведенческие факторы сайта. То есть, поисковым системам может померещиться что это накрутка поведенческих сайтов, а следом может последовать фильтр от Яндекса или Гугла.

Особенно если посещаемость сайта небольшая (100-200 человек в сутки), так как такая активность сильно искажает поведенческие факторы и выглядит в статистике как грубая накрутка поведенческих факторов.

Зачем это делается?

Понятно, что если вебмастер увидит большое количество переходов, то он из любопытства пойдет посмотреть кто там ему дает такой могучий трафик.

Разумеется, в лучшем случае он попадет на мусорный сайт с рекламой, а в худшем хватанет какой-нибудь вирус.

Во-вторых, такие переходы могут генерировать фейковую “активность” пользователей

Вот посмотрите. Один из моих новых сайтов имеет вполне обычные поведенческие факторы:

Яндекс Метрика

  1. Примерно 1,7-1,9 просмотра страниц на человека;
  2. Показатель отказов примерно 7%;
  3. Время на сайте примерно 2 минуты 30 секунд.

Но 14 августа я заметил аномальный рост количества просмотров на человека:

  1. 4,5 просмотра страниц на юзера (в два раза больше);
  2. При этом показатель отказов увеличился до 9,5 %;
  3. Время проведенное на сайте осталось примерно таким-же.

Налицо ухудшение поведенческих факторов. И если посещаемость была не под 1500 человек/сутки, то поведенческие факторы бы рухнули.

То есть, пришло 2-3 “посетителя” с таких мусорных сайтов и стали накручивать количество просмотров страниц. Примерно по 1000 просмотров на каждый IP-адрес (!!!). Да и вообще, такая активность похожа на легкий DDOS, чем на накрутку ПФ.

Повторюсь, что я подозреваю, что такая фейковая активность может негативно повлиять на поведенческие факторы (ПФ), если это будет происходить достаточно долго. Да, такой трафик несущественно влияет на сайты с большой посещаемостью. А вот для молодых сайтов с небольшим трафиком может быть опасен.

Как исключить таких ботов из Яндекс.Метрики?

Для начала выпилим подозрительную активность на уровне Яндекс.Метрики.

Настройка Фильтров

Заходим в настройки счетчика и выставляем настройки, как на скриншоте выше.

  1. Тип фильтра: “Оставить только трафик”;
  2. Поле “URL страницы”;
  3. Условие “Сайт и зеркала”;
  4. Фильтрация роботов “Фильтровать роботов по строгим правилам и по поведению”;
  5. Можете поставить галочку “Не учитывать мою посещаемость”. Но я никогда ее не ставлю, чтобы побольше накрутить трафик =) (шучу, конечно).

После того как я сделал такие настройки в Яндекс.Метрике больше не было видно аномальных скачков поведенческих факторов, хотя мусорный трафик был. Его отлично было видно по данным Google Analytics.

Как блокировать такую активность на уровне сайта?

Есть способы, которые позволяют убирать из статистики Google Analytics подобную активность, о чем расскажу в одной из следующих статей (подписаться на обновление блога можно вот здесь). Он довольно сложный и достоин отдельной большой статьи.

Но если даже убрать подозрительную активность из отчетов Метрики и Гуглл-Аналитикс, то это не значит, что она исчезнет. Сами понимаете, что если Ваш блог или сайт каждый день будут долбить по несколько десятков тысяч просмотров, то рано или поздно это может вызвать проблемы.

Но есть гораздо более простой способ, который позволяет превентивно банить рефспам и аномально большое количество просмотров страниц

Мы воспользуемся плагином безопасности WordFence Security, который позволяет сделать такую защиту буквально за 5 минут.

О том, как настроить WordFence Security я рассказал вот в этой статье:

http://ideafox.ru/pro-blog/wordfence-security.html

Правда, эта статья довольно пожилая, а сам плагин значительно изменился за прошедшие два года. Но в платном курсе по безопасности WordPress есть более свежая информация по его настройке:

http://ideafox.ru/kurs-bezopasnost

Как забанить IP, с которых идет аномальная активность?

Например, Вы видите, что с одного IP-адреса идет аномально высокое количество запросов или зашкаливает количество просмотренных страниц. Такие IP-адреса можно увидеть в логах сервера или хостинга.

Но я подозреваю, что абсолютное большинство блогеров когда слышат фразу “посмотрите логи сервера” упадут в обморок =)

А вот в WordFence Security это прекрасно видно. Например, вот какой-то красавец долбил сайт под 80 000 запросов:

Подозрительная активность с IP-адреса

Как заблокировать такой IP-адрес?

В WordFence Security это делается очень просто. Предположим, Вы знаете, что с какого-то IP-адреса идет подозрительная активность. Например, бот завис на сайте на 5 часов и посмотрел за это время 100 000 страниц…

Идем в настройки этого замечательного плагина безопасности и заходим в пункт меню “Blocked IPs”

Меню ВордФенсе

Вбиваем IP-адрес негодяя и блокируем его навечно.

Блокируем IP

Все отлично, только вот нужно регулярно смотреть отчеты (или логи), а затем уже вручную банить IP-адрес. Разумеется, мечтательные блогеры не будут этим заниматься =)

Как автоматически банить такие IP?

Прежде чем пойти дальше, подчеркну, что у вас WordFence Security должен быть корректно настроен. Особенно важна корректная настройка WFS, если параллельно работает iThemes Security или другой плагин безопасности.

И еще раз отсылаю вот к этой статье, где я рассказал о базовых настройках:

http://ideafox.ru/pro-blog/wordfence-security.html

Так вот. Для таких целей в WordFence Security есть замечательный инструмент, который делает эту грязную работу в автоматическом режиме, без участия вебмастера.

Идем в настройки WFS:

Настройка WordFence

Включаем FireWall

wfs2

А сам FireWall настраиваем как на картинке ниже:

Настройка FireWall

Что означают эти настройки?

  1. If anyone’s requests exceed: если будет зафиксировано более 480 запросов к сайту за одну минуту, то такой IP будет заблокирован;
  2. If a crawler’s page views exceed:  если будет зафиксировано более 480 просмотров страниц за одну минуту со стороны ботов, то такой IP будет заблокирован;
  3. If a crawler’s pages not found (404s) exceed: если с какого либо IP генерятся по 120 404-х ошибок в минуту (попытка посмотреть несуществующую страницу), то такой IP будет заблокирован;
  4. If a human’s page views exceed:   если человек смотрит по 120 страниц сайта за минуту, то его IP блокируется;
  5. If a human’s pages not found (404s) exceed: если человек пытается просмотреть 120 раз в минуту несуществующую страницу сайта, то он блокируется;
  6. If 404’s for known vulnerable URL’s exceed:  по аналогии с предыдущим пунктом ставим 120 хитов в минуту;
  7. How long is an IP address blocked when it breaks a rule: на какое время блокировать IP. В моем случае, это один час;

Вот, собственно, и все. Теперь любой IP-адрес который будет превышать заданные лимиты будет блокироваться на час. Или на сутки, как настроите.

Важно: не ставьте слишком изуверские правила, так как есть риск заблокировать поисковые роботы Яндекса или Гугла.

Но вернемся к нашим баранам =)

То есть, к рефспамерам, которые генерят фейковые переходы с мусорных сайтов при помощи ботов.

Предположим, Вы заметили такую вот красоту:

Мусорный трафик

 

Сначала обрадовались, а потом поняли, что это рефспам. Банить эти сайты по IP-адресу БЕСПОЛЕЗНО. Они регулярно меняют свои IP и толку от таких блокировок мало.

Но и в этом случае нас спасет WordFence Security.

Здесь легче показать на конкретном примере, как это работает

Предположим, мне не нравятся переходы с моего блога ideafox.ru на мой же тестовый win4blog.ru. И я хочу блокировать такой трафик. Идем в настройки WFS на сайте win4blog.ru в “Advanced Blocking” и в поле “Referer (website visitor arrived from) that matches”

вбиваю название своего же блога таким образом:

Блокировка по домену

Разумеется, что свой блог НЕЛЬЗЯ прописывать на своем же блоге =)

Кстати, нужно обязательно в поле “Enter a reason you’re blocking this visitor pattern” указать причину блокировки английскими буквами.

Например, что-то вроде “blokirovka”. И нажать на большую синюю кнопку =)

Теперь если я попытаюсь перейти по ссылке на свой тестовый блог,  то увижу вот такое сообщение:

Ошибка 503

Можете сами убедиться =)

http://win4blog.ru/

Вместо итога

Я советую сразу блокировать рефспамеров сразу, как только их заметите в своей статистике, чтобы не искажать данные по ПФ, которые собирают поисковые системы.

Да, представители поисковых систем пишут, что умеют определять такой трафик и не учитывать его в общей статистике. Но сами знаете, что лучше перестраховаться, особенно в самом начале развития сайта.

И еще важный момент. То о чем я рассказал, не поможет отбиться от серьезной DDOS-атаки. Но вот от автоматических скриптов, которые ищут уязвимости, рефспамеров и мелких сетевых хулиганов – поможет.

Если произойдет что-то серьезное, то придется подключать CDN и прочие fail2ban-ы, о которых я может быть расскажу позже.

Мой курс по безопасности WordPress
boxzashitasini

Уважаемые блогеры!

Обратите внимание на мой курс по безопасности WordPress, который так и называется:

"Защита блога на движке WordPress за два часа"

В этом небольшом курсе я систематизировал наиболее простые, но надежные методы защиты блога на WP от вирусов и хакеров.

Он будет полезен как начинающим, так и продвинутым блогерам.

Я сам пользуюсь этими методами на всех своих проектах.

Посмотрите вот это небольшое обзорное видео о курсе:

Для того, чтобы более подробно познакомиться с этим курсом, достаточно пройти регистрацию на моем закрытом сайте для блогеров:

Защищайте свои блоги!

Советую прочитать:

  1. VirusDie (ВирусДай!) — Новый способ для защиты сайта от вирусов и DDOS. И почему так ругают этот сервис?
  2. Грамотный способ снизить посещаемость. Можете сами проверить на своих блогах : )
  3. Мой новый курс по безопасности “Защита блога на WordPress за два часа”

Только для блогеров и вебмастеров:

38 комментариев к «Три хитрых приема по борьбе с рефспамом и подозрительной активностью на сайте»

  1. Таких красавцев часто замечаю. Яндекс, почему-то не ловил их не разу, но Гугл ловит.

    Мне до сих пор не совсем понятны цели этих активных спер… молодых людей. Ради того, чтобы один вебмастер перешел по их ссылке они устраивают такой кавардак?

  2. Видел тоже у себя на сайте всплески переходов с непонятных сайтов. Вон оно, как все заморочено оказывается.

    Только я так и не понял — что за рефспам такой? Какой в этом смысл?

    • Смысл в том, если вебмастер увидит фиктивные переходы с сайтов и пойдет посмотреть кто на него ссылку поставил.
      Никакой ссылки на его сайт там не будет, конечно. Но будет ждать редирект, сайт с тизерами и так далее.
      То есть, цель одна: вызывать интерес и заход на этот сайт.

  3. Я ещё и свой IP в метрике зафильтровал, чтобы лишнее не считать. Кстати мне пришло письмо от Вас с заголовком «Добрый день, *|FNAME|*!» (((

    • Да что-то не пойму как разобраться с задвоением писем в МэйлЧимп =(
      Спасибо за сигнал

  4. Да, появились в последнее время такие псевдопереходы и активность, правда, у меня небольшая. Видна в счетчике LI, сайты левые.

  5. Хм, есть информация, что поисковые системы такие показатели вообще не отслеживают. Они смотрят на цтр и взаимодействие и вот из этого выводят ранжирование. Кому интересно, смотрим здесь wordpress.tv/2015/08/20/pavel-karpov-behavioral-factors-seo/
    Так что пусть хоть заспамятся, толков не будет никаких

    • Да, они так говорят (упомянул об этом в конце статьи)
      Но я предпочитаю их превентивно банить

  6. Дмитрий, ваша статья как раз в тему!

    У моей знакомой на сайте несколько дней назад завелись одни и теже посетители, которые каждую минуту смотрели одну статью за другой кругами по всем разделам сайта и это день и ночь. Заходили они исключительно по прямым ссылкам, а не с какого-то сайта. Счётчик показывал без остановки:
    A visitor from United States
    A visitor from Redmond, Washington
    И те страницы, которые они посещали с указанием сколько минут назад они заходили. В итоге за счёт этих визитёров посещаемость с примерно полутора сотен резко увеличилась до тысячи. Причём понятно, что на самом деле статьи никто из них не читает, а просто неестественно часто кружат по ним.

    На странице статистики хостера нашла этих американских посетителей, у которых в IP изменялись лишь последние цифры. Попробовала запретить доступ этим посетителям по IP по всей линейке этих самых одинаковых IP в файле htaccess, пока помогло — подозрительно активные визитёры исчезли, остальные заходят нормально с разных стран и напрямую, и с поисковиков, т.е. как обычно.

    Вот такой опыт с загадочной гиперактивностью на сайте!
    И какая цель подобных визитов без обратных ссылок по прямой на конкретные статьи без остановки?
    Могут ли таким образом оптом автоматом воровать статьи?

    • Елена, это могут быть боты частных seo-аналитик.
      Ну знаете, есть такие сервисы, которые анализируют все, что можно. Или спам-боты бегают, пытаются комменты оставить, а вы их баните =)
      Но тут трудно сказать, надо разбираться.
      в ithemes security еще можно банить IP по диапазонам.

      • Спасибо, Дмитрий! Комментарии на том сайте вообще отключены изначально. А без подобных аналитиков тоже обойдёмся, думаю…

  7. Дмитрий добрый день!
    Спасибо большое за статью! Правда! У меня давно были мысли, задать Вам вопрос по этому поводу. Периодически наблюдаю эту картину. На работу сайта, вроде бы не влияет. Но, напрягает Очень!)))
    И как блокировать такой сайт по адресу? У него адрес, постоянно видоизменяется. Постоянным остается только share-buttons.com. Каждый раз впереди добавляется то слово, то цифры. Я уже насчтитала 9-ть таких адресов. Города разные, разбросаны по всему миру.
    И как быть?)))

  8. Дмитрий спасибо огромное за статью. Всегда вы очень интересно пишите! У меня возникло сразу несколько вопросов:
    1) Кроме гугла Аналитикса можно еще как-то вычислять плохие IP адреса? По данным метрики действительно обнаружила есть такие сайты, что удивило, вполне хорошие и блоггеров этих я знаю, но при переходе на их страницы перенаправляет на др платные страницы подписок. Что это? У меня вирус на компьютере? Или сигнал мне как вы пишите некачественных IP адресов на мой сайт…

    2)У вас реально на постоянно установлен плагин WordFence Security? Он же достаточно сильно грузит блог… и после него чистится много… Хотя не спорю, он очень хорош и полезен. Меня несколько раз практически спасал, когда искала проблемные места у себя на блоге. Он у меня тоже установлен, но отключен, включаю его лишь тогда, когда нужно что-то проверить.

    3)Кстати через какую настройку в этом плагине можно проверить IP адреса? Там все на английском не могу понять…

    • Пожалуйста, Нина)
      1. Если настроить Метрику, как показано в статье, то действительно, такой трафик не видно. Но вот Игорь говорит, что в ЛайвИнтернет его видно. Сам LI не пользуюсь давно.
      2. Скорее всего, Вы столкнулись с тем, что у ваших знакомых блогеров взлом файла htaccess. И трафик перенаправляют. Либо висит кривой баннер, через который угоняют трафик…
      Им нужно обязательно проверить свои блоги и подозрительные баннеры.
      3. Да, установлен и постоянно работает. Но у меня почти везде VPS, так-что проблемы не вижу. Впрочем, он нормально работает даже на виртуальном хостинге (нормальном). Например, мой закрытый сайт на виртуальном хостинге трудится в такой же конфигурации.
      4. Тогда лучше проверить IP через сайт 2ip.ru

  9. Привет, Дмитрий!
    У меня таких шаробаттонов сайтов несколько)) да еще с разными цифрами епрст
    У меня 2 вопроса:
    1.После того, как я установил фильтр в ЯМ нужно ли код счетчика менять или нет?
    2. Как узнать ip этих сайтов-шаробаттонов, не смог найти((

    • Привет, Николай)
      1. Нет, не нужно менять код счетчика.
      2. Да можно пробить сайт через сервис 2ip.ru
      Или прямо с компа через консоль CMD командой ping share-buttons.com

      • Спасибо, разобрался, хотя и другой сайт для поиска ip использовал, но не суть))
        Было в рефералах GA 9 подозрительных сайтов со 100% отказов и все они были на одном ip)) совпадение? не думаю))
        Сколько же еще секретов, Дмитрий, ты держишь в загашнике?
        Спасибо, думаю улучшить теперь ПФ после таких действий по блокировке.

  10. Дмитрий, не смейтесь только, ладно, я не совсем поняла, как вообще такую активность и таких вредителей определить, поясните, если можно. У меня за посещаемостью следит лайвинтернет, яндекс-метрику не пробовала. Заранее спасибо.

    • Татьяна, нормальный вопрос, ничего смешного.

      1. Во-первых, такого трафика на Вашем сайте может и не быть. Просто до вас не добрались еще)
      2. Как отследить. Это хорошо видно через статистику Гугл-Аналитикс в меню «Источники трафика» — «Весь трафик» — «Рефералы»

      Их видно как сайт, с которого было за сутки, например 1000 заходов по ссылке. Если пройти на этот сайт, то ссылки на себя не увидите, а увидите либо зараженный сайт, либо обвешанный баннерами взрослого содержания.
      Или какой-нибудь китайский магазин )

      Поэтому аккуратнее с заходом на такие сомнительные сайты. Я их через компютер под Линукс разглядывал.

  11. Привет, Дмитрий!
    Вот так на ночь глядя страшилки раздаёшь налево и направо!
    Как-то мне не верится, что поисковики не видят этих бандитов виртуальных…
    А вот за совет не лезть на подобные сайты — спасибо! Предостережение не лишнее.

  12. Спасибо за статью Дмитрий! Тоже в последнее время «бомбят» мой блог, что даже он становится недоступен. Блокирую такие IP в htaccess. Хотя в статистике Liveinternet все нормально.

  13. У меня эти красавцы тоже побывали. И да, я повелся и пошел смотреть откуда ко мне идут посетители. Сразу понял, что это ловушка )) и убежал. Потом антивирусом пришлось прогонять нечисть. Любопытство молодца сгубило.

    • А почему кривые?
      Да, они немного расходятся с Метрикой, но не вот чтобы очень сильно.
      Если в разы отличатся данные, то скорее всего не на всех страницах сайта код счетчика отображается.

  14. Привет, Дмитрий! А я вот вчера, наоборот, снял со всех своих сайтов все счетчики. Последние пару лет заходил на Яндекс Метрику по 20-30 раз в сутки. Это действительно болезнь, какое-то психическое расстройство. Просыпался — и смотрел на счетчики. Перед тем как заснуть — тоже смотрел. Ну и в среднем каждый час в дневное время суток — тоже заходил и смотрел. Помню, у тебя когда-то даже статья была про эту болезнь написана =). В общем, надоело — понял, что превратился в какого-то зомби. И все счетчики вчера со всех сайтов снял.

  15. Дмитрий, здравствуй
    У меня с непонятного capture.ru до 30 переходов без ссылки бывает,по ливинтернет видно. После статьи теперь всех подозреваю) у меня ещё Яндекс метрика стоит, аналитики нету, как посмотреть можно, не подскажешь?

    • Привет, Анастасия
      Не совсем понял вопрос. Если видишь в LI, то зачем GA? )
      Впрочем, я считаю, что GA нужно по умолчанию ставить на все сайты. Вреда от нее точно нет, а возможностей много. Даже учитывая тот факт, что там не отображаются поисковые запросы из Яндекса.

  16. Помню помню одного такого дельца который занимался чем-то подобным и поставил весь яндекс на уши одно время, он даже у меня на блоге собачился с недовольными вебмастерами =)

    Кстати в самой Яше говорили что данный вид спамных ботопереходов никак не влияет на отношение поисковика к сайту. Правда или нет хз.

    • Да-да, он породил целую моду на такой грязный трафик еще зимой.
      И вот — все чаще и чаще его последователи мелькают в статистике. Достали.

  17. Дмитрий, здравствуйте! У меня за последнее время трижды были всплески посещаемости, в третий раз за полчаса более 5000 посещений. Пошла смотреть откуда это берется, но источник не определен. Испугалась и теперь не знаю, что делать.

    • Добрый день, Галина!
      Так настройте WordFence Security, как рассказано в этой статье и он будет на автомате банить слишком буйных)
      Этот способ описан после заголовка «Как автоматически банить такие IP?»
      Естественно, сначала делаем резервную копию сайта, так как это плагин безопасности и нужно быть очень аккуратным (чтобы в случае чего откатиться назад).

Оставить комментарий