Привет друзья IdeaFox!
Сегодня я расскажу Вам о том, что может навредить молодым сайтам в плане продвижения. Настойчиво советую прочитать эту статью тем, у кого относительно небольшой трафик, так как речь пойдет о рефспамерах, которые могут плохо повлиять на развитие Ваших блогов.
Приступим.
Я постоянно вижу на своих сайтах всплески переходов с мусорных сайтов + подозрительную активность. Причем, никакие это не переходы живых людей, а так называемый “рефспам”, который генерят злодеи.
Выглядит эта беда в статистике Google Analitics примерно вот так:
То есть, буквально на 5-10 минут наблюдается резкий рост “посещаемости” от которой нет никакого прока, кроме раздражения.
Еще раз подчеркну, что это не живые люди, а фейковые переходы, которых на самом деле нет. А называется эта зараза — “реферальный спам”.
У меня есть подозрения, что такие переходы могут косвенно влиять на поведенческие факторы сайта. То есть, поисковым системам может померещиться что это накрутка поведенческих сайтов, а следом может последовать фильтр от Яндекса или Гугла.
Особенно если посещаемость сайта небольшая (100-200 человек в сутки), так как такая активность сильно искажает поведенческие факторы и выглядит в статистике как грубая накрутка поведенческих факторов.
Зачем это делается?
Понятно, что если вебмастер увидит большое количество переходов, то он из любопытства пойдет посмотреть кто там ему дает такой могучий трафик.
Разумеется, в лучшем случае он попадет на мусорный сайт с рекламой, а в худшем хватанет какой-нибудь вирус.
Во-вторых, такие переходы могут генерировать фейковую “активность” пользователей
Вот посмотрите. Один из моих новых сайтов имеет вполне обычные поведенческие факторы:
- Примерно 1,7-1,9 просмотра страниц на человека;
- Показатель отказов примерно 7%;
- Время на сайте примерно 2 минуты 30 секунд.
Но 14 августа я заметил аномальный рост количества просмотров на человека:
- 4,5 просмотра страниц на юзера (в два раза больше);
- При этом показатель отказов увеличился до 9,5 %;
- Время проведенное на сайте осталось примерно таким-же.
Налицо ухудшение поведенческих факторов. И если посещаемость была не под 1500 человек/сутки, то поведенческие факторы бы рухнули.
То есть, пришло 2-3 “посетителя” с таких мусорных сайтов и стали накручивать количество просмотров страниц. Примерно по 1000 просмотров на каждый IP-адрес (!!!). Да и вообще, такая активность похожа на легкий DDOS, чем на накрутку ПФ.
Повторюсь, что я подозреваю, что такая фейковая активность может негативно повлиять на поведенческие факторы (ПФ), если это будет происходить достаточно долго. Да, такой трафик несущественно влияет на сайты с большой посещаемостью. А вот для молодых сайтов с небольшим трафиком может быть опасен.
Как исключить таких ботов из Яндекс.Метрики?
Для начала выпилим подозрительную активность на уровне Яндекс.Метрики.
Заходим в настройки счетчика и выставляем настройки, как на скриншоте выше.
- Тип фильтра: “Оставить только трафик”;
- Поле “URL страницы”;
- Условие “Сайт и зеркала”;
- Фильтрация роботов “Фильтровать роботов по строгим правилам и по поведению”;
- Можете поставить галочку “Не учитывать мою посещаемость”. Но я никогда ее не ставлю, чтобы побольше накрутить трафик =) (шучу, конечно).
После того как я сделал такие настройки в Яндекс.Метрике больше не было видно аномальных скачков поведенческих факторов, хотя мусорный трафик был. Его отлично было видно по данным Google Analytics.
Как блокировать такую активность на уровне сайта?
Есть способы, которые позволяют убирать из статистики Google Analytics подобную активность, о чем расскажу в одной из следующих статей (подписаться на обновление блога можно вот здесь). Он довольно сложный и достоин отдельной большой статьи.
Но если даже убрать подозрительную активность из отчетов Метрики и Гуглл-Аналитикс, то это не значит, что она исчезнет. Сами понимаете, что если Ваш блог или сайт каждый день будут долбить по несколько десятков тысяч просмотров, то рано или поздно это может вызвать проблемы.
Но есть гораздо более простой способ, который позволяет превентивно банить рефспам и аномально большое количество просмотров страниц
Мы воспользуемся плагином безопасности WordFence Security, который позволяет сделать такую защиту буквально за 5 минут.
О том, как настроить WordFence Security я рассказал вот в этой статье:
https://ideafox.ru/pro-blog/wordfence-security.html
Правда, эта статья довольно пожилая, а сам плагин значительно изменился за прошедшие два года. Но в платном курсе по безопасности WordPress есть более свежая информация по его настройке:
https://ideafox.ru/kurs-bezopasnost
Как забанить IP, с которых идет аномальная активность?
Например, Вы видите, что с одного IP-адреса идет аномально высокое количество запросов или зашкаливает количество просмотренных страниц. Такие IP-адреса можно увидеть в логах сервера или хостинга.
Но я подозреваю, что абсолютное большинство блогеров когда слышат фразу “посмотрите логи сервера” упадут в обморок =)
А вот в WordFence Security это прекрасно видно. Например, вот какой-то красавец долбил сайт под 80 000 запросов:
Как заблокировать такой IP-адрес?
В WordFence Security это делается очень просто. Предположим, Вы знаете, что с какого-то IP-адреса идет подозрительная активность. Например, бот завис на сайте на 5 часов и посмотрел за это время 100 000 страниц…
Идем в настройки этого замечательного плагина безопасности и заходим в пункт меню “Blocked IPs”
Вбиваем IP-адрес негодяя и блокируем его навечно.
Все отлично, только вот нужно регулярно смотреть отчеты (или логи), а затем уже вручную банить IP-адрес. Разумеется, мечтательные блогеры не будут этим заниматься =)
Как автоматически банить такие IP?
Прежде чем пойти дальше, подчеркну, что у вас WordFence Security должен быть корректно настроен. Особенно важна корректная настройка WFS, если параллельно работает iThemes Security или другой плагин безопасности.
И еще раз отсылаю вот к этой статье, где я рассказал о базовых настройках:
https://ideafox.ru/pro-blog/wordfence-security.html
Так вот. Для таких целей в WordFence Security есть замечательный инструмент, который делает эту грязную работу в автоматическом режиме, без участия вебмастера.
Идем в настройки WFS:
Включаем FireWall
А сам FireWall настраиваем как на картинке ниже:
Что означают эти настройки?
- If anyone’s requests exceed: если будет зафиксировано более 480 запросов к сайту за одну минуту, то такой IP будет заблокирован;
- If a crawler’s page views exceed: если будет зафиксировано более 480 просмотров страниц за одну минуту со стороны ботов, то такой IP будет заблокирован;
- If a crawler’s pages not found (404s) exceed: если с какого либо IP генерятся по 120 404-х ошибок в минуту (попытка посмотреть несуществующую страницу), то такой IP будет заблокирован;
- If a human’s page views exceed: если человек смотрит по 120 страниц сайта за минуту, то его IP блокируется;
- If a human’s pages not found (404s) exceed: если человек пытается просмотреть 120 раз в минуту несуществующую страницу сайта, то он блокируется;
- If 404’s for known vulnerable URL’s exceed: по аналогии с предыдущим пунктом ставим 120 хитов в минуту;
- How long is an IP address blocked when it breaks a rule: на какое время блокировать IP. В моем случае, это один час;
Вот, собственно, и все. Теперь любой IP-адрес который будет превышать заданные лимиты будет блокироваться на час. Или на сутки, как настроите.
Важно: не ставьте слишком изуверские правила, так как есть риск заблокировать поисковые роботы Яндекса или Гугла.
Но вернемся к нашим баранам =)
То есть, к рефспамерам, которые генерят фейковые переходы с мусорных сайтов при помощи ботов.
Предположим, Вы заметили такую вот красоту:
Сначала обрадовались, а потом поняли, что это рефспам. Банить эти сайты по IP-адресу БЕСПОЛЕЗНО. Они регулярно меняют свои IP и толку от таких блокировок мало.
Но и в этом случае нас спасет WordFence Security.
Здесь легче показать на конкретном примере, как это работает
Предположим, мне не нравятся переходы с моего блога ideafox.ru на мой же тестовый win4blog.ru. И я хочу блокировать такой трафик. Идем в настройки WFS на сайте win4blog.ru в “Advanced Blocking” и в поле “Referer (website visitor arrived from) that matches”
вбиваю название своего же блога таким образом:
Разумеется, что свой блог НЕЛЬЗЯ прописывать на своем же блоге =)
Кстати, нужно обязательно в поле “Enter a reason you’re blocking this visitor pattern” указать причину блокировки английскими буквами.
Например, что-то вроде “blokirovka”. И нажать на большую синюю кнопку =)
Теперь если я попытаюсь перейти по ссылке на свой тестовый блог, то увижу вот такое сообщение:
Можете сами убедиться =)
Вместо итога
Я советую сразу блокировать рефспамеров сразу, как только их заметите в своей статистике, чтобы не искажать данные по ПФ, которые собирают поисковые системы.
Да, представители поисковых систем пишут, что умеют определять такой трафик и не учитывать его в общей статистике. Но сами знаете, что лучше перестраховаться, особенно в самом начале развития сайта.
И еще важный момент. То о чем я рассказал, не поможет отбиться от серьезной DDOS-атаки. Но вот от автоматических скриптов, которые ищут уязвимости, рефспамеров и мелких сетевых хулиганов – поможет.
Если произойдет что-то серьезное, то придется подключать CDN и прочие fail2ban-ы, о которых я может быть расскажу позже.