Если сайт посещают боты, портят статистику, не дают продвигаться.

Лирика

Проблема посещения сайта ботами была замечена давно. Но где-то я услышал или прочитал, что сейчас это нормально — боты от различных сервисов гуляют по интернету, собирают разные данные, регистрируются, постят и тд. Короче выполняют дурную рутинную работу за человека. Бороться с ними не обязательно — дескать Яндекс и Гугл не дураки, сами поймут и отсеют.

Вернулся я к этому вопросу спустя где-то пол года. Не отсеют. Дураки. Посещаемость на сайте отличная — за месяц под 19к набегало. Только красоты в этом нет, потому, что 18 999 — это боты, а 1 — это я — дурак. Сайт вылетел из поиска, даже топовые ранее страницы потерялись где-то на задворках топ 100, куда не то что не доходят люди, нормальные боты не суются. Показатель отказов просто прекрасен — 93%.

К делу.

Я решил изменить эту ситуацию. Спрашивал тут на форуме, по совету Zau4man написал в техподдержку хостинга (у меня TimeWeb). Поддержка отработала вяло и неохотно, но все таки помогла решить (частично).

Я попробовал подключить CloudFlare. В моем случае это не дало никаких результатов. Возможно боты не те, возможно научились обманывать хороша. Я разбираюсь в этом на бытовом уровне, поэтому не могу объяснить детали. Факт остается фактом — не сработало. Как еще один минус — грузится стал дольше.

Сработала блокировка через .htaccess.

Если у вас тоже хостинг TimeWeb включите Статистику AWStats (Инструменты->Логи, дергаем переключатель Apache Доступ (access_log)). В нем вас интересует отчет Хосты. Подозрительные заходы с ip могут быть заблокированы соответствующими директивами в .htaccess. Чтобы не промахнуться и не заблокировать самого себя уточняйте что это за ip.

Второе, что нужно сделать — заказать логи заходов, обращений к серверу. В них вы сможете найти некоторых ботов, они прямо будут написаны. Через поиск ищем подозрительные названия (Yandexbot и Googlebot, соответственно пропускаем) и выписываем на листочек. Затем в .htaccess прописываем директировку блокировки по User agent. Именно этот вариант позволил мне существенно сократить количество ботов.

Если кому будет интересно, через месяц выложу вторую часть, где покажу скрины как все изменилось.

Я прикрепил файл, в котором перечислены боты, которых я нашёл у себя и на просторах интернета. Вам нужно просто скопировать содержимое файла в свой .htaccess. На всякий случай предупрежу, что это для версиb Apache 2.4. Если у вас на хостинге стоит 2.2, нужно уточнить правильность написания.

Надеюсь было полезно.