Бот-убийца

С полгода мучился с одной проблемой. Сайт то летает, то еле ползает. Иногда просто не открывался и выпадал в Can't connect to MySQL server.
Я техподдержку хостера задолбал насмерть, мол вы там реселлите, но меру знайте. Они мне: "Ваш сервер перегружен".
Спрашиваю, чем он там перегружен? 28 пользователей в онлайне. Мне говорят, мол для минимальной конфигурации VDS 28 человек — серьезная нагрузка. Я уже им хамить начал, мол не купить ли мне выделенный сервер под тысячу уников в день?
Потом подключился знающий сотрудник техподдержки и разъяснил, что иногда хватает одного бота чтобы уложить сайт.
Посмотрел логи и обнаружил интересную картину. На сайте всё время пасется Mail.ru bot и занимается черте-чем, только не делом.
Копается в текстах трехлетней давности, скачивает иконки и рамки шаблона, в общем развлекается как может. Нагрузка сравнимая с дидосом.

Попробовал ограничить его активность в robots.txt, прописал там Crawl-delay: 100. Но этот бот плевал в робота и продолжал свои развлечения.
Пришлось забанить по айпи в .htaccess Всё равно с мейлру приходит два человека в день, а вреда от него немеряно.
И всё, как отшептало! Сайт летает со сверхзвуковой скоростью и радует пользователей и админов.

Так вот, если сайт тормозит, не спешите ругать хостера. Проверьте нет ли такого же милого поисковика на сайте.

Так вот, если сайт тормозит, не спешите ругать хостера.

Из описанного, вашего хостера можно и поругать)
Обычный хостинг без блокировок ботов может нормально выдержать 5-10к трафика в сутки

Проверено здесь:

Проверено здесь:

Вот как раз там мне года четыре назад вырубили сайт без предупреждения. За перегрузку. Еле выпросил базу данных.
Пусть идут они заре навстречу…

вырубили сайт без предупреждения.

Странно, ибо мне года четыре назад писали письма чуть ли ни каждый день в течении месяца о превышении допустимой нагрузки и с просьбой перейти на тариф выше!)

Самое интересное, что даже превышая допустимую нагрузку мне ничего не резали в течении месяца — сайты практически летали… было с чем сравнить)

Еще мне никогда боты не ложили сайты) вернее такого я не замечал!

В общем я сожалею о вашем печальном опыте, бывает наверное все.

К кому переехали, можно узнать, что там за хостер такой который от 1 бота ложится?

HiAndy ценю желание предупредить коллег о потенциальной угрозе.
Но...
Похоже на то, что вас жестоко троллят)
То ли принуждают к переходу на более дорогой тариф, то ли чисто "поржать")
Как я понял, у вас в среднем около 1000 уников в сутки и в среднем 28 онлайн? На VDS?
У меня побольше посещаемость на аккаунте. И судя по тому что трафик с мэил ру 3-8% по разным сайтам, боты мэил тоже бывают) Никаких проблем это не создаёт) Даже не VDS. Виртуальный хостинг)
Версия о том, что бот мэил ру "кладет " сайт — не серьёзно. Да и в гугле я не нашел упоминаний о схожей ситуации связанной с этим)

Да, странная ситуация. У меня был пример, когда дешёвый шаровый хостинг за несколько баксов в месяц со старым сервером и кучей других клиентов вообще без каких-либо заметных тормозов выдерживал 5 тысяч просмотров в сутки в течение нескольких месяцев. И поддержка ничего не писала. Правда, там движок был очень лёгкий, самописный.

Да и в гугле я не нашел упоминаний о схожей ситуации связанной с этим)

Значит можно в яндексе посмотреть.

webmasters.ru/forum/f185/bot-mail-ru-dosit-sait-69162/
searchengines.guru/showthread.php?t=471906
webimho.ru/topic/4399/

У меня был пример, когда дешёвый шаровый хостинг за несколько баксов в месяц со старым сервером и кучей других клиентов вообще без каких-либо заметных тормозов выдерживал 5 тысяч просмотров в сутки в течение нескольких месяцев.

5 — 10 тысяч просмотров было всегда.

И никогда это никаких проблем не создавало. Проблемы начались с полгода назад. Причем как-то временами.

К кому переехали, можно узнать

Переехал на ihor.ru и очень доволен.
За 250р. гиг оперативки, 20 диска, бесплатный IPSmanager и дружественная техподдержка.

То ли принуждают к переходу на более дорогой тариф

Этим "рег.сру" не стесняется заниматься. Ушел от них после точно такой же ситуации описанной ТС.

Этим "рег.сру" не стесняется заниматься

C этим регом был целый комикс. Купил у них VDS, залил сайт и он тут же стал недоступен. И оставался недоступным 4 часа. Писал в ТП, они ответили, что проблемы с сервером и просили подождать. После трех часов ожидания я купил виртуальный сервер в другом месте и перенес сайт туда.
Так и не воспользовался услугами регру.

На сайте всё время пасется Mail.ru bot и занимается черте-чем

Я сейчас по логам посмотрел, этого bota у меня на сайте интересуют только фотобитвы и форум
При чём сидел на сайте с 00.29 до 9.00 потом свалил
сканировал вот это
/sitemap_forum_profiles.xml
/sitemap_photobattle_profiles.xml

Значит можно в яндексе посмотреть

B всё таки...
Тут более уместно говорить или о изначально слабых ресурсах VDS или ограниченных лимитах, или не знаю, может быть настройка сервера выполнена так, что подобное поведение бота становится смертельным.
Бот mail.ru посещает я думаю сотни тысяч сайтов. Рапорты о том что из за него падает сервер — единичны)
А в вашем случае, так вообще обращает на себя внимание то, что поддержка сначала вам рассказывала про 28 человек онлайн которые убивают ваш сайт, потом легенда сменилась на другую) Как то не последовательно)

Тут ключевая фраза

или не знаю

Если внимательно прочитать первый пост, то можно заметить, что не поддержка мне рассказывала, а я им рассказывал.

Потом подключился знающий сотрудник техподдержки и разъяснил,

Зловредный бот приходил с айпи 5.143.231.45 (44, 30 и т.д.) в нескольких экземплярах. И только после его забанивания настало спокойствие.

настало спокойствие.

Это самое главное)
Кстати, если совсем запретить доступ к сайту всем ip он вообще будет летать)

стати, если совсем запретить доступ к сайту всем ip он вообще будет летать)

Ну такой вариант тоже возможен.
Для тех, кто имеет твердые убеждения в непогрешимости ботов.)