Если сайт по непонятным причинам начал жутко тормозить

 
Посетитель
small user social cms
Медаль
Сообщений: 390
Здравствуйте! Хочу поделиться с Вами решением одной из проблем, связанных с нагрузкой сайтов на хостинг.

И так какое-то время назад один из моих сайтов стал постоянно зависать, даже не тормозить а именно зависать на 30-60 сек, а иногда и до пары минут доходило...

Первое на что я стал грешить - это конечно же на кривые компоненты или виджеты, долго и мучительно изучал отладку и включал, отключал их, но в один прекрасный момент заметил, что и в админ панеле бывают зависоны... Подумал я что сервер виноват, ан нет, сервер имеет достаточную мощность для 30 таких сайтов, как мой. Следующим шагом стал грешить на медленную связь с БД, но и тут оказалось всё в порядке. Ну подумал я, дело в ПО сервера и достал я бубен и стал бить в него, вообщем запустил сайт на только что собранной центоси и через пол часа зависоны стали продолжаться, хм, подумал о ддос, но другие сайты на этом сервере работали нормально, вис только 1.... И тут я закрыл сайт от юзверей и стал менять шаблоны и тукать пальцем в небо и на удивление обнаружил, что всё работает и притом очень даже быстро... озадачился....

Вообщем нагуглил, что бывают этакие вредные и агрессивные боты, в частности спам боты, хотя и не только и надо их запрещать, притом в robots.txt не все смотрят из них и нашлось решение такое:

В корне сайта ищем файлик .htaccess а далее в конец вставляем этот список:

Спойлер

Проснувшись утром я заметил, что сайт летает при таком же количестве пользователей и полет нормальный уже третий день, значит я поймал какого-то агрессивного бота. Подобные списки можно найти в инете их довольно много, но этот список я собрал из нескольких...

Конечно война с ботами еще продолжается и список будет пополнятся, но пока и это хорошо :)

Кстати наткнулся на историю одного сайтовладельца, который ругал маилру бота, когда тот приходил, то вешал сайт намертво в одиночку делая тысячи запросов и скачивая всё подряд, что есть.

p.s. Если у Вас есть чем дополнить мой список, то буду очень этому рад и надеюсь данная информация кому-то поможет :)
Редактировалось: 4 раз (Последний: 16 декабря 2016 в 18:10)
https://salik.biz
Посетитель
no avatar
Сообщений: 9
Baidubot вроде полезный, в Китае тоже люди есть))
ахрефс и мажестик я бы тоже оставил, если пользуетесь онлайн-сервисами анализа сайта. Они обычно данные именно с этих сайтов берут.
Яндекс и Гуглбот тоже, в принципе, нагрузку создают!)
В общем, этот список нужно отдать на проверку специалистам.
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
vps не пробовали взять?
Петрмаг
Посетитель
small user social cms
Медаль
Сообщений: 390
@amigo:
Baidubot вроде полезный, в Китае тоже люди есть))
ахрефс и мажестик я бы тоже оставил, если пользуетесь онлайн-сервисами анализа сайта. Они обычно данные именно с этих сайтов берут.
Яндекс и Гуглбот тоже, в принципе, нагрузку создают!)
Гуглобото и яндекс бота и маил бота в этом списке нет, а те сервисы, что я пользуюсь они и так работают, но не спорю в списке могут быть полезные боты для кого-то.

Петрмаг:
vps не пробовали взять?
А зачем, когда есть свой домашний, я уже лет 6 на домашних серваках живу и вполне хорошо, нагрузки тестил, дак 3000+ человек одновременно заходящий первый раз держит, а если понадобится куплю сервер помощьнее или облако сделаю =))
Редактировалось: 1 раз (Последний: 17 декабря 2016 в 10:19)
https://salik.biz
Посетитель
small user social cms
Медаль
Сообщений: 925
SALIK:
А зачем, когда есть свой домашний, я уже лет 6 на домашних серваках живу и вполне хорошо,
И сколько за электричество выходит? Скока сервак наматывает?
Анапа объявления
Быстрый хостинг
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 6473
Если сайт тормозит из за ботов - увеличивайте ресурсы хостинга или впс. И всё. Так как это прямой сигнал, что небольшая нагрузка от посетителей точно также положит сайт.
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
Посетитель
small user social cms
Медаль
Сообщений: 390
Capitan:
И сколько за электричество выходит? Скока сервак наматывает?
Точно не считал, но он окупает всю квартплату за квартиру :D

letsgo:
Если сайт тормозит из за ботов - увеличивайте ресурсы хостинга или впс. И всё. Так как это прямой сигнал, что небольшая нагрузка от посетителей точно также положит сайт.
Ну не совсем так, к примеру пользователь заходит и не делает пару сотней или тысяч запросов за короткий промежуток времени, вот кстати статейка на эту тему, где как раз все расписано и от куда я взял большую часть списка "плохих ботов"
https://salik.biz
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 6473
SALIK:
Ну не совсем так, к примеру пользователь заходит и не делает пару сотней или тысяч запросов за короткий промежуток времени, вот кстати статейка на эту тему, где как раз все расписано и от куда я взял большую часть списка "плохих ботов"

Это тема примерно 2007 - 2011 годов. Когда цены на ресурсы хостингов были дороже и боты были проблемой. В наше время, это не проблема. Если покопаетесь в источниках, то увидите, что писали об этом как раз таки годов 5-7 назад, далее кто нибудь поднимает тему, но особо это не суть.

Если пара тысяч запросов ложит ваш сайт - что делать? Надо увеличить ресурсы.
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1147
Если сайт по непонятным причинам начал жутко тормозить - то вместо метода тыка стоит смотреть логи.
Думаю, беглый просмотр отчета AWStats сделал бы вступительную историю гораздо короче.
Посетитель
small user social cms
Медаль
Сообщений: 390
Sonat:
Если сайт по непонятным причинам начал жутко тормозить - то вместо метода тыка стоит смотреть логи.
Думаю, беглый просмотр отчета AWStats сделал бы вступительную историю гораздо короче.
Спасибо, поставил AWStats хороший инструмент))
https://salik.biz
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.