И так какое-то время назад один из моих сайтов стал постоянно зависать, даже не тормозить а именно зависать на 30-60 сек, а иногда и до пары минут доходило…
Первое на что я стал грешить — это конечно же на кривые компоненты или виджеты, долго и мучительно изучал отладку и включал, отключал их, но в один прекрасный момент заметил, что и в админ панеле бывают зависоны… Подумал я что сервер виноват, ан нет, сервер имеет достаточную мощность для 30 таких сайтов, как мой. Следующим шагом стал грешить на медленную связь с БД, но и тут оказалось всё в порядке. Ну подумал я, дело в ПО сервера и достал я бубен и стал бить в него, вообщем запустил сайт на только что собранной центоси и через пол часа зависоны стали продолжаться, хм, подумал о ддос, но другие сайты на этом сервере работали нормально, вис только 1… И тут я закрыл сайт от юзверей и стал менять шаблоны и тукать пальцем в небо и на удивление обнаружил, что всё работает и притом очень даже быстро… озадачился....
Вообщем нагуглил, что бывают этакие вредные и агрессивные боты, в частности спам боты, хотя и не только и надо их запрещать, притом в robots.txt не все смотрят из них и нашлось решение такое:
В корне сайта ищем файлик .htaccess а далее в конец вставляем этот список:
#2
16 декабря 2016 в 23:10
Baidubot вроде полезный, в Китае тоже люди есть))
ахрефс и мажестик я бы тоже оставил, если пользуетесь онлайн-сервисами анализа сайта. Они обычно данные именно с этих сайтов берут.
Яндекс и Гуглбот тоже, в принципе, нагрузку создают!)
В общем, этот список нужно отдать на проверку специалистам.
ахрефс и мажестик я бы тоже оставил, если пользуетесь онлайн-сервисами анализа сайта. Они обычно данные именно с этих сайтов берут.
Яндекс и Гуглбот тоже, в принципе, нагрузку создают!)
В общем, этот список нужно отдать на проверку специалистам.
#3
17 декабря 2016 в 08:17
vps не пробовали взять?
Сегодня в 08:38
Гуглобото и яндекс бота и маил бота в этом списке нет, а те сервисы, что я пользуюсь они и так работают, но не спорю в списке могут быть полезные боты для кого-то.Baidubot вроде полезный, в Китае тоже люди есть))
ахрефс и мажестик я бы тоже оставил, если пользуетесь онлайн-сервисами анализа сайта. Они обычно данные именно с этих сайтов берут.
Яндекс и Гуглбот тоже, в принципе, нагрузку создают!)
А зачем, когда есть свой домашний, я уже лет 6 на домашних серваках живу и вполне хорошо, нагрузки тестил, дак 3000+ человек одновременно заходящий первый раз держит, а если понадобится куплю сервер помощьнее или облако сделаю =))vps не пробовали взять?
#5
17 декабря 2016 в 10:54
И сколько за электричество выходит? Скока сервак наматывает?А зачем, когда есть свой домашний, я уже лет 6 на домашних серваках живу и вполне хорошо,
#6
17 декабря 2016 в 11:14
Если сайт тормозит из за ботов — увеличивайте ресурсы хостинга или впс. И всё. Так как это прямой сигнал, что небольшая нагрузка от посетителей точно также положит сайт.
#7
17 декабря 2016 в 11:27
Точно не считал, но он окупает всю квартплату за квартиру :DИ сколько за электричество выходит? Скока сервак наматывает?
Ну не совсем так, к примеру пользователь заходит и не делает пару сотней или тысяч запросов за короткий промежуток времени, вот кстати статейка на эту тему, где как раз все расписано и от куда я взял большую часть списка "плохих ботов"Если сайт тормозит из за ботов — увеличивайте ресурсы хостинга или впс. И всё. Так как это прямой сигнал, что небольшая нагрузка от посетителей точно также положит сайт.
#8
17 декабря 2016 в 12:10
Ну не совсем так, к примеру пользователь заходит и не делает пару сотней или тысяч запросов за короткий промежуток времени, вот кстати статейка на эту тему, где как раз все расписано и от куда я взял большую часть списка "плохих ботов"
Это тема примерно 2007 — 2011 годов. Когда цены на ресурсы хостингов были дороже и боты были проблемой. В наше время, это не проблема. Если покопаетесь в источниках, то увидите, что писали об этом как раз таки годов 5-7 назад, далее кто нибудь поднимает тему, но особо это не суть.
Если пара тысяч запросов ложит ваш сайт — что делать? Надо увеличить ресурсы.
#9
17 декабря 2016 в 12:31
Если сайт по непонятным причинам начал жутко тормозить — то вместо метода тыка стоит смотреть логи.
Думаю, беглый просмотр отчета AWStats сделал бы вступительную историю гораздо короче.
Думаю, беглый просмотр отчета AWStats сделал бы вступительную историю гораздо короче.
#10
17 декабря 2016 в 19:57
Спасибо, поставил AWStats хороший инструмент))Если сайт по непонятным причинам начал жутко тормозить — то вместо метода тыка стоит смотреть логи.
Думаю, беглый просмотр отчета AWStats сделал бы вступительную историю гораздо короче.