Повышенная нагрузка из за редиректов

InstantCMS 2.X

Проблема с нагрузкой на сервер. Пытаюсь разобраться

#91 10 марта 2018 в 21:12

В цепочке редиректов мой сайт не первый

vikont
Тогда, не вижу препятствий. Как, если что, перейти на более жесткий вариант, вы знаете.
#92 10 марта 2018 в 22:55
К вопросу о снижении нагрузки на сервер!
На сервере стояла MariaDB 10.1 кушала до 31% памяти (из моих 1,5 гб)
Внимательно присмотрелся к новой версии MariaDB 10.2 тем более что обещался движек RockDB
Переустановил (благо что у Брейни это как два пальца… В итоге сижу ловлю легкий кайф...
Нагрузка на память упала до 15% (при условии одинаковых условий), при нагрузке естественно слегка увеличивается.
Такое ощущение, что и скорость загрузки станиц уменьшилась.

К сожалению в версии на Брейни не оказалось RockDB, надеюсь скоро добавят, но эффект уже радует.
#93 10 марта 2018 в 23:16
Дополнительно применил совет @IamB вставить в nginx конфиг домена конструкцию
location ^~ /redirect {
return 444;
}
На сайте стоит SSL сертификат и при вставке простой ndinx конфиг домена это ничего не дало, а вот когда вставил в конфиг с SSL сертификатом, при паразитном запросе сразу получил страница не доступна.
Так же освободилось немного памяти! Я впервые увидел свободных 200 мб, а до всех изменений в среднем имел не более 120 мб
#94 2 сентября 2020 в 19:36
Тоже появилась проблема с этим redirect сидел на 2.9.0 обновился до последней версии и понеслось. Хостер начал жаловаться

В последние дни веб-сайт регулярно создает повышенную нагрузку на сервер БД Это связано с тем, что на него приходит много запросов с различных зарубежных ip

Как избавиться от этих запросов ?! zloОтключил в админке Редирект прописал в index.php как советовал
Alex
Но в логах все равно идут redirect но уже с ошибкой 403
#95 2 сентября 2020 в 20:30


Но в логах все равно идут redirect но уже с ошибкой 403

Xamle
Редиректы идут даже если нет самого сайта, но прописан домен!
Поэтому эти запросы можно только отслеживать и блокировать IP источника (если у вас ВПС) или прописать блокировку в файле .htaccess (если у вас стоит Apache) Например так:
RewriteEngine On
RewriteBase /

# Germany = 5.9. 46.4. 78.46. 88.198. 88.217. 144.76. 148.251. 178.203. 46.229.168 94.130.18.35 173.212.233.
# France = 51.254. 62.210.148. 91.121. 149.202. 151.80. 164.132. 212.83.174. 163. 188.165.233. 188.165.234.
# USA = 69.30. 69.197.163.195 71.13.87.122 104.131.147.112 107.170. 192.187.104. 192.243.55. 207.46.13.97 148.177.168.116 104.148.44. 169.229.3.91
# USA = 54.165. 34.192. 216.244.64.-216.244.95. 199.47.80.-199.47.87 104.148.44.34 104.148.71.26 104.148.38. 198.89.125.126 23.237.4.26
# Ukraine = 91.198.143. 130.0. 89.21.70. 89.21.71. 178.137.128. 193.106.28. 193.106.29. 193.106.30. 193.106.31. 91.200.80.2
# Kazahstan = 82.200.159.
# Ireland = 185.234.217.
# Poland = 80.211.246. 91.196.48.-91.196.51. 185.25.148. 185.25.151.
# Canada = 167.114.181.145 192.175.111.237
# Thailand = 118.174.41.

Order deny,allow
Deny from 5.9. 46.4. 51.254. 62.210.148. 69.30. 69.197.163.195 71.13.87.122 78.46. 88.198. 88.217. 91.121. 91.198.143. 104.131.147.112 107.170. 130.0. 144.76. 148.251. 149.202. 151.80. 164.132. 173.212.233.
Deny from 178.203. 192.187.104. 192.243.55. 207.46.13.97 212.83.174. 148.177.168.116 82.200.159. 89.21.70. 89.21.71. 104.148.44. 163. 54.165. 34.192. 216.244.64. 188.165.233. 188.165.234. 178.137.128. 104.148.44.34
Deny from 185.234.217. 193.106.28. 193.106.29. 193.106.30. 193.106.31. 80.211.246. 94.130.18.35 199.47.80. 199.47.81. 199.47.82. 199.47.83. 199.47.84. 199.47.85. 199.47.86. 199.47.87. 167.114.181.145 192.175.111.237
Deny from 216.244.64. 216.244.65. 216.244.66. 216.244.67. 216.244.68. 216.244.69. 216.244.70. 216.244.71. 216.244.72. 216.244.73. 216.244.74. 216.244.75. 216.244.76. 216.244.77. 216.244.78. 216.244.79. 104.148.71.26
Deny from 216.244.80. 216.244.81. 216.244.82. 216.244.83. 216.244.84. 216.244.85. 216.244.86. 216.244.87. 216.244.88. 216.244.89. 216.244.90. 216.244.91. 216.244.92. 216.244.93. 216.244.94. 216.244.95.
Deny from 91.196.48. 91.196.49. 91.196.50. 91.196.51. 169.229.3.91 185.25.148. 185.25.149. 185.25.150. 185.25.151. 91.200.80.2

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Mail.RU_Bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Riddler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*aiHitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*trovitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Detectify.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*dotbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*FlipboardProxy.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*"
RewriteRule ".*" "-" [F]
</IfModule>
В примере показана блокировка по маске IP (можно указывать конкретный IP) и ниже показана блокировка ботов. Уже вставка этого примера даст снижение нагрузки.
#96 14 июня 2021 в 13:16
Есть ли смысл блокировать Applebot?
#97 14 июня 2021 в 21:14

Есть ли смысл блокировать Applebot?

Голдман Сакс
Это вы должны решить сами. Вам нужен поисковый робот Apple? Если он достает и не дает ничего в замен, можно и блокировать.
По каждому поисковому роботу можно принимать индивидуальные решения. Обычно по факту. Смотрим на обращения, и особо рьяных, но не особо нужных блокируем.
#98 15 июня 2021 в 22:48

Есть ли смысл блокировать Applebot?

Голдман Сакс
По хорошему нужна статистика, к примеру, за сутки:
— сколько вообще было запросов к сайту — 100%,
— сколько было запросов ботов — b%,
— сколько было запросов конкретного бота — cb%.
И как-то для себя решить, сколько вы можете позволить конкретному боту.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.