Тогда, не вижу препятствий. Как, если что, перейти на более жесткий вариант, вы знаете.В цепочке редиректов мой сайт не первый
Проблема с нагрузкой на сервер. Пытаюсь разобраться
На сервере стояла MariaDB 10.1 кушала до 31% памяти (из моих 1,5 гб)
Внимательно присмотрелся к новой версии MariaDB 10.2 тем более что обещался движек RockDB
Переустановил (благо что у Брейни это как два пальца… В итоге сижу ловлю легкий кайф...
Нагрузка на память упала до 15% (при условии одинаковых условий), при нагрузке естественно слегка увеличивается.
Такое ощущение, что и скорость загрузки станиц уменьшилась.
К сожалению в версии на Брейни не оказалось RockDB, надеюсь скоро добавят, но эффект уже радует.
location ^~ /redirect {
return 444;
}
На сайте стоит SSL сертификат и при вставке простой ndinx конфиг домена это ничего не дало, а вот когда вставил в конфиг с SSL сертификатом, при паразитном запросе сразу получил страница не доступна.
Так же освободилось немного памяти! Я впервые увидел свободных 200 мб, а до всех изменений в среднем имел не более 120 мб
Как избавиться от этих запросов ?! Отключил в админке Редирект прописал в index.php как советовал Но в логах все равно идут redirect но уже с ошибкой 403В последние дни веб-сайт регулярно создает повышенную нагрузку на сервер БД Это связано с тем, что на него приходит много запросов с различных зарубежных ip
Редиректы идут даже если нет самого сайта, но прописан домен!
Но в логах все равно идут redirect но уже с ошибкой 403
Поэтому эти запросы можно только отслеживать и блокировать IP источника (если у вас ВПС) или прописать блокировку в файле .htaccess (если у вас стоит Apache) Например так:
RewriteBase /
# Germany = 5.9. 46.4. 78.46. 88.198. 88.217. 144.76. 148.251. 178.203. 46.229.168 94.130.18.35 173.212.233.
# France = 51.254. 62.210.148. 91.121. 149.202. 151.80. 164.132. 212.83.174. 163. 188.165.233. 188.165.234.
# USA = 69.30. 69.197.163.195 71.13.87.122 104.131.147.112 107.170. 192.187.104. 192.243.55. 207.46.13.97 148.177.168.116 104.148.44. 169.229.3.91
# USA = 54.165. 34.192. 216.244.64.-216.244.95. 199.47.80.-199.47.87 104.148.44.34 104.148.71.26 104.148.38. 198.89.125.126 23.237.4.26
# Ukraine = 91.198.143. 130.0. 89.21.70. 89.21.71. 178.137.128. 193.106.28. 193.106.29. 193.106.30. 193.106.31. 91.200.80.2
# Kazahstan = 82.200.159.
# Ireland = 185.234.217.
# Poland = 80.211.246. 91.196.48.-91.196.51. 185.25.148. 185.25.151.
# Canada = 167.114.181.145 192.175.111.237
# Thailand = 118.174.41.
Order deny,allow
Deny from 5.9. 46.4. 51.254. 62.210.148. 69.30. 69.197.163.195 71.13.87.122 78.46. 88.198. 88.217. 91.121. 91.198.143. 104.131.147.112 107.170. 130.0. 144.76. 148.251. 149.202. 151.80. 164.132. 173.212.233.
Deny from 178.203. 192.187.104. 192.243.55. 207.46.13.97 212.83.174. 148.177.168.116 82.200.159. 89.21.70. 89.21.71. 104.148.44. 163. 54.165. 34.192. 216.244.64. 188.165.233. 188.165.234. 178.137.128. 104.148.44.34
Deny from 185.234.217. 193.106.28. 193.106.29. 193.106.30. 193.106.31. 80.211.246. 94.130.18.35 199.47.80. 199.47.81. 199.47.82. 199.47.83. 199.47.84. 199.47.85. 199.47.86. 199.47.87. 167.114.181.145 192.175.111.237
Deny from 216.244.64. 216.244.65. 216.244.66. 216.244.67. 216.244.68. 216.244.69. 216.244.70. 216.244.71. 216.244.72. 216.244.73. 216.244.74. 216.244.75. 216.244.76. 216.244.77. 216.244.78. 216.244.79. 104.148.71.26
Deny from 216.244.80. 216.244.81. 216.244.82. 216.244.83. 216.244.84. 216.244.85. 216.244.86. 216.244.87. 216.244.88. 216.244.89. 216.244.90. 216.244.91. 216.244.92. 216.244.93. 216.244.94. 216.244.95.
Deny from 91.196.48. 91.196.49. 91.196.50. 91.196.51. 169.229.3.91 185.25.148. 185.25.149. 185.25.150. 185.25.151. 91.200.80.2
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Mail.RU_Bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Riddler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*aiHitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*trovitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Detectify.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*dotbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*FlipboardProxy.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*"
RewriteRule ".*" "-" [F]
</IfModule>
Это вы должны решить сами. Вам нужен поисковый робот Apple? Если он достает и не дает ничего в замен, можно и блокировать.Есть ли смысл блокировать Applebot?
По каждому поисковому роботу можно принимать индивидуальные решения. Обычно по факту. Смотрим на обращения, и особо рьяных, но не особо нужных блокируем.
По хорошему нужна статистика, к примеру, за сутки:Есть ли смысл блокировать Applebot?
— сколько вообще было запросов к сайту — 100%,
— сколько было запросов ботов — b%,
— сколько было запросов конкретного бота — cb%.
И как-то для себя решить, сколько вы можете позволить конкретному боту.