Превышена нагрузка на сайт

 
Посетитель
small user social cms
Медаль
Сообщений: 129
Прошу помощи профессионалов.
Похоже, атакают боты. Что можно сделать?
Пришло уже не первое письмо от reg.ru
Вот, например, последнее:

Вероятно, высокая нагрузка на MySQL сервер вызвана высокой активностью поисковых роботов на вашем сайта pensionerka.com:

Date: 2017-1-31
============
pensionerka.com - 1285 Mb

pensionerka.com - 64446 queries

1292 queries - pensionerka.com => "128.70.127.118"
718 queries - pensionerka.com => "176.62.106.49"
624 queries - pensionerka.com => "46.161.9.6"
566 queries - pensionerka.com => "178.201.170.119"
546 queries - pensionerka.com => "5.227.222.59"

5878 queries - pensionerka.com => "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
3180 queries - pensionerka.com => "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
1725 queries - pensionerka.com => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
1673 queries - pensionerka.com => "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
1542 queries - pensionerka.com => "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1147
Можно попросить ботов не наглеть написав в robots.txt что-то вроде
User-agent: msnbot
User-agent: bingbot
User-agent: YandexBot
Crawl-delay: 60
Реклама
cms
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 2471
Ну например в htaccess забаньте эти ip и посмотрите нагрузку
Deny from 128.70.127.118
Посмотреть кому ip принадлежат можно через whois например и принять решение банить ip или нет.
128.70.127.118 например голландский, у вас там есть пользователи?
176.62.106.49 - это Омский
Боты можно попробовать запретить так
SetEnvIfNoCase User-Agent "^AppleWebKit" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot
Deny from env=search_bot
Редактировалось: 1 раз (Последний: 3 февраля 2017 в 19:34)
Раньше РАЙ был везде - РАЙсовет, РАЙком, РАЙсобес...., а сейчас везде АДминистрации!
Не надо давать людям советы. Каждый должен лохануться самостоятельно!
Любишь в продакшн, люби и баги починить!
Посетитель
small user social cms
Медаль
Сообщений: 352
eoleg:
Посмотреть кому ip принадлежат
Этот ресурс использует дублирование контента (parser content) .
И не заботится о малейшей уникализации. контента.
Посетитель
small user social cms
Медаль
Сообщений: 129
eoleg:
Deny from 128.70.127.118
Посмотреть кому ip принадлежат можно через whois например и принять решение банить ip или нет.
Сначала забанила... потом посмотрела - это хороший человек. :)) Разбанила
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 2471
Старый балбес:
Этот ресурс использует дублирование контента (parser content) .
И не заботится о малейшей уникализации. контента.
Я просто отвечал на вопрос, насчёт контента - я его не читал и в общем то мне не интересно чей он и т.д...... smile
Раньше РАЙ был везде - РАЙсовет, РАЙком, РАЙсобес...., а сейчас везде АДминистрации!
Не надо давать людям советы. Каждый должен лохануться самостоятельно!
Любишь в продакшн, люби и баги починить!
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.