MySQL - Снизить нагрузку поисковых ботов?

 
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
MySQL - Написано много чего,но не помогает как-то ничего, после добавления "обильного контента" боты поисковиков,не на шутку сканируют все и вся, в результате сервер MySQL нужно перезагружать иногда сильно часто.
Как можно снизить реально запросы?
Петрмаг
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатий
Сообщений: 513
Не знаю, мне запись в robots.txt такая Crawl-delay: 10 реально помогла. Роботы могут сразу не слушаться, особо наглых банить по ip
Редактировалось: 1 раз (Последний: 19 февраля 2016 в 22:06)
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
Crawl-delay: 10 у меня гораздо больше стоит, майла боты сильно активны
Петрмаг
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатий
Сообщений: 513
Петрмаг:
майла боты сильно активны
Забаньте их хотя бы на время.
Посетитель
no avatar
Медаль
Сообщений: 105
да, которые сильно досаждают, тем в robots.txt прописываете Crawl-delay, например так
User-agent: Slurp
Crawl-delay: 100
или если они не нужны, то например так
User-agent: MJ12bot
Disallow: /

а особо наглых, которые не слушают robots.txt банить например в .htaccess
RewriteCond %{HTTP_USER_AGENT} SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* - [F,L]
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
Кто знает,чьи это боты?
100 217.69.134.15
101 217.69.134.29
168 130.193.50.11
169 66.249.78.142
298 66.249.66.130
334 66.249.78.25
517 66.249.66.141
569 66.249.66.8
1920 130.193.51.95
4616 217.69.133.186
Петрмаг
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатий
Сообщений: 513
Петрмаг:
Кто знает,чьи это боты?

Сами смотрите. Я двух посмотрел: Mail.RU_Bot
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
100 217.69.134.15 - Mozilla/5.0 (Windows NT 5.1; rv:44.0) Gecko/20100101 Firefox/44.0 он важный нет? ( пойдем по порядку,может еще кому пригодится
Петрмаг
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 2596
Челябинские вебмастера настолько суровы что банят поисковых ботов...
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
Нил™:
Челябинские вебмастера настолько суровы что банят поисковых ботов.
А кто из Челябинска?
Петрмаг
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1147
Петрмаг:
100 217.69.134.15 - Mozilla/5.0 (Windows NT 5.1; rv:44.0) Gecko/20100101 Firefox/44.0 он важный нет? ( пойдем по порядку,может еще кому пригодится
Так это скорее всего юзер, раз с Firefox сидит.

А в техподдержку хостинга обращались с вопросом про эту абузу? Может они могут че-то посоветовать?
Редактировалось: 1 раз (Последний: 21 февраля 2016 в 16:30)
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.