Нагрузка сервера, MySQL. Решения, выявляющие скрипты, которые нагружают базу 2.X

 
Посетитель
small user social cms
Медаль
Сообщений: 381
От хостера пришло письмо (3 дня подряд), что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.

Нагрузка 6738 процессорных секунд.
Допустимо 1000

По договору оферты могут меня «вырубить». Я то их не вырублю)

Наткнулся на интересное решение http://addons.instantcms.ru/addons/loadaverage.html
Но там отзывы не очень. Пишут, что сайт выключает. Не знаю, может так настраивали.
Воспользоваться или есть ещё решения для InstantCMS, выявляющие источник нагрузки?

Вообще проблемы с нагрузкой начались после установки Пинга http://addons.instantcms.ru/addons/se-ping.html
Как раз тот же разработчик.

В access_log все строчки про уandex bot были.
Кстати, меня предупреждали за перегрузку.
http://instantcms.ru/forum/thread29701-1.html#289942

С фтп и из админки удалил, сначала помогло.
Не знаю, может сейчас другие скрипты нагружают. Хотя, по идее, нет таких.

Вопрос:
1) как до конца удалять компоненты, в частности этот бот?
2) есть ли решения, выявляющие нагрузку?
Редактировалось: 2 раз (Последний: 3 июня 2018 в 20:58)
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2249
Сделайте восстановление и оптимизацию базы!
Лучшее место для вашего сайта!
Реклама
cms
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4359
Polzovinst:
Но там отзывы не очень. Пишут, что сайт выключает.
Те, кто читать не умеет описание и цель компонента. А также его техтребования. Компонент не делает запросы к базе.
Polzovinst:
Вообще проблемы с нагрузкой начались после установки Пинга
Этот компонент вообще не делает запросы в базу) Он лишь только при добавлении записей отправляет пинг поисковым системам.

Polzovinst:
что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.
Так выясните, какие дополнения делают много запросов к базе.

Polzovinst:
есть ли решения, выявляющие нагрузку?
Включение режима отладки в админке. И понимание того, что вы делаете. А не так, как вы делали с "защитой конфига", который уже защищён.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
Медаль
Сообщений: 381
Спасибо.
Fuze:

И понимание того, что вы делаете.
Пока развиваемся. Лучше, чем год назад. Через год будет ещё лучше. Стыдно взрослому, что когда-то был глупым ребёнком.

Fuze:

Включение режима отладки в админке.
Включил. Дальше вот думаю что делать)

Fuze:

Этот компонент вообще не делает запросы в базу)
Просто во времен нагрузка совпала с установкой компонента.
И в access_log все строчки про уandex bot были.
В техподдержке сервера сказали, что если нагрузка большая, загляните для начала в access_log
Редактировалось: 1 раз (Последний: 3 июня 2018 в 21:34)
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4359
Polzovinst:
Дальше вот думаю что делать
Видимо ходить по страницам, открывать окно отладки и смотреть список SQL запросов. Огорчаться их кол-вом и смотреть от какого компонента их больше всего.
Polzovinst:
И в access_log все строчки про уandex bot были.
И как access_log и строчки про уandex bot вы связали с компонентом? Полагаю, что у вас много запросов от уandex bot (стоит погуглить что это), а ваш не очень хороший хостинг не справляется с банальной индексацией.

Polzovinst:
Пока развиваемся
Развиваться нужно, пытаясь разбираться, что вам советуют, вникая в каждую строчку советов, не стесняясь лишний раз полюбопытствовать и погуглить. А то вам посоветуют когда-нибудь ввести в консоли сервера супер команду для улучшения быстродействия:
Код BASH:
  1. rm -rf
и копипаст вас подведёт.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2249
У вас все установлено по умолчанию? Тогда у вас тип таблицы базы MySAM.
В процессе работы у этого типа таблиц накапливаются ошибки и фрагментируется база. Это приводит к нагрузкам серверов.
Надо хотя бы раз в месяц выполнять обслуживание базы, а именно 2 процесса - восстановление и оптимизация. Если это не позволяет делать ваша панель управления, тогда это надо сделать через phpMyAdmin.
Если для вас это "темный лес" тогда могу помочь.
Лучшее место для вашего сайта!
Посетитель
small user social cms
Медаль
Сообщений: 381
vikont:

У вас все установлено по умолчанию? Тогда у вас тип таблицы базы MySAM.
В процессе работы у этого типа таблиц накапливаются ошибки и фрагментируется база. Это приводит к нагрузкам серверов.
Надо хотя бы раз в месяц выполнять обслуживание базы, а именно 2 процесса - восстановление и оптимизация. Если это не позволяет делать ваша панель управления, тогда это надо сделать через phpMyAdmin.
Если для вас это "темный лес" тогда могу помочь.
Спасибо. Если с тёмным лесом в ближайшее время не разберусь, обязательно обращусь.
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2249
Fuze:
И как access_log и строчки про уandex bot вы связали с компонентом? Полагаю, что у вас много запросов от уandex bot (стоит погуглить что это), а ваш не очень хороший хостинг не справляется с банальной индексацией.
Fuze верно пишет! Это вторая проблема перегрузки. Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера. Но с начала обслужите базу.
Лучшее место для вашего сайта!
Посетитель
small user social cms
Медаль
Сообщений: 381
vikont:

Это вторая проблема перегрузки. Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера.
Может правда то что SSL-сертификат получил ещё. Индексирует там себе.
Редактировалось: 1 раз (Последний: 3 июня 2018 в 21:57)
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4359
vikont:
у этого типа таблиц накапливаются ошибки
Polzovinst:
Может правда то что SSL-сертификат получил ещё. Индексирует там себе.
Откуда такую информацию вы берете?) Из разряда по колесу постучал, стекло протёр, - не помогает.

ошибки не могут накапливаться, они либо есть и база (или отдельная таблица) падает, либо их нет.
При чём тут ssl сертификат в целом? При чем тут сертификат и индексация?

vikont:
Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера.
Хостинг калькулятор ситезен что ли? Если банальные боты кладут сайт, то либо хостинг мягко говоря плох, либо настолько много sql запросов, что чуть маленькая нагрузка и хостинг делает отсечку.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2249
Fuze:
vikont:
у этого типа таблиц накапливаются ошибки

Откуда такую информацию вы берете?) Из разряда по колесу постучал, стекло протёр, - не помогает.

ошибки не могут накапливаться, они либо есть и база (или отдельная таблица) падает, либо их нет.
Таблиц в базе не одна и сбоить тоже может не одна....
Процедуры восстановления и оптимизации, помогают реально! Не раз с этим сталкивался.
Fuze:
Хостинг калькулятор ситезен что ли? Если банальные боты кладут сайт, то либо хостинг мягко говоря плох, либо настолько много sql запросов, что чуть маленькая нагрузка и хостинг делает отсечку.
ЯВебмастер-сайт-Индексирование-скорость обхода...
Когда в базе есть сбои, будут боты ложить хостинг! Конечно бывает вина и самого хостинга, стараемся работать по минимуму затрат... Если хостинг слабоват, тогда тормознуть боты, чтоб не грузили сервер.
Лучшее место для вашего сайта!
Посетитель
small user social cms
Медаль
Сообщений: 381
vikont:

ЯВебмастер-сайт-Индексирование-скорость обхода...
Нагрузка сервера, MySQL. Решения, выявляющие скрипты, которые нагружают базу

Невысокая. Видимо, у меня не из-за этого.

Остаётся вариант отладка и оптимизация.
Редактировалось: 3 раз (Последний: 3 июня 2018 в 23:07)
Посетитель
small user social cms
Медаль
Сообщений: 381
Fuze:

Видимо ходить по страницам, открывать окно отладки и смотреть список SQL запросов.

Этим можно воспользоваться http://addons.instantcms.ru/addons/debug.html ?
Редактировалось: 1 раз (Последний: 3 июня 2018 в 23:53)
Посетитель
small user social cms
Медаль
Сообщений: 148
Polzovinst:

От хостера пришло письмо (3 дня подряд), что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.
Думаю не в компонентах дело. Скорее всего нагрузку создают редиректы scratch
Порою нужен сбой в системе, и шаг на ощупь в темноте. А иногда - побыть не с теми, чтоб наконец понять, кто - те.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1901
Стало интересно. Один эксперимент провожу, чистый движок. Из компонентов почти ничего нет, кроме инстайлера. Но когда его отключал, ничего не менялось.

Установил расширенную отладку ради интереса. Выдало такую картинку:
Нагрузка сервера, MySQL. Решения, выявляющие скрипты, которые нагружают базу

На сайте один тип контента, в нем 350к записей. Тормозит, да. Конфигурация сервера может и не самая лучшая)) Но даже большего объема сайты на вп работают шустрее на этом же хостинге.

Тоже искал причины в начале, потом забил. Один из экспериментов на этом сайте как раз заключался в проверке быстродействия при большом количестве записей. Чтобы боты не грузили сервер, ограничил их, потому что в самом начале было по 200 подключений в секунду. Сделал 1 подключение в 30 секунд.

Так и не понял, в чем прикол. Отключал виджеты, да и сейчас они отключены почти все. Хостер говорит, что большая нагрузка на процессор. Увеличил лимит в два раза мне по старой дружбе - стало веселее, но иногда сайт все равно падает.

Как проверить, какие запросы к базе идут, я так и не понял)) Не знаю. Судя по всему, как раз с базой, кажется, что-то не так.

Вообще, на самом деле, я уже забыл про этот сайт. А тут раз - напомнили))

Вывод такой - чтобы сайт нормально работал с большим количеством контента, нужны большие ресурсы. Обычный хостинг такие не предоставляет. А может просто у меня руки кривые, кто знает...
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.