Нагрузка сервера, MySQL. Решения, выявляющие скрипты, которые нагружают базу

InstantCMS 2.X
#31 5 июня 2018 в 02:03
Нормальное время везде от 0,00008 до 0,00032

Максимальное вот:

















Видимо передача аватара улогином и видео-компонент больше всего нагружают.

Там ещё штук 10 – 15 запросов со временем от 0,00150 до 0,00300 секунд, со строчкой 1824.

Только что вот с этим делать, ведь от всего что установлено на сайт нет ни малейшей задумки отказываться, иначе вся "картина мира" нарушится.

Оптимизация?
#32 5 июня 2018 в 03:38
А вот и похлеще:


#33 5 июня 2018 в 08:04

Оптимизация?

Polzovinst
начать с простого, проверить таблицу, проверить индексы. Посмотреть на каком железе стоит база(ВНИМАНИЕ К ВИНТАМ).может журналирование жрет ресурс скорости винта.
dd или hparm(утилита) проверите скорость винтов на запись и чтение. в вашем случае на чтение.
#34 5 июня 2018 в 09:48

Нормальное время везде

Polzovinst
Вы показали количество и время запросов для достаточно быстрых страниц. Все запросы на таких страницах тоже быстрые.
Поищите страницы, которые стабильно создаются за время более 1-2 секунды. А уже на них — самые долгие запросы. Или, как вариант, страницы, где количество запросов очень велико — намного больше 100.
Также попросите поддержку хостинга прислать Вам лог тяжёлых запросов, если сами не знаете, где его найти.
#35 5 июня 2018 в 15:31


Нормальное время везде

Polzovinst
Вы показали количество и время запросов для достаточно быстрых страниц. Все запросы на таких страницах тоже быстрые.
Поищите страницы, которые стабильно создаются за время более 1-2 секунды. А уже на них — самые долгие запросы. Или, как вариант, страницы, где количество запросов очень велико — намного больше 100.
Также попросите поддержку хостинга прислать Вам лог тяжёлых запросов, если сами не знаете, где его найти.

WebMan
1) Время более 1-2 секунд везде
2) Пересмотрел всё ещё ночью, самые долгие запросы показал
3) Более 100 запросов нет. Около 50, в основном 20-30, один раз 70, 100 было
4) "Логи медленных запросов предоставляются только по обращению в техническую поддержку".
Обратился
5) "Нагрузка на Вашем аккаунте вызвана работой базы данных. Нагрузка вызвана большим количество запросов"

А запросы откуда, если в отладке их немного.
#36 5 июня 2018 в 16:29
Пробегусь всё-таки пока возле Пинга
instantcms.ru/forum/thread29701-1.html#289941

При всём уважении ко всем, мне нужно рассмотреть этот вариант.

Может он и не создаёт запросы, зато поисковые боты создают наверное много обращений.

Не нужно было его устанавливать мне. Что ускорять, куда спешить. Само наиндексирует.


Попробую восстановить хронологию, чтобы не ошибиться.

Итак:
Скачиваю

Устанавливаю

Восхваляю

Не прислушался

Наблюдаем
(информация о нагрузке обновляется в 6 утра)




Совпадение или нет…
Подозреваю…

С фтп и из админки удалил компонент.
Как его полостью «вычистить»?
Или он уже ботам Яндекса "дал команду на атаку"?

Вычищу
А там дальше буду смотреть.
#37 5 июня 2018 в 16:59
Вот эту ерундовину ещё отключу пока
instantcms.ru/forum/thread29794-1.html#290975

Зачем-то подключил "нечайно" на все страницы сайта.

28 мая вечером подключил, а уже 29 мая утром подскочило почти на 2000 секунд.

Пока отключу, потом если что на главной только подключу, и всё.

Всё везде своими же благими намерениями…
#38 5 июня 2018 в 17:22

Или он уже ботам Яндекса "дал команду на атаку"?

Polzovinst

Там наверно вы нажали на режим "пинговать до потери пульса".
#39 5 июня 2018 в 18:03


Там наверно вы нажали на режим "пинговать до потери пульса".

letsgo
Наверное
#40 5 июня 2018 в 22:06

Там наверно вы нажали на режим "пинговать до потери пульса"

letsgo
А где там такое нажимается? В этом компоненте нет опций.

Polzovinst, а Вы на какое количество серверов делаете пинг? В инете много длинных списков подобных серверов, но сейчас большинство из них не работают. Я в прошлом году проверил все сервера, которые нашёл в инете, из них реально рабочие были только три, их себе и оставил:
  1. http://rpc.pingomatic.com/
  2. http://blogsearch.google.com/ping/RPC2
  3. http://ping.feedburner.com
Кстати, у меня пинг при создании новой записи занимает 3-4 секунды.
#41 5 июня 2018 в 23:00


Там наверно вы нажали на режим "пинговать до потери пульса"

letsgo
А где там такое нажимается? В этом компоненте нет опций.

WebMan
Это letsgo шутит.


Polzovinst, а Вы на какое количество серверов делаете пинг? В инете много длинных списков подобных серверов, но сейчас большинство из них не работают. Я в прошлом году проверил все сервера, которые нашёл в инете, из них реально рабочие были только три, их себе и оставил:

  1. http://rpc.pingomatic.com/
  2. http://blogsearch.google.com/ping/RPC2
  3. http://ping.feedburner.com

WebMan
WebMan, штуки 3-4. Вышеперечисленные там тоже были. Были те, которые по умолчанию в этом компоненте instantcms.ru/forum/thread29701-1.html#289941
Другие не прописывал никакие.

Допустим, что в этом причина. Если компонент удалён из админки и по фтп полностью, и, если сам он не делает запросы в базу, значит, это уже поисковые боты сами обращаются, и делают ненужные запросы?

К базе компонент не делает запросы, но прописаться он немного мог там? Или, уже не взирая на то, что он удалён, поисковые боты теперь ненужно лезут, так как их "пригласили", "показали им место".

Видимо поправки несомненно нужно делать в базе. Искать что-то связанное с поисковыми ботами.
#42 5 июня 2018 в 23:20
Уточните, Polzovinst, в чём именно проблема? В слишком долгих запросах или в большом количестве быстрых?

Компонент "Пинг" не делает запросов в БД. После его удаления он никак не влияет на работу системы. На всякий случай зайдите в "Компоненты — Управление событиями" и обновите события в базе, если остались не удалённые события.
В принципе, его даже не обязательно удалять для проверки. Достаточно просто отключить в "Компонентах".

Поисковые боты и так лезут на сайт, даже без "Пингов". Никакие правки в базе делать не нужно. Если Вас не устраивает слишком частое посещение Вашего сайта поисковиками, пропишите нужное минимальное время между их заходами в robots.txt.
#43 5 июня 2018 в 23:26


Уточните, Polzovinst, в чём именно проблема? В слишком долгих запросах или в большом количестве быстрых?

WebMan
WebMan, ни в том, ни в том.
В нагрузке сервера, и то, что хостер на это ругается.


Компонент "Пинг" не делает запросов в БД. После его удаления он никак не влияет на работу системы.

WebMan
Хорошо


На всякий случай зайдите в "Компоненты — Управление событиями" и обновите события в базе, если остались не удалённые события.

WebMan
Рад бы, только жалко что в 2.6.0 нет "Управления событиями".


Если Вас не устраивает слишком частое посещение Вашего сайта поисковиками, пропишите нужное минимальное время между их заходами в robots.txt.

WebMan
Интересно, спасибо. Завтра после работы покопаюсь с этим. Надеюсь хоть немного поможет.
#44 5 июня 2018 в 23:27

Уточните, Polzovinst, в чём именно проблема? В слишком долгих запросах или в большом количестве быстрых?

WebMan
Проблема Polzovinst в хостере свеб.ру. Они очень любят писать письма "Критическая нагрузка на базу! Немедленно смените тариф на более дорогой!"
#45 5 июня 2018 в 23:38


Проблема Polzovinst в хостере свеб.ру. Они очень любят писать письма "Критическая нагрузка на базу! Немедленно смените тариф на более дорогой!"

Ris
Видимо да — видимо да. Хоть и цифры нагрузки предоставлены, но в письмах:
Для снижения нагрузки мы рекомендуем:

провести технические работы по оптимизации SQL-запросов в скриптах сайта, с общими рекомендациями можно ознакомиться здесь: www.mysql.ru/docs/man/MySQL_Optimisation.html ;
использовать в базах данных индексы: www.mysql.ru/docs/man/MySQL_indexes.html ;

Если это не исправит ситуацию, рекомендуем перейти на услугу с более высокими лимитами:

Реактивный-хостинг (https://sweb.ru/services/reactive-hosting/);
VDS (https://sweb.ru/vds/);
выделенный сервер (https://sweb.ru/services/servers/);
выделенный сервер по специальной цене по тарифному плану Power-1000 (https://sweb.ru/services/servers/).

А до этого в общих чертах так:
За последние сутки нагрузка, созданная базами данных MySQL Вашего аккаунта, составила 6987 процессорных секунд. Это превышает допустимую на тарифах виртуального хостинга нагрузку в 1000 процессорных секунд и является нарушением п. 2.11 Правил предоставления услуг, указанных в Приложении 1 к Договору публичной оферты (https://sweb.ru/docs/oferta.pdf).

В соответствии с п. 2.3. Договора работа аккаунта может быть приостановлена: "2.3. Исполнитель вправе приостановить оказание услуг в случаях нарушения Заказчиком п.п. 2.10-2.12. Приложения 1 к настоящему Договору до устранения причины приостановления оказания услуг."

Во избежание остановки работы Вашего аккаунта, пожалуйста, как можно скорее снизьте создаваемую нагрузку.

Для снижения нагрузки мы рекомендуем:
Только так привык уже к ним, каждый пункт изучен вдоль и поперёк. И сейчас вообще не время менять, узнавать, привыкать.
Это как к Инстанту: и родное, и привык, и вдоль и поперёк вроде уже как знаешь куда клацать в админке, компонентах.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.