Проблемы с базой mysql - большая нагрузка блогов

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО
#1 3 февраля 2016 в 12:21
Периодически с сайта исчезают записи в блогах, как будто их и не было. В базе в таблице cms_blog_posts написано "Используется". Восстановить таблицу в mysql не получается.

Через команды
/etc/init.d/mysql stop
myisamchk -r -q /var/lib/mysql/название_базы/cms_blog_posts.MYI --update-state
/etc/init.d/mysql start
все восстанавливается. но ненадолго. Раз в сутки стабильно снова все "падает", особенно ночью. Хоть сутки напролет сиди и жди, когда это случится.

Один раз запустить базу не удалось. перепробовала кучу всего, в том числе и restart. Слезные просьбы к хостеру помогли, они восстановили. Но советуют поменять тип хранилища MyISAM на InnoDB. Но в таблице cms_blog_posts используются 2 fulltext индекса, которые я не могу поменять на другие, выдает ошибку. Соответственно и саму таблицу cms_blog_posts не поменять на InnoDB, пока используются fulltext.

Вот здесь такая же тема, но советуют ничего не менять, все равно толку мало. На более высокий тариф переходить — уже куда дальше. За последний месяц уже дважды выше прыгнула на VPS. Вроде хватает всего. даже на обычном хостинге не настолько часто были ошибки, как сейчас. Хотя в последнее время часто пропадало соединение с базой, из-за чего и решила перейти на VPS.

Что можно сделать в этом случае, как уменьшить нагрузку, где менять настройки и нужно ли это делать?

Всем заранее спасибо за советы.
#2 3 февраля 2016 в 16:26
Какой трафик на сайте и сколько у вас блогов?
#3 3 февраля 2016 в 18:08

Но в таблице cms_blog_posts используются 2 fulltext индекса, которые я не могу поменять на другие, выдает ошибку

Miledy
Что за хост? Давно на инно работает фуллтекст на индексе.
#4 3 февраля 2016 в 19:40
Shuma, из поста можно увидеть сайт.

За последний месяц уже дважды выше прыгнула на VPS.

Miledy
А может попробовать в другой компании еще? Взять там где есть тестовый период и проверить
#5 3 февраля 2016 в 20:12
lokanaft, поддержу на нормальных хостингах с установленной 5.6 mysql уже давно есть фултексты на innoBD. но а вообще нужно разбираться что дает нагрузку может быть плагин какой забивает лишними запросами базу.
#6 3 февраля 2016 в 23:00
Была подобная проблема. Сайт периодически зависал, страницы открывались по 5 минут и иногда вываливался can't mysql connect. После перезагрузки сервера работает две минуты нормально и опять переходит на черепашьи скорости.
Техподдержку хостера я задолбал тикетами насмерть. Чуть не до ругани дело доходило.

Исправил проблему уняв прыть поисковых ботов. И хоть меня и пытались убедить, что я в корне не прав, но я вижу факты, то есть разницу было/стало.
instantcms.ru/forum/thread23461.html
#7 4 февраля 2016 в 00:16
1. Унять прыть поисковых ботов.
у меня в robots.txt прописано так: (может что и лишнее)
  1. User-agent: *
  2. Disallow: /go/
  3. Disallow: /search/tag/
  4. Disallow: /rss/
  5. Disallow: /errors
  6.  
  7. User-agent: Slurp
  8. Crawl-delay: 100
  9. User-agent: MJ12bot
  10. Disallow: /
  11. User-agent: AhrefsBot
  12. Disallow: /
другие боты пока не мешали и нагрузку не вызывали, хотя майловский бот и усердствует по ночам, его не пришлось трогать.
Смотрите в логах доступа на сервере в момент большой нагрузки что происходит. Может и майло бот тоже ограничить.
Если будут хамить и не слушаться robots.txt то можно их убить в .htaccess (выбрать какой именно хамит)
  1. RewriteCond %{HTTP_USER_AGENT} SolomonoBot [NC,OR]
  2. RewriteCond %{HTTP_USER_AGENT} SearchBot [NC,OR]
  3. RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
  4. RewriteCond %{HTTP_USER_AGENT} Slurp [NC,OR]
  5. RewriteCond %{HTTP_USER_AGENT} AhrefsBot
  6. RewriteRule .* - [F,L]
если конечно эти боты вам не нужны.

2. Большая нагрузка блогов на главной странице в модуле или при просмотре самих блогов? Если модуль "последние блоги" на главной, то включите для него кэширование, скажем минут 5 и посмотрите на нагрузку, может и для других модулей стоит включить кэширование.

3. У меня были проблемы и на стороне хостера, виртуальный хостинг у Ру-Центра, проблемы и мне и им надоели и они перенесли базу на другой сервер(компьютер) и всё значительно улучшилось и нормально заработало.
При посещаемости 1000 чел в сутки вот такая картина нарузки на память сервера:

и сайт работает стабильно и быстро.
#8 6 февраля 2016 в 23:49

Какой трафик на сайте и сколько у вас блогов?

Shuma
Очень много добавляется записей в блоги клубов. Ежедневно около 20-30 постов точно. Трафик 10-20 тыс. Происходит такое чаще всего поздно ночью. Вроде и нагрузки тогда нет на сайт.

Сегодня установили 5.6 mysql, посмотрим, будет ли слетать дальше. Поддержка отвечала, что нагрузку вызывают именно боты. В логах смотрела, но особо не разбираюсь, как их расшифровывать. Плагины, скорей всего, тоже виноваты. Тем более, что некоторые из них в логах error есть.

Переездов боюсь, столько сразу проблем вызывают и не факт, что не поменяешь шило на мыло. Советовали немецкий хостинг с русской поддержкой. Никак не определюсь, а то они все только обещают много. Здесь держит только то, что все-таки поддержка отвечает и достаточно быстро. Даже восстанавливают, если у меня не получается, но глобально проблема не решается и все повторяется. Пытаются помочь, но иногда их некоторые "советы" даже у меня вызывают улыбку. Смотря какой дежурный там сидит.

Закрыть от ботов — проблема в некоторой степени решится. Но что будет, когда ежедневная посещалка еще увеличится? Ведь бывает иногда по 50-60 тыс.

Кстати, classics, в Ру-центре была тоже. за несколько лет с ними я полностью разочаровалась. Были сайты с низкой посещалкой, но нагрузки для ру-центра были слишком большие. В итоге от них переехала. Еще у них цены бешеные))), а качество предоставляемых услуг низкое.
#9 7 февраля 2016 в 02:37
даже страшно спросить что у вас за сайт. можно ссылку в ЛС, очень интересно посмотреть на проект на инстанте с такой посещалкой?

руцентр самое плохое их серверов, что можно придумать. обратитесь во многие другие более компетентные. там и перенос будет бесплатный и сделают его админы тех серверов за вас, так что боятся нечего.
#10 7 февраля 2016 в 10:27

Трафик 10-20 тыс

Miledy
Можно тоже ссылку в ЛС?
#11 8 февраля 2016 в 00:23
Ну вот проблем стало еще больше: переходишь на какой-то пост и часто на сайте становишься вдруг не авторизованным. Причем, залогиниться не удается.

А с редактированием постов вообще непонятно что творится — редактируешь, сохраняешь, изменений нет. Отредактированный текст в таком виде появится только через несколько часов.

Нужно сразу все правильно делать, если надо что-то исправить — оно в исправленном виде на сайте не скоро.

все таблицы базы без проблем и быстро восстанавливаются, проверяются итд. Ошибок никаких не выдает.

Что будет, если принудительно завершить процессы в MySQL???
#12 8 февраля 2016 в 00:50
Miledy, всётаки считаю вам нужно разобраться с mysql.
Покажите вкладку состояние в phpmyadmin, или приведите значение переменных выделенных красным цветом.
Ещё покажите my.cnf
#13 8 февраля 2016 в 10:09

А с редактированием постов вообще непонятно что творится — редактируешь, сохраняешь, изменений нет. Отредактированный текст в таком виде появится только через несколько часов.

где-то включено кэширование…
#14 13 февраля 2016 в 17:35
Проблема оказалась простой, но слишком сложной (это женское мышление)))
Создался временный файл, именно он мешал работе. Почему сайт падал именно с 12 до 2 ночи — скорей всего в это время начинают выполнятся задачи крон и все слетает. В том числе запускается по крону оптимизация базы и именно таблица постов блогов.

Может инфа будет кому-то полезна, делюсь бесплатно. Мне проблема решилась за деньги)))
Файл, который нужно удалять (создается временный при неправильной оптимизации базы)
/var/lib/mysql/база/cms_blog_posts.TMD

Кеш был действительно включен принудительно. Хостеры, чтобы не разбираться, решили "помочь" таким способом. Выключила кеш — все нормально. Но при этом включила через админку на самые обновляемые стандартные модули.

Пока все работает.
Всем спасибо, кто принимал участие в дискуссии и пытался помочь.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.