Проблемы с базой mysql - большая нагрузка блогов

 
Посетитель
small user social cms
Сообщений: 71
Периодически с сайта исчезают записи в блогах, как будто их и не было. В базе в таблице cms_blog_posts написано "Используется". Восстановить таблицу в mysql не получается.

Через команды
/etc/init.d/mysql stop
myisamchk -r -q /var/lib/mysql/название_базы/cms_blog_posts.MYI --update-state
/etc/init.d/mysql start
все восстанавливается. но ненадолго. Раз в сутки стабильно снова все "падает", особенно ночью. Хоть сутки напролет сиди и жди, когда это случится.

Один раз запустить базу не удалось. перепробовала кучу всего, в том числе и restart. Слезные просьбы к хостеру помогли, они восстановили. Но советуют поменять тип хранилища MyISAM на InnoDB. Но в таблице cms_blog_posts используются 2 fulltext индекса, которые я не могу поменять на другие, выдает ошибку. Соответственно и саму таблицу cms_blog_posts не поменять на InnoDB, пока используются fulltext.

Вот здесь такая же тема, но советуют ничего не менять, все равно толку мало. На более высокий тариф переходить - уже куда дальше. За последний месяц уже дважды выше прыгнула на VPS. Вроде хватает всего. даже на обычном хостинге не настолько часто были ошибки, как сейчас. Хотя в последнее время часто пропадало соединение с базой, из-за чего и решила перейти на VPS.

Что можно сделать в этом случае, как уменьшить нагрузку, где менять настройки и нужно ли это делать?

Всем заранее спасибо за советы.
Редактировалось: 1 раз (Последний: 7 февраля 2016 в 03:31)
Хороший доход для качественных сайтов
Посетитель
small user social cms
Медаль
Сообщений: 260
Какой трафик на сайте и сколько у вас блогов?
Реклама
cms
Модератор
small user social cms
МедальПочетный донор проектаКубок зрительских симпатийАвторитет форума
Сообщений: 1422
Miledy:
Но в таблице cms_blog_posts используются 2 fulltext индекса, которые я не могу поменять на другие, выдает ошибку
Что за хост? Давно на инно работает фуллтекст на индексе.
Нормальный хостинг, сервера быстрые - пользуюсь сам.
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3089
Shuma, из поста можно увидеть сайт.

Miledy:
За последний месяц уже дважды выше прыгнула на VPS.
А может попробовать в другой компании еще? Взять там где есть тестовый период и проверить
Посетитель
small user social cms
МедальКубок зрительских симпатийПочетный донор проекта
Сообщений: 817
lokanaft, поддержу на нормальных хостингах с установленной 5.6 mysql уже давно есть фултексты на innoBD. но а вообще нужно разбираться что дает нагрузку может быть плагин какой забивает лишними запросами базу.
Компоненты, модули, шаблоны, разработка на заказ - широкий выбор всего
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2602
Была подобная проблема. Сайт периодически зависал, страницы открывались по 5 минут и иногда вываливался can't mysql connect. После перезагрузки сервера работает две минуты нормально и опять переходит на черепашьи скорости.
Техподдержку хостера я задолбал тикетами насмерть. Чуть не до ругани дело доходило.

Исправил проблему уняв прыть поисковых ботов. И хоть меня и пытались убедить, что я в корне не прав, но я вижу факты, то есть разницу было/стало.
http://instantcms.ru/forum/thread23461.html
Посетитель
no avatar
Медаль
Сообщений: 105
1. Унять прыть поисковых ботов.
у меня в robots.txt прописано так: (может что и лишнее)
Код PHP:
  1. User-agent: *
  2. Disallow: /go/
  3. Disallow: /search/tag/
  4. Disallow: /rss/
  5. Disallow: /errors
  6.  
  7. User-agent: Slurp
  8. Crawl-delay: 100
  9. User-agent: MJ12bot
  10. Disallow: /
  11. User-agent: AhrefsBot
  12. Disallow: /
другие боты пока не мешали и нагрузку не вызывали, хотя майловский бот и усердствует по ночам, его не пришлось трогать.
Смотрите в логах доступа на сервере в момент большой нагрузки что происходит. Может и майло бот тоже ограничить.
Если будут хамить и не слушаться robots.txt то можно их убить в .htaccess (выбрать какой именно хамит)
Код PHP:
  1. RewriteCond %{HTTP_USER_AGENT} SolomonoBot [NC,OR]
  2. RewriteCond %{HTTP_USER_AGENT} SearchBot [NC,OR]
  3. RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
  4. RewriteCond %{HTTP_USER_AGENT} Slurp [NC,OR]
  5. RewriteCond %{HTTP_USER_AGENT} AhrefsBot
  6. RewriteRule .* - [F,L]
если конечно эти боты вам не нужны.

2. Большая нагрузка блогов на главной странице в модуле или при просмотре самих блогов? Если модуль "последние блоги" на главной, то включите для него кэширование, скажем минут 5 и посмотрите на нагрузку, может и для других модулей стоит включить кэширование.

3. У меня были проблемы и на стороне хостера, виртуальный хостинг у Ру-Центра, проблемы и мне и им надоели и они перенесли базу на другой сервер(компьютер) и всё значительно улучшилось и нормально заработало.
При посещаемости 1000 чел в сутки вот такая картина нарузки на память сервера:
Проблемы с базой mysql - большая нагрузка блогов
и сайт работает стабильно и быстро.
Посетитель
small user social cms
Сообщений: 71
Shuma:
Какой трафик на сайте и сколько у вас блогов?
Очень много добавляется записей в блоги клубов. Ежедневно около 20-30 постов точно. Трафик 10-20 тыс. Происходит такое чаще всего поздно ночью. Вроде и нагрузки тогда нет на сайт.

Сегодня установили 5.6 mysql, посмотрим, будет ли слетать дальше. Поддержка отвечала, что нагрузку вызывают именно боты. В логах смотрела, но особо не разбираюсь, как их расшифровывать. Плагины, скорей всего, тоже виноваты. Тем более, что некоторые из них в логах error есть.

Переездов боюсь, столько сразу проблем вызывают и не факт, что не поменяешь шило на мыло. Советовали немецкий хостинг с русской поддержкой. Никак не определюсь, а то они все только обещают много. Здесь держит только то, что все-таки поддержка отвечает и достаточно быстро. Даже восстанавливают, если у меня не получается, но глобально проблема не решается и все повторяется. Пытаются помочь, но иногда их некоторые "советы" даже у меня вызывают улыбку. Смотря какой дежурный там сидит.

Закрыть от ботов - проблема в некоторой степени решится. Но что будет, когда ежедневная посещалка еще увеличится? Ведь бывает иногда по 50-60 тыс.

Кстати, classics, в Ру-центре была тоже. за несколько лет с ними я полностью разочаровалась. Были сайты с низкой посещалкой, но нагрузки для ру-центра были слишком большие. В итоге от них переехала. Еще у них цены бешеные))), а качество предоставляемых услуг низкое.
Хороший доход для качественных сайтов
Посетитель
no avatar
МедальАвторитет форума
Сообщений: 2774
даже страшно спросить что у вас за сайт. можно ссылку в ЛС, очень интересно посмотреть на проект на инстанте с такой посещалкой?

руцентр самое плохое их серверов, что можно придумать. обратитесь во многие другие более компетентные. там и перенос будет бесплатный и сделают его админы тех серверов за вас, так что боятся нечего.
Редактировалось: 1 раз (Последний: 7 февраля 2016 в 02:39)
Посетитель
small user social cms
Сообщений: 89
Miledy:
Трафик 10-20 тыс
Можно тоже ссылку в ЛС?
Посетитель
small user social cms
Сообщений: 71
Ну вот проблем стало еще больше: переходишь на какой-то пост и часто на сайте становишься вдруг не авторизованным. Причем, залогиниться не удается.

А с редактированием постов вообще непонятно что творится - редактируешь, сохраняешь, изменений нет. Отредактированный текст в таком виде появится только через несколько часов.

Нужно сразу все правильно делать, если надо что-то исправить - оно в исправленном виде на сайте не скоро.

все таблицы базы без проблем и быстро восстанавливаются, проверяются итд. Ошибок никаких не выдает.

Что будет, если принудительно завершить процессы в MySQL???
Хороший доход для качественных сайтов
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 2470
Miledy, всётаки считаю вам нужно разобраться с mysql.
Покажите вкладку состояние в phpmyadmin, или приведите значение переменных выделенных красным цветом.
Ещё покажите my.cnf
Редактировалось: 1 раз (Последний: 8 февраля 2016 в 10:34)
Раньше РАЙ был везде - РАЙсовет, РАЙком, РАЙсобес...., а сейчас везде АДминистрации!
Не надо давать людям советы. Каждый должен лохануться самостоятельно!
Любишь в продакшн, люби и баги починить!
Посетитель
no avatar
Медаль
Сообщений: 105
А с редактированием постов вообще непонятно что творится - редактируешь, сохраняешь, изменений нет. Отредактированный текст в таком виде появится только через несколько часов.
где-то включено кэширование...
Посетитель
small user social cms
Сообщений: 71
Проблема оказалась простой, но слишком сложной (это женское мышление)))
Создался временный файл, именно он мешал работе. Почему сайт падал именно с 12 до 2 ночи - скорей всего в это время начинают выполнятся задачи крон и все слетает. В том числе запускается по крону оптимизация базы и именно таблица постов блогов.

Может инфа будет кому-то полезна, делюсь бесплатно. Мне проблема решилась за деньги)))
Файл, который нужно удалять (создается временный при неправильной оптимизации базы)
/var/lib/mysql/база/cms_blog_posts.TMD

Кеш был действительно включен принудительно. Хостеры, чтобы не разбираться, решили "помочь" таким способом. Выключила кеш - все нормально. Но при этом включила через админку на самые обновляемые стандартные модули.

Пока все работает.
Всем спасибо, кто принимал участие в дискуссии и пытался помочь.
Хороший доход для качественных сайтов
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: