Скрыть объявление
Новая версия Tubes Clip One 4.6 уже доступна.

Вопрос Обслуживание и нагрузка на MySQL

Тема в разделе "Помощь", создана пользователем lostxfiles, 12 окт 2018.

  1. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Интересует 2 вопроса по парсеру

    Как уменьшить нагрузку на MySQL (mariadb), уменьшить потребление памяти парсером, т.к. происходит kill mariadb из-за нехватки памяти, памяти один гиг. Ну или что вообще можно сделать? Кроме увеличения памяти

    Вот это сейчас установлено

    max_connections 200
    max_user_connections 50
    wait_timeout 10
    interactive_timeout 50
    max_allowed_packet 32M

    Может поправить какие другие настройки в конфиге БД

    Еще вопрос про секцию обслуживание в парсере (скриншот), если я нажму все эти кнопки, будет ли парсер обнаруживать дубликаты при парсенге я не знаю как он их обнаруживает и предположил что это можно почистить в данной секции, если это кнопка там есть, просьба сказать как она называется и если я все таки нажму все эти кнопки, скажите пожалуйста, уменьшится ли на грузка на БД? Раньше она была все таки у меня ниже и сервак БД убивался раз в 10 меньше, как роликов перевалило за тыщу сервак БД убивается по нехватке памяти.
     

    Вложения:

  2. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.932
    Симпатии:
    177
    Баллы:
    382
    Пол:
    Мужской
    Почему вы думаете что проблема в парсере, а не в используемом движке? Парсер базу использует только при добавлении видео. И да, 1гб это очень мало
     
  3. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Ну я не думаю что это проблема, енто можно настроить уверен на 99%, но только как, ошибка вылетает при нажатии кнопки просмотреть видео в предосмотре парсера, еще после нажатия кнопки Начать парсинг (или как там ее), еще после нажатия кнопки добавить спарсенные... Может хостер что выставел в настройках, потому как они мне говорят у вас не хватает памяти для MySQL да и OS выводит пояснения, что процесс процесс бд был убит т.к. не хватает памяти для БД, там в распоряжении БД мегов 800... Вот мош че настроить надо в конфиге БД
     
  4. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Скажите плиз, сколько памяти нужно в моем состоянии, DLE 13, кеш включен файловый
     
  5. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Вопрос снят
     
  6. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Сам поставил и настроил Debian 9, вместо CentOs 7, теперь работать стало сносно больше, и сервер БД не здыхает на пять минут после каждого запуска парсера, либо CentOs голимая в сравнению с дебиан, либо служба поддержки хостера так хорошо настроила, что сказала что вам нужен тариф по дороже :D
     
  7. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.932
    Симпатии:
    177
    Баллы:
    382
    Пол:
    Мужской
    В любом случае 1гб это мало. Как не настраивай, но чуть посещаемость подрастет и все ляжет.
     
  8. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    247
    Симпатии:
    1
    Баллы:
    232
    Пол:
    Мужской
    Ну если подрастет, то докуплю мощностей полюбому)) Сейчас же такое ощущение, что прям впритык работаешь, еще грамм и все повиснет :D
     
  9. a

    alex visibility Клиенты

    Регистрация:
    23 окт 2015
    Сообщения:
    393
    Симпатии:
    29
    Баллы:
    235
    Пол:
    Мужской
    Зачем ждать когда все лежать начнет, сейчас уже надо увеличивать. Если сайт будет часто недоступен, это сразу скажется на ранжировании в поиске. Один раз не уследил, жесткий диск переполнился, вовремя не очистил, сайты легли на 6-7 часов. При следующем апдейте половина страниц из поиска яндекса вылетела. Вернулось через 2-3 недели только. Ну и посещаемость естественно сразу рухнула.
     
  10. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.932
    Симпатии:
    177
    Баллы:
    382
    Пол:
    Мужской
    Примерно половину из вашей памяти съедает сама система и в лучшем случае на сервисы типа mysql, apache, nqinx остается совсем мизер. С 2гб уже можно более менее комфортно работать.
     
    lostxfiles нравится это.
  11. J

    Jibo visibility Клиенты

    Регистрация:
    19 дек 2015
    Сообщения:
    92
    Симпатии:
    1
    Баллы:
    205
    Пол:
    Мужской
    cloudflare юзайте и кеш настройте. 1гб это дно. Может БД рухнуть так что советую бекапить.
     
  12. a

    alex visibility Клиенты

    Регистрация:
    23 окт 2015
    Сообщения:
    393
    Симпатии:
    29
    Баллы:
    235
    Пол:
    Мужской
    На бесплатном аккаунте, можно долго и упорно искать не забаненный роскомнадзором ip.
     

Поделиться этой страницей