Скрыть объявление
Новая версия Tubes Clip One 4.4 уже доступна.

Вопрос Парсинг tube, 504 ошибка

Тема в разделе "Помощь", создана пользователем JMuller999, 24 мар 2019.

  1. J

    JMuller999 visibility Клиенты

    Регистрация:
    16 мар 2019
    Сообщения:
    12
    Симпатии:
    0
    Баллы:
    13
    Подскажите в чем проблема может быть, при парсинге tube, не зависимо с какого из ресурсов. После запуска пару минут работает парсер, потом ошибка VDS оживает через 10-15 минут.

    Пример ошибки:

    При парсинге туба tnaflix.com произошла ошибка!
    Ошибка:
    Gateway Timeout
    The gateway did not receive a timely response from the upstream server or application.

    Как вариант возможно VDS не хватает оперативной памяти (2 Gb) или оптимизация его необходима?
    Какой минимальной мощности должен быть сервер для нормальной работы парсера?
     
  2. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.576
    Симпатии:
    134
    Баллы:
    382
    Пол:
    Мужской
    Дело в лимитах вашего VPS. Ваш вебсервер раньше разрывает соединение чем парсер успевает выполнить задание
     
  3. J

    JMuller999 visibility Клиенты

    Регистрация:
    16 мар 2019
    Сообщения:
    12
    Симпатии:
    0
    Баллы:
    13
    лимиты по таймаутам nginx до 600 секунд (было 90 секунд) и увеличили лимит памяти до 512 Мб и времени на исполнение php скриптов до 600 сек также

    начал доходить при парсинге до 20 страницы, до этого обрыв был на 1-2.
     
  4. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.576
    Симпатии:
    134
    Баллы:
    382
    Пол:
    Мужской
    Ну значит еще больше нужно ставить лимиты. Много времени занимает сохранение изображений. Другие операции выполняются достаточно быстро.
     
  5. J

    JMuller999 visibility Клиенты

    Регистрация:
    16 мар 2019
    Сообщения:
    12
    Симпатии:
    0
    Баллы:
    13
    Еще вопрос пока настраивал сайт что то, сбилось по настройкам. Парсер запускается все нормально, но видео не появляются на сайте. В чем может быть проблема?
     
  6. xoopw

    xoopw Администратор Команда форума

    Регистрация:
    6 июн 2015
    Сообщения:
    1.576
    Симпатии:
    134
    Баллы:
    382
    Пол:
    Мужской
    @JMuller999, Сложно сказать, не зная, что вы делали
     
  7. lostxfiles

    lostxfiles visibility Клиенты

    Регистрация:
    23 июл 2018
    Сообщения:
    156
    Симпатии:
    1
    Баллы:
    172
    Пол:
    Мужской
    А я отключил анимацию превьюх и этотускорило все процессы в том месте где у вас проблемма, ну и снял галку сохранять все изображения
     

Поделиться этой страницей