Подскажите в чем проблема может быть, при парсинге tube, не зависимо с какого из ресурсов. После запуска пару минут работает парсер, потом ошибка VDS оживает через 10-15 минут. Пример ошибки: При парсинге туба tnaflix.com произошла ошибка! Ошибка: Gateway Timeout The gateway did not receive a timely response from the upstream server or application. Как вариант возможно VDS не хватает оперативной памяти (2 Gb) или оптимизация его необходима? Какой минимальной мощности должен быть сервер для нормальной работы парсера?
Дело в лимитах вашего VPS. Ваш вебсервер раньше разрывает соединение чем парсер успевает выполнить задание
лимиты по таймаутам nginx до 600 секунд (было 90 секунд) и увеличили лимит памяти до 512 Мб и времени на исполнение php скриптов до 600 сек также начал доходить при парсинге до 20 страницы, до этого обрыв был на 1-2.
Ну значит еще больше нужно ставить лимиты. Много времени занимает сохранение изображений. Другие операции выполняются достаточно быстро.
Еще вопрос пока настраивал сайт что то, сбилось по настройкам. Парсер запускается все нормально, но видео не появляются на сайте. В чем может быть проблема?
А я отключил анимацию превьюх и этотускорило все процессы в том месте где у вас проблемма, ну и снял галку сохранять все изображения
