Статья · 5 мин чтения · 21.10.2026
Параллельный запуск парсеров и нагрузка на общий хостинг
Парсеры работают на обычном общем хостинге. Это дёшево, но требует дисциплины: нельзя забрать все ресурсы сервера. Рассказываем, как устроен запуск run_all.py.
Было и стало
Сначала парсеры запускались последовательно: один за другим. Это безопасно, но медленно — 11 площадок шли долго. Теперь run_all.py запускает до двух парсеров одновременно с контролем нагрузки.
Load average
Новый парсер не стартует, пока средняя загрузка сервера за минуту выше порога. Порог по умолчанию — 28: это 0,7 от 40 ядер хостинга при фоновой нагрузке около 20. Если сервер занят другими клиентами, парсер подождёт.
Приоритеты
Каждый парсер запускается с пониженным приоритетом CPU — nice 15 — и с приоритетом диска idle через ionice. Это значит, что при конкуренции за ресурсы сервер в первую очередь обслужит других.
Ограничения
На каждый парсер действует таймаут — по умолчанию 45 минут — и лимит CPU-секунд — 30 минут. На весь проход — общий бюджет времени 300 минут. Что не успело стартовать, ждёт следующего запуска.
Взаимоисключение
Copart и Copart.de никогда не идут одновременно: у них один владелец и общий пул прокси. Параллельная нагрузка на одну компанию выглядела бы как удвоенная.
Запуски из админки
Если парсер уже запущен вручную из админки, run_all.py его пропускает, чтобы не было двух копий.
Зависания
Если файл прогресса парсера не обновлялся заданное число минут — по умолчанию 20, — процесс считается зависшим. Его останавливают и один раз перезапускают.
Настройки
Все параметры — число параллельных парсеров, nice, порог нагрузки, таймауты, бюджет — хранятся в site_settings.json и меняются в админке. Состояние прохода пишется в progress/runner.json и видно в админке.
Почему именно два парсера
Два параллельных парсера — компромисс. Один — медленно: 11 площадок с паузами и мягкими лимитами шли бы часами. Больше двух — заметная нагрузка на общий хостинг и на общий пул прокси: несколько парсеров одновременно гонят запросы через одни и те же адреса, и статистика ошибок растёт. Значение вынесено в настройки и меняется в админке, если хостинг или пул прокси изменятся.
Порядок площадок
Площадки запускаются в фиксированном порядке: Copart, Encar, mobile.de, DubiCars, Copart.de, Klaravik, KVD, Auksjonen, VPauto, Che168, Guazi. Важные направления идут первыми, чтобы при исчерпании бюджета времени не пострадали именно они. Copart.de, стоящий пятым, дождётся завершения Copart, если тот ещё работает.
Что видно в админке
Файл progress/runner.json показывает состояние прохода: какие парсеры запущены, какие ждут, какие завершились и с каким кодом, текущий load average, оставшийся бюджет времени. Админка выводит это рядом с прогрессом каждой площадки. Если парсер ждёт из-за высокой нагрузки, это тоже видно.
Перезапуск после зависания
Если файл прогресса парсера не обновлялся дольше заданного порога, run_all.py останавливает процесс и один раз перезапускает. Повторный перезапуск в том же проходе не делается: если парсер зависает снова, проблема в коде или площадке, и бесконечные попытки только нагрузят сервер.
Вопросы и ответы
Что будет, если хостинг перегружен весь вечер? Парсеры будут ждать в пределах бюджета времени. То, что не успело стартовать, запустится в следующем плановом прогоне.
Почему лимит CPU отдельно от таймаута? Таймаут ограничивает реальное время, лимит CPU — процессорное. Парсер, который долго ждёт сеть, почти не тратит CPU; парсер, который зациклился, тратит много. Два лимита ловят оба случая.
Можно ли запустить парсер вручную во время прохода? Да, из админки. run_all.py увидит, что он уже запущен, и пропустит его.
Коротко
До двух парсеров параллельно, nice 15 и ionice idle, порог load average 28, таймаут 45 минут, лимит CPU 30 минут, общий бюджет 300 минут, Copart и Copart.de — по очереди.
Итог
Параллельность с контролем нагрузки ускорила сбор, не превратив парсеры в плохих соседей по серверу. Результат — в демо-каталоге, схема — на странице парсера.
Что почитать дальше
Эта статья — часть цикла о парсере аукционных лотов JetAero. Все цифры в ней взяты из кода и баз проекта на 21 октября 2026 года и меняются с каждым прогоном. Архитектуру системы целиком, таблицу площадок и список функций смотрите на странице «Парсер аукционных лотов», а результат работы — в демо-каталоге jetaero.pro/auctions, где лоты можно отфильтровать по площадке, году, цене, пробегу и статусу торгов. Мы сознательно не приводим в статьях выдуманных цифр, отзывов и историй клиентов: если какого-то значения нет в данных проекта, мы так и пишем. Цены и ставки в примерах — реальные значения из баз на дату публикации, а расчёт под ключ в каталоге — ориентир, а не оферта. Если вам нужна похожая система для своих площадок, начните со знакомства с демо-каталогом, а затем напишите нам — обсудим, какие источники и данные нужны именно вам.
- Watchdog: как мы перезапускаем зависшие парсеры
- Безопасность админки парсера: что мы сделали
- Telegram-уведомления о новых лотах: выключено по умолчанию
