Обсудить проект↗

Статья · 5 мин чтения · 21.10.2026

Cron-цепочка: что происходит дважды в день

Вся автоматика проекта запускается одним скриптом run_parsers.sh по расписанию — в 6:20 и 18:20 по времени сервера. Разберём его шаг за шагом.

Шаг 0: замок

Первым делом скрипт берёт файловый замок. Если предыдущий запуск ещё идёт или работает ночной сбор Copart, новый запуск записывает в лог «предыдущий запуск ещё идёт, пропуск» и завершается. Два прогона одновременно не работают никогда.

Шаг 1: права

Устанавливается umask 077: новые логи и базы получают права 600. Файлы сайта создаются отдельно с правами 644.

Шаг 2: прокси

Проверка пула прокси: мёртвые перепроверяются, ожившие возвращаются в ротацию. Ограничение — 2 минуты.

Шаг 3: курсы НБРБ

Загрузка курсов. Если курсы изменились, сразу пересобирается сайт, чтобы цены в долларах были актуальны ещё до конца сбора.

Шаг 4: сбор

run_all.py запускает парсеры по два параллельно с контролем нагрузки, таймаутами, лимитами CPU и бюджетом времени. Каждый парсер работает через обёртку с фильтрами и прогрессом. Логи старше 14 дней удаляются.

Шаг 5: lite refresh

Лёгкое обновление цен и статусов уже собранных лотов, с ограничением 90 минут и пониженным приоритетом. Его лог копируется в папку админки, чтобы был виден в интерфейсе.

Шаг 6: автоочистка

Удаление проданных, снятых и устаревших лотов с предохранителями.

Шаг 7: экспорт

Сборка data.js, data-first.js, шардов, пререндера, кэша фото и WebP под замком экспорта.

Шаг 8: Telegram

Уведомления о новых интересных лотах — только если включены и настроены. По умолчанию модуль ничего не отправляет.

Ночной Copart

Отдельно, в 3:20 по Самаре, работает массовый сбор Copart с тем же замком: проверка прокси, сбор до 5 000 лотов, экспорт.

Почему такой порядок

Порядок шагов не случаен. Прокси проверяются до сбора, чтобы парсеры не тратили время на мёртвые адреса. Курсы загружаются до сбора, чтобы фильтры по цене в долларах работали по свежим курсам. Lite refresh идёт после сбора, потому что подтверждает и только что собранные лоты. Автоочистка — после refresh, потому что использует его результаты как признак успешного прогона. Экспорт — после очистки, чтобы на сайт не попали удалённые лоты. Telegram — после экспорта, чтобы ссылки вели на существующие страницы.

Время сервера

Расписание задано по времени сервера, которое отстаёт от Самары на час. Поэтому плановые прогоны 6:20 и 18:20 по серверу — это 7:20 и 19:20 по Самаре. Ночной Copart запускается в 3:20 по Самаре. Мы указываем зону явно, чтобы не путаться.

Логи

Каждый шаг пишет в лог цепочки строку о старте и коде завершения. Отдельные логи — у прокси, refresh и каждого парсера. Это позволяет восстановить, что происходило в любом прогоне за последние две недели.

Вопросы и ответы

Что если один шаг упал? Следующие шаги всё равно выполняются: падение парсера не мешает экспорту остальных данных.

Можно ли запустить цепочку вручную? Да, но обычно достаточно отдельных действий из админки: сбор, refresh или экспорт.

Коротко

Замок, права, прокси, курсы, сбор, lite refresh, очистка, экспорт, Telegram — дважды в день по одному скрипту, плюс отдельный ночной Copart под тем же замком. Каждый шаг ограничен по времени и пишет в лог, а падение одного шага не останавливает следующие.

Почему не отдельные задания cron

Можно было бы поставить каждый шаг отдельной строкой в cron на своё время. Но тогда шаги не знали бы друг о друге: экспорт мог бы стартовать посреди сбора, а очистка — до refresh. Одна цепочка под одним замком гарантирует порядок и исключает пересечения. Единственное отдельное задание — ночной Copart — использует тот же замок и поэтому тоже не пересекается с основным прогоном.

Итог

Одна цепочка, понятный порядок, замки и ограничения на каждом шаге. Результат — в демо-каталоге, схема — на странице парсера.

Что почитать дальше

Эта статья — часть цикла о парсере аукционных лотов JetAero. Все цифры в ней взяты из кода и баз проекта на 21 октября 2026 года и меняются с каждым прогоном. Архитектуру системы целиком, таблицу площадок и список функций смотрите на странице «Парсер аукционных лотов», а результат работы — в демо-каталоге jetaero.pro/auctions, где лоты можно отфильтровать по площадке, году, цене, пробегу и статусу торгов. Мы сознательно не приводим в статьях выдуманных цифр, отзывов и историй клиентов: если какого-то значения нет в данных проекта, мы так и пишем. Цены и ставки в примерах — реальные значения из баз на дату публикации, а расчёт под ключ в каталоге — ориентир, а не оферта. Если вам нужна похожая система для своих площадок, начните со знакомства с демо-каталогом, а затем напишите нам — обсудим, какие источники и данные нужны именно вам.

Хотите такой же парсер для своих площадок? Обсудим проект или напишите в Telegram @pilsons.