Обсудить проект↗

Коммерческое предложение

Парсер-каталог аукционных авто

Готовая работающая система: собирает автомобили с 11 площадок, держит ставки и статусы актуальными, ведёт историю ставок, обрабатывает фото и считает цену под ключ до Минска. Передаём исходный код и разворачиваем на вашем хостинге.

Стоимость системы
$2 300
исходный код + установка + настройка + документация
Каталог аукционов jetaero.pro/auctions
Работающее демоjetaero.pro/auctions ↗
7 945лотов в базах на 22.10.2026
9 из 11площадок работают сейчас
58 619файлов фото в локальном кэше
3автопрогона в сутки: 2 основных + ночной Copart

Что умеет система

Возможности

История ставок Copart по лоту

  1. Парсер вытаскивает историю ставок по лоту. При каждом сборе и lite refresh он фиксирует текущую ставку и статус, а триггер базы записывает каждое изменение со временем.
  2. История показывается в интерфейсе на странице лота: список изменений ставки и статуса, время переведено в часовой пояс посетителя.

11 площадок в одном каталоге

США, Германия, Корея, Швеция, Норвегия, Франция, ОАЭ, Китай. Единая карточка: цена, год, пробег, повреждения, фото, город.

Без дублей, мягкий режим

У лота постоянный id: повторный сбор обновляет запись. Уже собранный лот с фото повторно не открывается — меньше нагрузки и банов.

Автоочистка

Проданные, снятые и лоты с прошедшими торгами удаляются сами. Если площадка не ответила, лоты не трогаются.

Lite refresh

Быстрый проход по уже собранным лотам: ставка, статус, дата торгов. Copart — пачками по 100 лотов.

Copart 60/20/20

Ночной сбор до 5000 лотов: 60 % — торги в ближайшие 24 ч, 20 % — через 1–7 дней, 20 % — дальше.

Умная ротация прокси

Оценка каждого прокси по ошибкам и задержке, автоотключение мёртвых, проверка пула перед прогоном, управление из админки.

Фото: перед первым, WebP

Крупнейший размер, передний ¾ кадр первым, дубли и мелкие кадры убираются, WebP для карточек, локальный кэш для площадок, закрытых для СНГ.

Расчёт под ключ до Минска

Лот, сборы аукциона, доставка, таможня по ЕТС с учётом возраста и объёма, утильсбор, СВХ, вариант с льготой. Курсы НБ РБ ежедневно.

Статусы торгов Copart

«Торги идут», «Торги через X», Buy Now, «Продан», «Снят» — отсчёт обновляется на странице.

Telegram-уведомления

Новые лоты по фильтрам: площадки, марки, годы, пробег, цена, повреждения. Включается после ввода токена бота и чата в админке.

Каталог с фильтрами

Поиск по марке, модели и номеру лота, сортировки, фильтры года, цены, пробега, площадки, Buy Now / аукцион. Состояние хранится в адресе страницы.

Площадки

Откуда берутся лоты

Реальное число лотов в базах на 22 октября 2026 года. Меняется после каждого прогона.

ПлощадкаСтранаЛотовКак собираем
Copart.com
работает
США5 495JSON-поиск как у сайта, массовый ночной сбор
Copart.de
работает
Германия80тот же API, что у Copart.com
Encar
работает
Южная Корея417JSON API, словарь марок с корейского
KVD
работает
Швеция9состояние страницы, цена в SEK
Klaravik
работает
Швеция61HTML + JSON-LD, цена в SEK
Auksjonen
работает
Норвегия90HTML и таблица характеристик, NOK
DubiCars
работает
ОАЭ560HTML-выдача
Che168
работает
Китай217мобильный h5-API, перевод марок с китайского
Guazi
работает
Китай151API экспортной витрины, цена FOB в USD
mobile.de
пауза
Германия790парсер готов; сейчас площадка блокирует IP наших прокси — нужны европейские резидентские IP
VPauto
пауза
Франция75парсер готов; площадка на техобслуживании

Архитектура

Общая схема данных

Работает на обычном виртуальном хостинге: Python-парсеры, SQLite и статический каталог. Отдельный сервер не нужен, нагрузку парсеры ограничивают сами.

Cron 6:20 / 18:20+ Copart ночью, flock-замок Курсы НБРБapi.nbrb.by → rates.json Проверка проксиipify, alive / dead Парсеры 11 площадокrun_all.py: 2 параллельно,лимит нагрузки, лимиты лотов,watchdog зависших Ротация проксиоценка, автоотключение SQLite по площадкамlots(id, data JSON)history — триггерыцены и статуса Lite refreshцена, статус, дата торгов Автоочисткас предохранителями Экспортdata.js, 16 шардов,пререндер, кэш фото,WebP, USD по НБРБ Каталог /auctions/фильтры, статусы, расчёт Telegramновые лоты по фильтру Админказапуск, лимиты, прокси Сплошные стрелки — основной поток данных, пунктир — вспомогательные шаги. Секреты (пароли прокси, токены) в браузер не отдаются.

← схему можно листать →

Процессы

Как это работает — по шагам

1. Сбор лотов

Парсер площадки читает выдачу по фильтрам из админки, пропускает уже собранные лоты (мягкий режим), нормализует данные и записывает их по постоянному id — дублей не бывает.

ПлощадкаAPI / JSON / HTMLCopart, Encar, Che168…Выдачастраницы поиска,фильтры из админки,лимит лотовМягкий режимлот уже в базе с фото —карточку не открываем,обновляем цену/пробегНормализациямарка/модель (словариKR/CN), цена, валюта,пробег, год, фотоSQLite: upsertlots(id PRIMARY KEY) —дублей нет; триггерыпишут историюКаждый парсер — свой модуль; запуск через run_filtered.py (фильтры площадки, прогресс в админке).Ротация прокси и паузы — общие. Che168 — мобильный h5-API с подписью запроса, антибот-заглушка снимается без браузера.

← схему можно листать →

2. Ежедневный цикл: run_all → lite refresh → cleanup → экспорт

Один замок flock: прогоны не пересекаются. Одновременно идут максимум 2 парсера, новый не стартует при высокой нагрузке сервера, зависшие перезапускает watchdog.

Cron2 раза в день+ ночной CopartПодготовкаflock-замок, проверкапрокси, курсы НБ РБrun_all.py2 парсера параллельно,load average, timeout,watchdog зависшихrefresh.pyцена/ставка, статус,дата торгов, без фотоcleanup.pyпродано / торги прошли /устарело + предохранителиЭкспортdata.js + 16 шардов,фото, WebP, USDКаталог /auctions/статический, быстрыйTelegramновые лоты по фильтру(после ввода токена)Время сервера (МСК): 06:20 и 18:20 —основной прогон; 02:20 — массовыйсбор Copart (доли 60/20/20).

← схему можно листать →

3. Обновление и автоочистка

Каждый проверенный лот получает итог active, gone или unknown. Удаление возможно только по надёжным признакам и с предохранителями от сбоев площадки.

Лот из базысначала давно неподтверждённыеЗапрос к площадкеCopart — пачки по 100,остальные по одномуactiveцена, статус, дата подтвержденияgoneжёсткий признак сразу, мягкий — со 2-го разаunknownсеть/антибот — ничего не меняемcleanup.pysold/removed → удалить;торги прошли > 12 ч;не подтверждён > N днейПредохранителиесли «gone» > 30 % проверенных — это сбой площадки/прокси, отметки не ставятся;устаревшие удаляются, только если последний прогон площадки успешен и не старше 36 ч;по давности — не больше 50 % базы за раз, иначе только предупреждение в админке

← схему можно листать →

4. История ставок Copart

Парсер вытаскивает историю ставок по лоту, а страница лота показывает её посетителю.

Сбор / refreshтекущая ставка Copartи статус лотаТриггер SQLiteпишет строку, только еслиставка или статус изменилисьТаблица historyid, время, ставка,валюта, статусСтраница лотасписок изменений ставки,время — пояс посетителяПервая запись — первое реальное наблюдение парсера, дальше только изменения. Ничего не досочиняется.История выгружается в шарды страницы лота, поэтому основной файл каталога не растёт.

← схему можно листать →

5. Расчёт цены под ключ до Минска

Считается на странице лота по ставкам из конфигурации. Ставки доставки и комиссию задаёт владелец системы.

Цена лотавалюта площадкиКурс НБ РБapi.nbrb.by → USD+ сборы Copartфикс + % (оценка)+ доставкаставка площадкидо Минска+ таможня по ЕТСдо 3 лет: % от стоимости, мин. €/см³;3–5 и старше 5 лет: €/см³+ утильсбор, сбор, СВХутильсбор зависит от возраста, BYNИтог под ключUSD и EUR, вариантс льготой −50 %Все ставки — в одном файле конфигурациии меняются без переписывания кода.Результат — ориентир, не оферта.

← схему можно листать →

6. Ротация прокси

Каждый запрос идёт через лучший по оценке прокси. При ошибке или бане берётся следующий; систематически сбоящие отключаются и перепроверяются.

Список проксиhttp / socks5, закрытот публичного доступаОценка за часошибки×10 + 403/429×3+ средняя задержкаЗапрослучший прокси +случайный разбросОтвет OKв статистику: ok, мсОшибка / 403 / 429берём следующий проксиproxy_health.pyмного таймаутов за час → dead, перепроверка позже;перед каждым прогоном — проверка всего пулаВсе прокси исчерпаны —запрос идёт напрямую.Пароли не пишутся в логи.

← схему можно листать →

7. Обработка фото

Из фото площадки выбираются лучшие кадры в максимальном размере; для площадок, недоступных из СНГ, фото хранятся на вашем хостинге.

Фото площадкиссылки из лотаЛучший размерсамый крупный вариант:Copart _hrs 1280px и т.д.Порядок кадровперед ¾ и анфас первыми,дубли ссылок убраныЛокальный кэшдля площадок, закрытыхдля IP из СНГ, 1200pxWebP 640pxq72, −78 % к JPG;JPG — запаснойФильтр файловмелкие < 360px ипохожие кадры (dHash)

← схему можно листать →

Технологии

Стек

Парсеры

Python 3.12, asyncio + aiohttp (HTTP и SOCKS5-прокси), aiosqlite. По модулю на площадку, общие утилиты прокси, фильтров и прогресса.

Хранение

SQLite: отдельная база на площадку, лот — JSON, история ставок и статусов — триггерами. Отдельный сервер БД не нужен.

Сайт

Статический каталог на JS: данные в data.js и 16 шардах, быстрая загрузка, WebP, страница лота с историей и расчётом.

Админка

PHP: вход по паролю (bcrypt), блокировка после 5 неудачных попыток, сессии HttpOnly / SameSite=Strict.

Планировщик

cron + bash: flock, timeout, nice/ionice, бюджет времени, лимит CPU, автопроверка прокси.

Фото и курсы

Pillow: размеры, dHash-дубли, WebP 640px q72. Курсы — api.nbrb.by ежедневно.

Управление

Админка

  • Карточка каждой площадки: запуск, фильтры, цель / лимит лотов (1–5000), прогресс
  • Ошибки и watchdog: зависшие парсеры, последние сбои
  • Сводка за 24 часа
  • Сбор: параллельность, допустимая нагрузка, таймауты — меняются на ходу
  • Пул прокси: добавление, статус, оценка, автоотключение
  • Telegram: токен, чат, фильтры, предпросмотр подборки
  • Фото в WebP: включение и статистика
  • Настройки сайта и итоги автоочистки

Что входит в $2 300

Состав предложения

  • Исходный код всех 11 парсеров (включая mobile.de и VPauto)
  • Исходный код планировщика: run_all, lite refresh, cleanup, экспорт, watchdog
  • Исходный код админки и модулей прокси, фото, WebP, истории ставок, Telegram
  • Исходный код каталога: список, фильтры, страница лота, история ставок, калькулятор под ключ
  • Установка на хостинг клиента и настройка cron
  • Настройка площадок, лимитов и фильтров под ваши задачи
  • Документация: установка, запуск, настройки, структура данных

Предоставляет клиент:

  • Хостинг с Python 3.12, PHP и cron
  • Прокси (для mobile.de нужны европейские резидентские IP)
  • Дилерские логины для закрытых площадок, если нужны
  • Ставки доставки (в том числе из Китая), комиссия, расчётные коэффициенты
  • Токен Telegram-бота для уведомлений

Не входит в стоимость: новые площадки, сопровождение после запуска — обсуждается отдельно. Сроки установки обсуждаются.

Покажем систему вживую

Покажем демо-каталог, админку и работу парсеров, ответим на вопросы по установке.