Коммерческое предложение
Парсер-каталог аукционных авто
Готовая работающая система: собирает автомобили с 11 площадок, держит ставки и статусы актуальными, ведёт историю ставок, обрабатывает фото и считает цену под ключ до Минска. Передаём исходный код и разворачиваем на вашем хостинге.

Что умеет система
Возможности
История ставок Copart по лоту
- Парсер вытаскивает историю ставок по лоту. При каждом сборе и lite refresh он фиксирует текущую ставку и статус, а триггер базы записывает каждое изменение со временем.
- История показывается в интерфейсе на странице лота: список изменений ставки и статуса, время переведено в часовой пояс посетителя.
11 площадок в одном каталоге
США, Германия, Корея, Швеция, Норвегия, Франция, ОАЭ, Китай. Единая карточка: цена, год, пробег, повреждения, фото, город.
Без дублей, мягкий режим
У лота постоянный id: повторный сбор обновляет запись. Уже собранный лот с фото повторно не открывается — меньше нагрузки и банов.
Автоочистка
Проданные, снятые и лоты с прошедшими торгами удаляются сами. Если площадка не ответила, лоты не трогаются.
Lite refresh
Быстрый проход по уже собранным лотам: ставка, статус, дата торгов. Copart — пачками по 100 лотов.
Copart 60/20/20
Ночной сбор до 5000 лотов: 60 % — торги в ближайшие 24 ч, 20 % — через 1–7 дней, 20 % — дальше.
Умная ротация прокси
Оценка каждого прокси по ошибкам и задержке, автоотключение мёртвых, проверка пула перед прогоном, управление из админки.
Фото: перед первым, WebP
Крупнейший размер, передний ¾ кадр первым, дубли и мелкие кадры убираются, WebP для карточек, локальный кэш для площадок, закрытых для СНГ.
Расчёт под ключ до Минска
Лот, сборы аукциона, доставка, таможня по ЕТС с учётом возраста и объёма, утильсбор, СВХ, вариант с льготой. Курсы НБ РБ ежедневно.
Статусы торгов Copart
«Торги идут», «Торги через X», Buy Now, «Продан», «Снят» — отсчёт обновляется на странице.
Telegram-уведомления
Новые лоты по фильтрам: площадки, марки, годы, пробег, цена, повреждения. Включается после ввода токена бота и чата в админке.
Каталог с фильтрами
Поиск по марке, модели и номеру лота, сортировки, фильтры года, цены, пробега, площадки, Buy Now / аукцион. Состояние хранится в адресе страницы.
Площадки
Откуда берутся лоты
Реальное число лотов в базах на 22 октября 2026 года. Меняется после каждого прогона.
| Площадка | Страна | Лотов | Как собираем |
|---|---|---|---|
| Copart.com работает | США | 5 495 | JSON-поиск как у сайта, массовый ночной сбор |
| Copart.de работает | Германия | 80 | тот же API, что у Copart.com |
| Encar работает | Южная Корея | 417 | JSON API, словарь марок с корейского |
| KVD работает | Швеция | 9 | состояние страницы, цена в SEK |
| Klaravik работает | Швеция | 61 | HTML + JSON-LD, цена в SEK |
| Auksjonen работает | Норвегия | 90 | HTML и таблица характеристик, NOK |
| DubiCars работает | ОАЭ | 560 | HTML-выдача |
| Che168 работает | Китай | 217 | мобильный h5-API, перевод марок с китайского |
| Guazi работает | Китай | 151 | API экспортной витрины, цена FOB в USD |
| mobile.de пауза | Германия | 790 | парсер готов; сейчас площадка блокирует IP наших прокси — нужны европейские резидентские IP |
| VPauto пауза | Франция | 75 | парсер готов; площадка на техобслуживании |
Архитектура
Общая схема данных
Работает на обычном виртуальном хостинге: Python-парсеры, SQLite и статический каталог. Отдельный сервер не нужен, нагрузку парсеры ограничивают сами.
← схему можно листать →
Процессы
Как это работает — по шагам
1. Сбор лотов
Парсер площадки читает выдачу по фильтрам из админки, пропускает уже собранные лоты (мягкий режим), нормализует данные и записывает их по постоянному id — дублей не бывает.
← схему можно листать →
2. Ежедневный цикл: run_all → lite refresh → cleanup → экспорт
Один замок flock: прогоны не пересекаются. Одновременно идут максимум 2 парсера, новый не стартует при высокой нагрузке сервера, зависшие перезапускает watchdog.
← схему можно листать →
3. Обновление и автоочистка
Каждый проверенный лот получает итог active, gone или unknown. Удаление возможно только по надёжным признакам и с предохранителями от сбоев площадки.
← схему можно листать →
4. История ставок Copart
Парсер вытаскивает историю ставок по лоту, а страница лота показывает её посетителю.
← схему можно листать →
5. Расчёт цены под ключ до Минска
Считается на странице лота по ставкам из конфигурации. Ставки доставки и комиссию задаёт владелец системы.
← схему можно листать →
6. Ротация прокси
Каждый запрос идёт через лучший по оценке прокси. При ошибке или бане берётся следующий; систематически сбоящие отключаются и перепроверяются.
← схему можно листать →
7. Обработка фото
Из фото площадки выбираются лучшие кадры в максимальном размере; для площадок, недоступных из СНГ, фото хранятся на вашем хостинге.
← схему можно листать →
Технологии
Стек
Парсеры
Python 3.12, asyncio + aiohttp (HTTP и SOCKS5-прокси), aiosqlite. По модулю на площадку, общие утилиты прокси, фильтров и прогресса.
Хранение
SQLite: отдельная база на площадку, лот — JSON, история ставок и статусов — триггерами. Отдельный сервер БД не нужен.
Сайт
Статический каталог на JS: данные в data.js и 16 шардах, быстрая загрузка, WebP, страница лота с историей и расчётом.
Админка
PHP: вход по паролю (bcrypt), блокировка после 5 неудачных попыток, сессии HttpOnly / SameSite=Strict.
Планировщик
cron + bash: flock, timeout, nice/ionice, бюджет времени, лимит CPU, автопроверка прокси.
Фото и курсы
Pillow: размеры, dHash-дубли, WebP 640px q72. Курсы — api.nbrb.by ежедневно.
Управление
Админка
- Карточка каждой площадки: запуск, фильтры, цель / лимит лотов (1–5000), прогресс
- Ошибки и watchdog: зависшие парсеры, последние сбои
- Сводка за 24 часа
- Сбор: параллельность, допустимая нагрузка, таймауты — меняются на ходу
- Пул прокси: добавление, статус, оценка, автоотключение
- Telegram: токен, чат, фильтры, предпросмотр подборки
- Фото в WebP: включение и статистика
- Настройки сайта и итоги автоочистки
Что входит в $2 300
Состав предложения
- Исходный код всех 11 парсеров (включая mobile.de и VPauto)
- Исходный код планировщика: run_all, lite refresh, cleanup, экспорт, watchdog
- Исходный код админки и модулей прокси, фото, WebP, истории ставок, Telegram
- Исходный код каталога: список, фильтры, страница лота, история ставок, калькулятор под ключ
- Установка на хостинг клиента и настройка cron
- Настройка площадок, лимитов и фильтров под ваши задачи
- Документация: установка, запуск, настройки, структура данных
Предоставляет клиент:
- Хостинг с Python 3.12, PHP и cron
- Прокси (для mobile.de нужны европейские резидентские IP)
- Дилерские логины для закрытых площадок, если нужны
- Ставки доставки (в том числе из Китая), комиссия, расчётные коэффициенты
- Токен Telegram-бота для уведомлений
Не входит в стоимость: новые площадки, сопровождение после запуска — обсуждается отдельно. Сроки установки обсуждаются.
Покажем систему вживую
Покажем демо-каталог, админку и работу парсеров, ответим на вопросы по установке.
