Обсудить проект↗

Статья · 5 мин чтения · 21.10.2026

Парсер DubiCars: автомобили из ОАЭ

ОАЭ — заметный рынок подержанных автомобилей, в том числе машин в хорошем состоянии с небольшим пробегом. DubiCars — одна из крупных площадок Эмиратов. В нашем каталоге на 21 октября 2026 года 560 лотов DubiCars. Парсер этой площадки — самый компактный в проекте, и на его примере хорошо видно, что не всегда нужен API.

Данные уже в разметке

У DubiCars нет публичного JSON API для поиска, но он и не понадобился. Каждая карточка в выдаче — элемент <li class="serp-list-item"> с набором data-атрибутов. Самый ценный из них — data-ga4-detail: это JSON, который площадка готовит для аналитики. В нём есть идентификатор, год, марка, модель, комплектация, цена, валюта, город, состояние, тип топлива, коробка, тип кузова, продавец и ссылка на фото.

Парсер просто находит все такие элементы регулярным выражением, разворачивает HTML-сущности и читает JSON. Пробег берётся из соседнего атрибута data-item-kilometers, а ссылка на объявление — из href карточки.

Почему это удобно

Данные для аналитики площадки обычно стабильнее, чем вёрстка: на них завязаны отчёты маркетологов, и их редко трогают без причины. Нам не нужно искать цену в одном блоке, пробег в другом, а год — в заголовке: всё лежит в одном объекте с понятными ключами.

При этом мы не скачиваем страницы объявлений: всё нужное для каталога есть уже в выдаче. Это экономит запросы и нагрузку на площадку.

Поиск по маркам

Парсер запрашивает поиск /search по нескольким ключевым словам — сейчас это toyota, bmw и nissan — и берёт первую страницу каждого. Из каждой выдачи сохраняется до 30 лотов. Между запросами — случайная пауза 2–4 секунды. Ответ с кодом не 200 просто пропускается с записью в лог.

Дубли внутри одной выдачи отсекаются по идентификатору, а между прогонами работает INSERT OR REPLACE: тот же лот обновляется, а не дублируется.

Цены и валюта

Цены DubiCars — в дирхамах ОАЭ (AED). Курс дирхама есть в ежедневных курсах НБРБ, и экспорт пересчитывает цену в доллары. В каталоге видно и долларовый эквивалент, и цену в дирхамах. Если цена в карточке не указана, лот сохраняется без цены и показывается как «Цена по запросу».

В расчёте под ключ для DubiCars используется направление «ОАЭ: море и доставка до Минска». Это ориентир: точные условия зависят от порта, контейнера и сроков.

Фото

Фото DubiCars открываются с IP хостинга, поэтому локальный кэш для этой площадки не нужен. В карточке используется изображение из image_url аналитического объекта.

Это одно из ограничений компактного подхода: в выдаче есть только главное фото. Для полной галереи пришлось бы открывать каждую страницу объявления, а это многократно больше запросов. Для каталога-витрины одного качественного фото достаточно, а полную галерею покупатель смотрит по ссылке на площадке.

Актуализация

DubiCars проверяется в lite refresh вместе с остальными площадками, а неподтверждённые лоты хранятся пять дней. Если площадка не ответила или прогон упал, устаревшие лоты не удаляются: автоочистка требует успешного прогона за последние 36 часов.

Лоты из ОАЭ можно посмотреть в демо-каталоге, выбрав площадку DubiCars. О месте этого парсера в общей системе — на странице парсера.

DubiCars хорошо показывает, что выбор метода зависит от площадки. Здесь не понадобились ни внутренний API, ни браузер, ни сложная обработка антибота — хватило внимательного чтения разметки, которую площадка и так отдаёт каждому посетителю.

Вопросы и ответы

Почему у лотов DubiCars одно фото? В выдаче площадка отдаёт только главное изображение. Полная галерея потребовала бы отдельного запроса на каждый лот, и мы от этого отказались ради мягкой нагрузки. Поэтому для DubiCars экспорт делает исключение из правила «не меньше трёх фото».

Почему поиск по трём маркам? Это мягкий стартовый набор: toyota, bmw и nissan дают разнообразную выдачу при небольшом числе запросов.

Структура лота в базе

Каждый лот DubiCars хранится в dubicars.db в той же таблице lots, что и у остальных площадок: идентификатор, JSON и время обновления в UTC. В JSON — платформа, название с годом, марка, модель, комплектация, цена и валюта, город, пробег, состояние, топливо, коробка, кузов, продавец и фото. Единый формат позволяет экспорту обрабатывать все площадки одним кодом.

Что почитать дальше

Эта статья — часть цикла о парсере аукционных лотов JetAero. Все цифры в ней взяты из кода и баз проекта на 21 октября 2026 года и меняются с каждым прогоном. Архитектуру системы целиком, таблицу площадок и список функций смотрите на странице «Парсер аукционных лотов», а результат работы — в демо-каталоге jetaero.pro/auctions, где лоты можно отфильтровать по площадке, году, цене, пробегу и статусу торгов. Мы сознательно не приводим в статьях выдуманных цифр, отзывов и историй клиентов: если какого-то значения нет в данных проекта, мы так и пишем. Цены и ставки в примерах — реальные значения из баз на дату публикации, а расчёт под ключ в каталоге — ориентир, а не оферта. Если вам нужна похожая система для своих площадок, начните со знакомства с демо-каталогом, а затем напишите нам — обсудим, какие источники и данные нужны именно вам.

Хотите такой же парсер для своих площадок? Обсудим проект или напишите в Telegram @pilsons.