Обсудить проект↗

Статья · 5 мин чтения · 21.10.2026

Как мы подключаем новую площадку: чек-лист

За время проекта мы подключили 11 площадок и проверили ещё больше. Сложился порядок действий, который экономит время и избегает типичных ошибок. Делимся им.

1. Как сайт получает данные

Открываем страницу поиска и смотрим сетевые запросы. Есть ли JSON-эндпоинт? Есть ли JSON-LD или состояние приложения в HTML? Если есть API — используем его. Так было с Copart, Encar, mobile.de, Guazi.

2. Защита

Пробуем простой запрос. Пустой ответ — ищем недостающий параметр (как did у Guazi). Заглушка — смотрим, что она проверяет (Incapsula у Copart, JS-cookie у Che168). Капча — снижаем частоту и не обходим.

3. География

Пробуем с разных адресов. Если отказ зависит от страны — нужны прокси из нужной страны (mobile.de).

4. Фото

Проверяем, открываются ли фото с IP хостинга. Если нет — площадку в список кэша. Ищем самый крупный вариант изображения и метки ракурсов.

5. Тип цены и валюта

Ставка, стартовая, фиксированная, FOB? В какой валюте? Есть ли курс в НБРБ? От этого зависят подписи в каталоге и расчёте.

6. Мягкий режим и лимит

Сколько страниц за прогон, какие паузы, нужен ли критерий «не открывать повторно». Лимит по умолчанию — в код, возможность менять — в админку.

7. База и история

Новая база площадки с таблицей lots; триггеры истории подключаются автоматически.

8. Lite refresh и очистка

Как проверить один лот или пачку? Какие жёсткие признаки снятия? Сколько дней хранить неподтверждённый лот?

9. Экспорт и расчёт

Нормализация полей, флаг страны, направление доставки. Если ставок доставки нет — «уточняет менеджер», без выдуманных цифр.

10. Тестовый прогон

Запуск с маленьким лимитом, проверка лотов в каталоге, на странице лота и в расчёте. Только после этого — расписание.

Ошибки, которых чек-лист помогает избежать

Перенос настроек с похожей площадки вслепую: фильтр Copart.com на Copart.de вернул бы ноль лотов. Вывод «заблокировано» по первому пустому ответу: у Guazi не хватало одного параметра, а не доступа. Подбор заголовков при геоблоке: mobile.de проверял страну, а не заголовки. Кэширование всех фото подряд: большинство площадок отдают их напрямую. Придумывание цены там, где её нет: у Auksjonen «Ingen bud», у аукционных лотов Guazi цена скрыта.

Сколько это занимает

Мы не называем фиксированных сроков: площадка с открытым API подключается быстрее, площадка с антиботом и геоблоком — дольше. Самое долгое обычно не код парсера, а анализ: понять, откуда сайт берёт данные, что их ограничивает и какие поля надёжны.

Вопросы и ответы

Что делать, если площадка требует вход? Подключать только с собственными учётными данными владельца и в рамках правил площадки. Чужие аккаунты не используем.

Нужно ли сразу ставить площадку в расписание? Нет. Сначала тестовый прогон с маленьким лимитом и проверка в каталоге.

Коротко

Сначала понять, как сайт получает данные; затем проверить защиту, географию и фото; определить тип цены и валюту; задать мягкий режим и лимит; подключить базу, refresh, очистку и экспорт; и только после тестового прогона с маленьким лимитом ставить площадку в расписание. Без выдуманных цен и ставок доставки.

Чего мы не делаем при подключении

Не используем чужие аккаунты, не обходим капчи, не собираем лишние персональные данные и не подставляем значения, которых нет у площадки.

Пример применения

Так подключались Che168 и Guazi. Для Guazi шаг 1 показал внутренний API, шаг 2 — пустой список без идентификатора устройства, который нашёлся в запросах самого фронтенда. Для Che168 шаг 2 показал JS-заглушку и слайдер-капчу, шаг 3 — необходимость китайских адресов, шаг 4 — что фото открываются напрямую. Обе площадки сейчас в статусе разработки: тестовые лоты уже в каталоге, полноценный объём — после прокси.

Итог

Чек-лист — сжатый опыт 11 площадок. Результат его применения — в демо-каталоге, обзор системы — на странице парсера.

Что почитать дальше

Эта статья — часть цикла о парсере аукционных лотов JetAero. Все цифры в ней взяты из кода и баз проекта на 21 октября 2026 года и меняются с каждым прогоном. Архитектуру системы целиком, таблицу площадок и список функций смотрите на странице «Парсер аукционных лотов», а результат работы — в демо-каталоге jetaero.pro/auctions, где лоты можно отфильтровать по площадке, году, цене, пробегу и статусу торгов. Мы сознательно не приводим в статьях выдуманных цифр, отзывов и историй клиентов: если какого-то значения нет в данных проекта, мы так и пишем. Цены и ставки в примерах — реальные значения из баз на дату публикации, а расчёт под ключ в каталоге — ориентир, а не оферта. Если вам нужна похожая система для своих площадок, начните со знакомства с демо-каталогом, а затем напишите нам — обсудим, какие источники и данные нужны именно вам.

Хотите такой же парсер для своих площадок? Обсудим проект или напишите в Telegram @pilsons.