Статья · 5 мин чтения · 21.10.2026
Этичный парсинг: как работать с антиботом и не вредить площадке
«Обход антибота» звучит как взлом. На практике в нашем проекте это скорее искусство не попадать под защиту, потому что мы ведём себя как аккуратный посетитель. В этой статье — правила, которые мы соблюдаем на всех 11 площадках, и примеры из кода.
Правило 1. Только публичные данные
Мы собираем только то, что видит любой посетитель сайта без входа в аккаунт: выдачу поиска и страницы лотов. Мы не используем чужие логины, не заходим в личные кабинеты и не трогаем разделы для дилеров. Площадки, которые требуют дилерского доступа, мы честно отложили до появления собственных учётных данных у владельца проекта.
Это касается и скрытых данных внутри публичных страниц. Например, у аукционных лотов Guazi цена без логина скрыта — и мы сохраняем такие лоты без цены, а не пытаемся её достать.
Правило 2. Те же запросы, что делает сайт
Современные сайты строят страницы через собственные JSON-эндпоинты. Copart использует POST в /public/lots/search-results, mobile.de — внутренний API с параметром url, Guazi — /os/facade/search/product/list. Мы отправляем в эти эндпоинты те же запросы, что отправляет браузер. Это не обход защиты, а использование того же публичного интерфейса.
Такой подход ещё и легче для площадки: один JSON-ответ вместо загрузки страницы со всеми скриптами, стилями и картинками.
Правило 3. Мягкие объёмы
Обычный прогон каждой площадки ограничен: четыре страницы по 20 лотов у Copart, три по 20 у Encar, три по 25 у mobile.de. Между запросами — паузы. Одновременно работают не больше двух парсеров, а Copart и Copart.de никогда не идут вместе. Массовый сбор Copart идёт ночью, с потолком 5 000 лотов.
Лимиты вынесены в админку, но с жёсткими потолками в коде.
Правило 4. Остановиться на капче
Капча — явный сигнал «слишком много». Парсер Che168 при появлении слайдер-капчи делает несколько пауз, а если она не снимается — останавливается до следующего прогона. Мы не используем сервисы автоматического решения капч и не имитируем движения мыши.
Так же мы реагируем на 403 и 429: другой прокси или пауза с растущим интервалом, но не бесконечные повторы.
Правило 5. Простые проверки — да, имитация человека — нет
Некоторые площадки ставят лёгкую JS-проверку: скрипт вычисляет cookie и перезагружает страницу. Che168 делает так с cookie __tst_status и EO_Bot_Ssid. Мы вычисляем эту cookie так же, как браузер, из констант в ответе. Это то, что делает каждый посетитель, и площадка явно рассчитывает, что клиент это сделает.
Граница проходит там, где защита требует доказать, что ты человек. Это мы не обходим.
Правило 6. Не хранить лишнего
Мы не сохраняем данные, которые не нужны каталогу. Например, у KVD есть госномер автомобиля — мы его не храним. Мы не собираем контакты продавцов для рассылок. У фото удаляются EXIF-метаданные при кэшировании.
Правило 7. Не создавать нагрузку соседям
Этика касается и хостинга. Парсеры работают с пониженным приоритетом CPU и диска, следят за load average и останавливаются по таймауту. Новый парсер не стартует, пока средняя загрузка выше порога.
Что это даёт бизнесу
Этичный парсинг — не только про совесть. Он стабильнее: мягкий сбор реже упирается в блокировки, прокси живут дольше, а парсер не ломается от каждого ужесточения защиты. Он дешевле: не нужны дорогие браузерные фермы и сервисы капч. И он безопаснее юридически: мы работаем с публичной информацией в разумных объёмах.
Посмотреть, что получается при таком подходе, можно в демо-каталоге: 11 площадок и 7 440 лотов на 21 октября 2026 года. Архитектура — на странице парсера.
Вопросы и ответы
Законно ли парсить публичные данные? Мы собираем публичную информацию в разумных объёмах и не обходим авторизацию. Юридическую оценку для конкретного бизнеса и страны стоит получить у юриста.
Что делать, если площадка явно запрещает сбор? Не подключать её или договариваться о партнёрском доступе.
Коротко
Публичные данные, те же запросы, что делает сайт, мягкие объёмы, остановка на капче, никакой имитации человека, ничего лишнего в базе и уважение к соседям по хостингу.
Что почитать дальше
Эта статья — часть цикла о парсере аукционных лотов JetAero. Все цифры в ней взяты из кода и баз проекта на 21 октября 2026 года и меняются с каждым прогоном. Архитектуру системы целиком, таблицу площадок и список функций смотрите на странице «Парсер аукционных лотов», а результат работы — в демо-каталоге jetaero.pro/auctions, где лоты можно отфильтровать по площадке, году, цене, пробегу и статусу торгов. Мы сознательно не приводим в статьях выдуманных цифр, отзывов и историй клиентов: если какого-то значения нет в данных проекта, мы так и пишем. Цены и ставки в примерах — реальные значения из баз на дату публикации, а расчёт под ключ в каталоге — ориентир, а не оферта. Если вам нужна похожая система для своих площадок, начните со знакомства с демо-каталогом, а затем напишите нам — обсудим, какие источники и данные нужны именно вам.
- Мягкий режим парсинга: не открывать то, что уже собрано
- Резидентные или дата-центровые прокси: что выбрать для парсинга
- Ротация прокси: как парсер выбирает адрес для каждого запроса
