По нужде знакомого сделал парсер встроенный в Телеграм-бота, который… — Абьюзер ChatGPT

Абьюзер ChatGPT | 2.0@magerdev1 · 25.6K subscribers Open in TelegramOpen

По нужде знакомого сделал парсер встроенный в Телеграм-бота, который мониторит товары на ОЛХ, Украина. Можно ввести название, выбрать подходящую категорию, установить ценовой диапазон, новые/пере-поднятые объявления, выбор в пользу скорости реакции/объема.

Ловит обьявления за 15-30 секунд после появления. Достаточно, чтобы "поймать" квартиру, телефон, видеокарту или что-то друго по вкусной цене.

СТЕК:

- Python 3.12;
- curl_cffi (транспорт с подменой TLS-отпечатка Chrome);
- aiogram (Telegram-бот);
- SQLite через стандартный sqlite3;
pydantic-settings (конфиг из.env);
- loguru (логи).

Деплой - Docker + Docker Compose на VPS. Можно и на домашнем развернуть...

ОТКУДА ИНФА И КАК ИЗУЧАЛИ САЙТ, наверное, самое ценное:

Разведкой через одноразовые скрипты-«спайки»: смотрел robots.txt, сравнил голый
httpx (403) с curl_cffi (200), сохранил реальный образец JSON-ответа и по нему вывел
структуру полей. Имена фильтров подбирал эмпирически (например, нашел, что параметр
private_business отвечает 200, но не фильтрует, - рабочий owner_type). Отдельно
замерил безопасную частоту опроса и лаг платформы (объявление доступно в API лишь
через ~15 мин после публикации). Справочники разделов и городов API не отдаёт —
дерево категорий вытащили из window.__PRERENDERED_STATE__ главной страницы, города
собрали из самой выдачи. Все находки с цифрами - в docs/pipeline/spikes/FINDINGS.md.

Про 15 мин после публикации - это этап модерации, который проходит каждое объявление. В этот момент его даже пользователи, которые смотрят ОЛХ руками - не видят. Когда оно появляется в выдаче, мы ловим его за время, которое описано.

КАК ПАРСИМ

Я не парсю HTML, а использую внутренний JSON API OLX - /api/v1/offers/. Обычный HTTP-клиент получает от CloudFront ошибку 403, поэтому я отправляю запросы через curl_cffi с параметром impersonate="chrome". Библиотека подделывает TLS- и HTTP-отпечаток настоящего браузера, и этого оказывается достаточно - прокси и прохождение капчи не требуются (по крайней мере, для моего сценария, где я мониторю не больше парочки товаров).

Ответ приходит в формате JSON, после чего я преобразую его в модель объявления. Цена находится внутри массива params[], ссылка на фотографию представляет собой шаблон с подстановкой нужного размера, а тип продавца определяется по полю business. Фильтры я передаю непосредственно в параметрах запроса - сортировку по дате, минимальную и максимальную цену, город, раздел и поиск только среди частных продавцов. При этом каждое полученное объявление я дополнительно проверяю на соответствие фильтрам уже на своей стороне, потому что сервер иногда добавляет в выдачу посторонние объявления в обход собственных фильтров.