DATA ENGINEER / BACKEND DEVELOPER

REMOTE | PROJECT / PART TIME | QLAN

Компания: QLAN - технологический интегратор, который внедряет end-to-end ИИ-решения в бизнес-процессы крупных компаний и госсектора.

Задачи:

• Писать кастомные парсеры под соц сети, медиахостинги и маркетплейсы
• Реализовывать сервисы на Python
• Разрабатывать и поддерживать сервисы для сбора данных

Требования:

• опыт разработки и поддержки высоконагруженных парсеров/scrapers от 3х лет;
• Python от 3х лет;
• понимание типов различных прокси-серверов (ротация прокси, мониторинг качества), принципов работы CAPTCHA;
• работа с rate limiting;
• Playwright;
• AsyncIO, aiohttp/httpx
• опыт reverse engineering внутренних API веб- и мобильных приложений
• опыт работы с базами данных (PostgreSQL / ClickHouse / Redis)
• отличное понимание HTTP/TCP, работы CDN, REST API, GraphQL, антибот-систем и методов их обхода;

Будет плюсом:

• опыт разработки парсеров для площадок: Instagram, YouTube, Tik Tok, Trip Advisor, Spotify, X, Flickr, LinkedIn, Reddit и аналогичные
• опыт работы с Grafana/Prometheus
• Kubernetes;
• Kafka/RabbitMQ;

Мы предлагаем:

• Проектная занятость с гибким форматом работы
• Прямая коммуникация с техническим руководством без бюрократии
• Возможность вырасти в полноценную техническую роль внутри компании