Data Engineer (CDP)
- Role
- Data Engineering
- Employment
- Full-time
- Company size
- Enterprise
Open to RU only. Set where you work from to check your eligibility.
No BS summary
Data Engineer with 3+ years experience, must be based in Russia. Proficient in Kafka and ClickHouse, with a strong understanding of high-load systems. Experience with Spark and data architecture design is required.
Required skills
Optional skills
REMOTE RUSSIA | 2GIS
2GIS CDP — это внутренняя Customer Data Platform, лежащая в основе стратегии развития всего 2ГИС на ближайшие годы.
CDP объединяет данные из десятков источников, строит единые пользовательские профили, рассчитывает метрики, интересы и модели поведения, помогает запускать real-time персонализацию прямо в продукте и управлять персонализированной рекламой и коммуникацией.
Это стартап внутри большой компании — со свободой в архитектуре и технологиях, с задачами уровня highload и с реальным влиянием на бизнес-результаты.
О команде
Мы объединяем инженеров, аналитиков и ML-специалистов, которые строят систему, меняющую подход к данным в 2ГИС.
Работаем с большими объемами событий, продумываем архитектуру под масштаб и надежность, ценим простые и элегантные решения.
Каждый в команде влияет на архитектуру, подходы и направление развития CDP.
Наш стек
- Backend: Go, gRPC
- Frontend: TypeScript, React
- Autotests: Python, Playwright, Allure
- Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow
Стек только формируется — ты сможешь повлиять на его развитие и архитектуру.
Тебе предстоит
- Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
- Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
- Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
- Решать сложные инженерные задачи: расчеты метрик, построение витрин.
- Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
- Влиять на архитектурные решения и качество кода.
- Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.
Ждем от тебя
- Опыт работы с highload-системами.
- Опыт проектирования архитектуры данных или платформенного кода.
- Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
- Хорошо понимает, как работает Spark и умеет его готовить.
- Хорошо владеешь одним из языков программирования (например, Python или Scala).
- Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
- Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.
Будет плюсом:
- Опыт работы с Airflow.
- Опыт анализа данных с использованием SQL.
- Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).
- Опыт построения Data Lineage и работы с Data Catalog.
- Понимание подходов к персонализации, сегментации или real-time аналитике.
- Понимание, как работает S3 хранилище.
Почему это круто
- Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций.
- Рост: CDP — стратегическое направление, растем быстро и даем расти команде.
- Свобода: минимум бюрократии, максимум ответственности.
- Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС.
Хочешь строить внутренний «мозг» 2ГИС? Присоединяйся к команде CDP.
APPLY
What you'll do
- Improve efficiency of daily feature calculation pipelines based on batch processing
- Create an efficient pipeline for calculating real-time features from Kafka topics
- Design and develop services processing billions of user events
- Solve engineering tasks related to metric calculations and data marts
- Work with data streams and integrations between CDP and other 2GIS systems
- Influence architectural decisions and code quality
- Work in a distributed team with analysts, product managers, and engineers from other areas
What they require
- Experience with highload systems
- Experience designing data architecture or platform code
- Experience with Kafka, ClickHouse, or other streaming and analytical data processing systems
- Good understanding of how Spark works
- Strong command of one programming language, such as Python or Scala
- Independence and proactivity in proposing solutions
- Desire to understand business logic and build a product, not just write code
Benefits
- Large scale: millions of users, billions of events, hundreds of integrations
- Strategic and fast-growing CDP direction with growth opportunities
- Minimal bureaucracy and maximum responsibility
- Visible impact on product, communications, and advertising
2GIS is a company developing a Customer Data Platform (CDP) for strategic growth.