Разработчик платформы управления данными в Такси

Наша платформа доставляет данные из множества источников сотням потребителей и использует самые разные технологии: от MapReduce до Flink, от Spark до SQL в аналитических базах данных. Мы стремимся писать совершенный код, проектировать и оптимизировать расчёты, прорабатывать самые сложные алгоритмы и готовить инструментарий для сотен бизнес-пользователей.

Наша команда постоянно рассказывает о своих решениях:

• На SmartData 2020 — о том, как мы разрабатываем DMP для Такси, Еды и Лавки
• На DataFest 2020 — о DSL для ETL в DMP
• На HighLoad++ Весна 2021 — о том, как подключить к Apache Spark проприетарный источник данных

Мы ищем разработчиков, которые будут развивать компоненты нашей платформы:

• Поставку данных из разных источников в аналитические хранилища, трансформацию этих данных
• Наш фреймворк и сервисы, которые нужны для его работы
• Инструменты для работы с данными (документацию, Data Quality, Data Lineage и другие)

• Писать хороший, легко поддерживаемый и производительный код на Python или Java
• Строить распределённую инфраструктуру для получения, обработки и контроля качества данных
• Разрабатывать собственный DSL для описания трансформаций данных в стриминге и батч-обработке
• Проектировать интерфейс системы, которой будут пользоваться сотни инженеров данных
• Оптимизировать потребление ресурсов в процессах обработки данных
• Автоматизировать рутину
• Заниматься автодокументацией, мониторингами, логами, метриками, админками

• Уверенно программируете на Python или Java
• Готовы осваивать новые технологии и фреймворки
• Умеете и любите писать чистый код, покрывать его тестами и проводить рефакторинг
• Понимаете, зачем нужны непрерывная интеграция и непрерывная доставка (CI/CD), Git и code review

• Работали с инструментами обработки больших данных: экосистемой Hadoop, Spark, ClickHouse, Greenplum и другими аналитическими MPP БД
• Разрабатывали и проектировали распределённые системы (наша инфраструктура должна базироваться в нескольких дата-центрах)
• Проектировали хранилища данных или поставку данных в них
• Проектировали и разрабатывали процессы обработки сложных событий (CEP) в почти реальном времени на Flink, Spark Streaming, Kafka Streams
• Работали со стриминговыми платформами, например с AWS Kinesis, Apache Kafka, Azure Event Hubs, понимаете, как они устроены и зачем нужны

• Сильную команду, с которой можно расти
• Сложные задачи для сервисов с миллионами пользователей
• Возможность влиять на процесс и результат
• Зарплату на уровне рынка и выше
• Премии каждые полгода для всех, кто успешно прошёл ревью
• Расширенную программу ДМС, оплату 80% стоимости ДМС для супругов и детей
• Гибкий график работы