Data Engineer DWH
Мы обрабатываем большие объёмы данных, и нам нужно делать это быстро и точно. Для этого мы создаём масштабную, безопасную и удобную аналитическую платформу. Нам требуются дата-инженеры для разработки DWH.
Какие задачи вас ждут
Доработка внутренней платформы
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи, такие как деплой простых решений и мониторинг, а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи, такие как деплой простых решений и мониторинг, а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.
Разработка и поддержка витрин данных
Вы будете разрабатывать, оптимизировать и поддерживать витрины данных, исходя из требований бизнеса и аналитиков. Это включает проектирование структуры данных, реализацию ETL-пайплайнов с использованием Python, Spark, Greenplum и Airflow, а также обеспечение их эффективной работы. Вам предстоит решать задачи разного уровня сложности — от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой.
Оптимизация ETL-процессов
Вам предстоит оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы, такие как перекос данных в Greenplum, долгие джобы и неэффективные партиции, а также настроить распределение ресурсов в кластере.
Мониторинг качества данных
Вы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных, такие как пробелы, дубли и некорректные значения. Кроме того, вы будете взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных.
Мы ждем, что вы
- Пишете код на Python
- Работали с базами данных SQL и NoSQL
- Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным)
- Работали с инструментами Hadoop
Будет плюсом, если вы
- Работали со Spark или Spark SQL
- Работали с Greenplum
- Умеете разрабатывать DAG для Airflow
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Все интересные вам вакансии в одном профиле
Войти и откликнутьсяWed Aug 07 2024 14:43:03 GMT+0300 (Moscow Standard Time)
