Бэкенд-разработчик в команду DWH
Мы создаём масштабную и безопасную аналитическую платформу для работы с большими данными. Нам нужен бэкенд‑разработчик, который будет разрабатывать DWH и поможет в 2–3 раза ускорить поставку данных в первые 6 месяцев.
Какие задачи вас ждут
Разработка, масштабирование и миграция дата‑платформы
Вам предстоит проектировать и развивать платформу на базе S3, Greenplum, Trino, Apache Airflow, Apache Spark, Yandex Cloud, готовить её к кратному росту объёмов данных, обеспечивать миграцию с Greenplum на Trino/S3 для снижения затрат и ускорения доступа к данным.
Вам предстоит проектировать и развивать платформу на базе S3, Greenplum, Trino, Apache Airflow, Apache Spark, Yandex Cloud, готовить её к кратному росту объёмов данных, обеспечивать миграцию с Greenplum на Trino/S3 для снижения затрат и ускорения доступа к данным.
Интеграция источников и управление загрузкой данных
Вы будете строить процессы выгрузки из реляционных СУБД, NoSQL, файловых хранилищ и Kafka, реализовывать стратегии загрузки (полную или инкрементальную с CDC, пакетную или потоковую обработку), внедрять Spark Streaming для обновления данных в режиме near‑real‑time, работать со снепшотами, инкрементами, аудит‑таблицами и CDC.
Обеспечение надёжности и эффективности платформы
Вы будете обеспечивать отказоустойчивость, безопасность, производительность и масштабируемость сервисов и дата‑пайплайнов в режиме 24/7, оптимизировать стоимость обработки данных и использования ресурсов, развёртывать инфраструктуру и проводить её мониторинг через CI/CD‑пайплайны, сокращать объём ручных операций, создавать новые интеграции.
Наблюдаемость, контроль качества и развитие инструментов
Предстоит создавать observability‑платформу для DWH, которая поможет обеспечить мониторинг статусов сборки, качество данных, анализ Data-Lineage, логирование. Вы будете заниматься версионированием данных, тестировать пайплайны, развивать внутренние фреймворки и low‑code‑решения для загрузки и трансформации данных.
Безопасность и организация разработки
Нужно будет обеспечить автоматическую выдачу и контроль прав доступа к инфраструктуре и данным, проводить аудит действий пользователей, создавать изолированные среды разработки, тестирования и предпрода с автоматизированным тестированием, выстраивать среду безопасной разработки и повышать надёжность решений.
Мы ждем, что вы
- Занимались коммерческой разработкой от четырёх лет
- Строили процессы, перечисленные в ключевых задачах
- Оптимизировали сложные аналитические запросы, работали с планами выполнения
- Проектировали схемы данных, занимались партиционированием, шардированием, создавали эффективные индексы
- Работали с различными типами СУБД: реляционными (PostgreSQL, Oracle), NoSQL (MongoDB), MPP-системами (Greenplum)
- Понимаете принципы CDC (Change Data Capture) и работали с соответствующими инструментами или реализовывали CDC-паттерны собственными средствами
- Управляли данными в S3-совместимых хранилищах
- Разрабатывали пайплайны в Apache Airflow
- Выполняли распределённую обработку на Apache Spark (Spark SQL, DataFrame)
- Работали с данными через Trino
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Все интересные вам вакансии в одном профиле
Войти и откликнутьсяWed Aug 07 2024 14:43:03 GMT+0300 (Moscow Standard Time)
