Технический менеджер продукта в области хранения и обработки данных

Яндекс — одна из немногих компаний в мире, которые оперируют сотнями петабайт данных. Эти данные нужно эффективно хранить, обрабатывать и передавать между различными системами. Для этих задач мы развиваем собственные инфраструктурные решения, например распределённую платформу хранения и обработки данных. Недавно мы выложили код платформы в открытый доступ под названием YTsaurus. Внутри Яндекса практически каждый сервис использует её для хранения и обработки данных.

Для построения пайплайнов обработки данных и регулярного запуска вычислений в компании существует облачная платформа Nirvana. Она тесно интегрирована с YTsaurus и использует его в качестве основной среды для запуска задач. Nirvana обладает удобным веб-интерфейсом для создания ETL-процессов, а также позволяет описывать их на языке Python. На ней построена существенная часть пайплайнов обработки и подготовки данных, кроме того она является одной из основных точек входа для запуска задач машинного обучения. Наиболее известные аналоги в мире open source, которые решают подобные задачи, — Apache NiFi и Apache Airflow. Мы ищем технического менеджера продукта, который будет вместе с нами развивать платформу Nirvana. Мы ожидаем, что с вашей помощью сможем сформировать новые направления развития платформы и успешно реализовать их, тем самым упростив работу тысяч разработчиков, ML-инженеров и аналитиков в компании.

Мы — команда увлечённых людей, любим вызовы и готовы делиться знаниями. Приходите, чтобы вместе с нами развивать высоконагруженный инфраструктурный сервис!

• отвечать за продуктовое развитие облачной платформы Nirvana;
• участвовать в интеграционных проектах вместе с несколькими командами разработки, эксплуатации и тестирования;
• консультировать внутренних пользователей и участвовать в формировании лучших практик использования инфраструктуры;
• управлять процессом разработки и отвечать за его соответствие планам и требованиям;
• критически анализировать рабочие процессы, находить проблемные места, предлагать и внедрять улучшения;
• плодотворно работать с разработчиками и пользователями инфраструктуры.

• управляли продуктами и проектами;
• имеете опыт работы с командой разработчиков;
• непосредственно занимались разработкой программного обеспечения;
• способны расставлять приоритеты и решать задачи в срок;
• умеете управлять обсуждениями и фиксировать результаты;
• составляли FAQ и пользовательскую документацию;
• точно и понятно выражаете свои мысли — как устно, так и письменно;
• коммуникабельны, разговариваете с разработчиками на одном языке;
• получили высшее образование: техническое или математическое;
• хотите погрузиться в предметную область и стать экспертом в области инфраструктуры распределённых систем;
• последний год работали в аналогичной должности.

• понимаете основные принципы построения распределённых систем хранения и обработки данных;
• работали с распределёнными системами хранения и обработки данных, например Hadoop или Spark;
• имеете опыт работы с ETL-инструментами, например Apache NiFi или Apache Airflow;
• владеете навыками программирования на Python или любом другом языке;
• писали SQL-запросы.