Инженер облачной инфраструктуры Hadoop

В службе Яндекс.Облака мы активно развиваем проект управления экосистемой Hadoop на основе наших облачных технологий. Сегодня Hadoop де-факто стал стандартом для работы с большими данными и приложениями для потоковой обработки данных, и мы хотим сделать всё, чтобы наши клиенты могли эффективно и продуктивно использовать Hadoop для своих продуктовых задач.

Сейчас мы ищем человека, который будет создавать инфраструктуру для Hadoop в облачном окружении, собирать компоненты и масштабировать решение на большое количество кластеров. Мы ждем, что вы знаете устройство HDFS, понимаете, чем Spark лучше MapReduce, и можете определить, когда выбрать Impala, а когда — Hive.

====Требования:

• хорошее представление об устройстве стека Hadoop и опыт работы с ним;
• практический опыт работы в POSIX-совместимых операционных системах;
• обслуживание и поддержка кластеров, участие в DevOps-культуре;
• опыт проектирования и обслуживания больших и отказоустойчивых сервисов.

====Желательно:

• знание одного или нескольких языков программирования из следующего списка: Go, Python, Java.