Инженер облачной инфраструктуры Hadoop

МоскваJava, Python, GoОблачные технологииСпециалист
В службе Яндекс.Облака мы активно развиваем проект управления экосистемой Hadoop на основе наших облачных технологий. Сегодня Hadoop де-факто стал стандартом для работы с большими данными и приложениями для потоковой обработки данных, и мы хотим сделать всё, чтобы наши клиенты могли эффективно и продуктивно использовать Hadoop для своих продуктовых задач.
Сейчас мы ищем человека, который будет создавать инфраструктуру для Hadoop в облачном окружении, собирать компоненты и масштабировать решение на большое количество кластеров. Мы ждем, что вы знаете устройство HDFS, понимаете, чем Spark лучше MapReduce, и можете определить, когда выбрать Impala, а когда — Hive.

Требования:

  • хорошее представление об устройстве стека Hadoop и опыт работы с ним;
  • практический опыт работы в POSIX-совместимых операционных системах;
  • обслуживание и поддержка кластеров, участие в DevOps-культуре;
  • опыт проектирования и обслуживания больших и отказоустойчивых сервисов.

Желательно:

  • знание одного или нескольких языков программирования из следующего списка: Go, Python, Java.