Разработчик инфраструктуры в рекомендации Плюс Фантеха

Наша команда занимается поддержкой и развитием рекомендательной платформы Ichwill. Она нужна, чтобы внедрение моделей было простым и удобным для ML-специалистов, а пользователи были рады стабильной работе персонализированных продуктов Плюс Фантеха (Музыки, Кинопоиска, Букмейта, Яндекс Афиши и Плюса). Мы помогаем интегрировать новейшие подходы в рекомендациях и заботимся о стабильности бэкендов. Каждый день рекомендации обрабатывают десятки терабайт логов пользовательского взаимодействия, данных о контенте и других полезных сигналов, запускается более сотни процессов на MapReduce-кластере. С другой стороны, наши бэкенды — это высоконагруженные онлайн-сервисы, которые занимаются созданием рекомендаций пользователям на лету. Для всех этих процессов и сервисов необходимы надёжные инструменты разработки, мониторинга и тестирования. Мы трудимся над их созданием и улучшением, настраиваем различные базы данных и системы хранения, обеспечиваем непрерывность поставки данных от других компонентов наших продуктов.

Интеграция сложных ML-фреймворков (в том числе нейросетевых) в онлайн-рекомендации на стыке Java-бэкенда и компонентов C++ для ускорения вычислений
Рекомендации — это не только ML, но и большое количество бизнес-логики. Её мы разрабатываем на Java, однако требуется ещё уметь быстро применять ML-модели. Тут выручают JNI-компоненты, которые ускоряют вычисления и доступ к данным. Здесь предстоит разработка новых и улучшение старых компонентов. Команда рекомендаций непрерывно экспериментирует с новыми моделями, а мы их помогаем довести до продакшена.

Сокращение потребления вычислительных мощностей при сохранении качества продукта
Одна из главных задач команды. Железо — дорогой ресурс, а рекомендации его потребляют очень много. Будем улучшать офлайн-процессы обработки данных, находить в них неоптимальные места и вырабатывать подходы по эффективному использованию выделенных мощностей.

Забота о стабильности сервиса, её повышение
Наша стабильность и качество рекомендаций зависят как от онлайн-, так и от офлайн-компонента. В случае онлайна необходимо управление трафиком, настройка мониторингов, улучшение процессов автоматической приёмки и выкатки, контроль потребляемых ресурсов, оперативная починка аварий и настройка новых источников данных. Офлайн-компонент требует контроля свежести данных, правильного планирования и запуска вычислений, валидации результатов.

Настройка, анализ и улучшение процессов поставки и обработки данных
Каждый процесс подготовки данных или обучения моделей сам по себе может быть сложным и многоуровневым. Во многих из них обрабатывается пользовательская история, собирается аналитика, применяются различные методы машинного обучения. Мы помогаем строить такие процессы: изучаем и улучшаем их, делаем надёжными и эффективными, разрабатываем инструменты и подходы для этого.

Построение сложных сервисов персонализации вместе с командами рекомендаций, участие в развитии платформы Ichwill
Всего мы поддерживаем целых пять рекомендательных направлений, в каждом из них свои проблемы, вызовы и особенности взаимодействия. Мы со своей стороны их учитываем и подготавливаем инструменты для работы в рамках различных постановок задач рекомендаций. Иногда требуется новый сервис для запуска нейросетей, иногда — настройка и поддержка базовых функций.

• Уверенно знаете Java, C++ и SQL
• Работали с высоконагруженными бэкендами
• Работали с классическими хранилищами и базами данных
• Знаете инструменты отладки, профилирования, хорошо знакомы с системами непрерывной интеграции развёртывания
• Умеете анализировать сложные процессы обработки данных

• Понимаете принципы работы месседж-брокеров и MapReduce-систем
• Администрировали сложные сервисы, уверенно знаете Linux, сетевые технологии