Разработчик в группу построения поисковой базы

Наша команда разрабатывает систему для построения поисковой базы. Нам важно как можно быстрее доставлять новые документы до поиска, а также факторы для их ранжирования. При этом сама база и объем таких обновлений очень большие. Сейчас система в процессе трансформации на потоковую обработку документов в реальном времени, что требует переосмысливать и воплощать в жизнь новую архитектуру, а также заниматься оптимизацией обработки данных.

====Вы нам подходите, если вы:

• хорошо знаете С++ и имеете соответствующий опыт работы (знание Java и C# и опыт работы на них приветствуются, но разрабатывать предстоит на С++);
• отлично знаете классические алгоритмы и структуры данных.

====Кроме того, приветствуются:

• опыт разработки высоконагруженных распределенных систем (MapReduce, KV-хранилища);
• знание Python;
• хорошие коммуникативные навыки.

====Вам предстоит:

• заниматься разработкой, анализом и оптимизацией процессов, работающих на MapReduce-кластере, а также с использованием KV-хранилища для потоковой обработки в реальном времени;
• переосмысливать архитектуру, чтобы позволить работать с обновлениями в реальном времени и одновременно поддерживать огромный объем данных в основной базе;
• взаимодействовать с другими командам Яндекса.