Разработчик в Базовый Поиск

Мы приглашаем разработчиков в команду Базового Поиска. Это сердце Яндекса — поисковый движок, который составляет основу нашего поиска. Мы решаем сложные алгоритмические задачи, ищем способы быстро (за миллисекнуды) и эффективно по CPU/RAM/IO находить релевантные документы в базе размером в десятки петабайт.

В команде два основных направления.

Количество веб-страниц в открытой (доступной для индексации) поверхности интернета растет экспоненциально. И поисковая база тоже должна постоянно расти. Наша задача — оптимизировать поисковый алгоритм таким образом, чтобы рост базы можно было обеспечить без дополнительных затрат по CPU.

Формула релевантности постоянно усложняется и использует все более тяжелые фичи (например, нейросети-трансформеры на GPU). Наша задача — перебалансировать ресурсы в поисковом стеке, позволяя утяжелить и улучшить одни стадии поиска за счет облегчения и ускорения других.

Обе этих задачи нельзя решить, посмотрев на флеймграф и заменив одну хеш-таблицу другой (там найдется, допустим, 2% перформанса). Наша команда за четыре года дважды радикально перестраивала поисковый алгоритм, каждый достигая двукратного роста эффективности. У нас есть свежие идеи, как сделать еще лучше, и вы сможете поучаствовать в их реализации.

• разрабатывать рантайм движка Поиска Яндекса;
• разрабатывать распределенную систему построения поискового индекса на MapReduce:
• разрабатывать следующее поколение построителя индекса, которое обеспечивает потоковую обработку данных (а не батч, как в MapReduce);
• заниматься стабильностью, надежностью и скоростью работы рантайма.

• хорошо знаете С++ и STL (или аналогично на Java и C#, но разрабатывать предстоит на С++);
• хорошо знаете классические алгоритмы структуры данных;
• имеете опыт многопоточного программирования.

• имеете опыт в Machine Learning и Data Science;
• занимались системами распределенной обработки данных;
• работали над нагруженными runtime-компонентами.

• сильная команда, с которой можно расти;
• сложные задачи для сервисов с миллионами пользователей;
• возможность влиять на процесс и результат;
• зарплата на уровне рынка и выше;
• премии каждые полгода для всех, кто успешно прошел ревью;
• ипотечные программы;
• компенсация оплаты питания;
• расширенная программа ДМС, оплата 80% стоимости ДМС для супругов и детей;
• спортзал, тренажерный зал, йога в офисе;
• гибкий график работы;
• парковка;
• программа релокации для иногородних сотрудников.