Клуб Я.Субботника

сентябрь 2014
Традиционные проводы лета с Я.Субботником в Минске
4 сентября 2014, 16:59
фото автора

Доброго дня!

Проводить последние выходные лета на Я.Субботнике в Минске, кажется уже стало традицией и прошлая суббота 30 августа не была исключением. Около 200 разработчиков собралось в зале для того, чтобы послушать доклады от сотрудников Яндекса, пообщаться на профессиональные темы, обменяться опытом и просто встретиться с коллегами. И еще около 120 человек было с нами онлайн.  

Программа Я.Субботника полностью была посвящена бэкенду — разработчики Яндекса из Минска, Москвы, Санкт-Петербурга и Новосибирска рассказали:

  • зачем API нужен бэкенд, почему писать его придётся бэкенд-разработчикам и как API Карт помогает этой задаче с фронтенда;
  • об Apache Spark — более быстром, универсальном и user friendly аналоге Hadoop как инструменте для batch-обработки больших данных;
  • зачем нужно нагрузочное тестирование, на какие вопросы оно даст ответ, как снизить затраты временных и человеческих ресурсов на нагрузочное тестирование;
  • как эволюционировал наш модуль операций над письмами, как мы сделали его асинхронным, на какие грабли мы наступили с Zookeeper’ом и какие выводы сделали;
  • про использование Go в продакшене Яндекс.Браузера — почему мы выбрали этот язык и с какими проблемами столкнулись;
  • об устройстве современного браузера, его компонентах и взаимодействии их между собой;
  • что такое Cocaine, какие именно инфраструктурные проблемы он решает и какие возможности предоставляет;
  • об архитектуре бесконечно расширяемого хранилища для пользовательского контента сервисов Яндекса.
фото автора

Все, кто смотрел Я.Субботник в трансляции могли задавать вопросы докладчикам в твиттере по хештегу #yasubbotnik, а также делиться своими впечатлениями о докладах и конференции или цитировать перлы докладчиков Всего за день было написано около 110 твитов, приведем несколько особенно нам приятных:

  • @Dexif: #yasubbotnik очень добрый доклад про Go спасибо интересно 
  • @Dexif: На #yasubbotnik отличная реклама #cocaine... Хочется попробовать.
  • @artdaw: #yasubbotnik был хорош, особенно Го, кокаин и эллиптикс
  • @Veterrr: Спасибо за #yasubbotnik было вкусно! и полезно.
  • @dskut: — Почему Go а не Node.js? — Просто бэкендеры не очень любят фронтендеров (c) #yasubbotnik
Вы также можете прочитать о том, как прошел Я.Субботник в отчете dev.by.

Фотографии с мероприятия можно посмотреть в альбомах на Яндекс.Фотках, Facebook и VKontakte.

Видео докладов будет опубликовано в течение двух недель в нашем клубе и на сайте tech.yandex.ru.

Как всегда, вы можете поделиться с нами своим мнением, рассказать, что было хорошо, а чего не хватило, заполнив анкету.

Спасибо, что провели этот день с нами в зале или на трансляции и до новых встреч!

Нет комментариев
минск,какэтобыло,30.08.2014,2014
Что API Карт забыл на сервере
9 сентября 2014, 17:44
фото автора

Минск, 30 августа 2014

Антон Корзунов

Разработчик интерфейсов API Яндекс.Карт.

Раньше работал над проектами Wikimapia.org, GdeEtotDom.ru и eSosedi.ru.

О докладе

Принято считать, что API Карт — это JavaScript-библиотека, которая работает в браузере. Это утверждение верно ровно в той степени, в какой сферичен конь в вакууме.

Из доклада вы узнаете, зачем API нужен бэкенд, почему писать его придётся вам и как API Карт будет помогать этой задаче с фронтенда.

P.S. Будет интересно разным слоям населения.


скачать презентациювидео

Нет комментариев
минск,доклад,антон корзунов,30.08.2014,2014
Apache Spark
9 сентября 2014, 18:14
фото автора

Минск, 30 августа 2014

Егор Пахомов

Программирует на Java и Scala. В течение полутора лет участвовал в разработке поиска на базе Apache Solr для крупного американского e-commerce. Последний год разрабатывал платформу Острова на стеке Scala и Hadoop. В рамках Tolstoy Summer Camp разработал сервис по рекомендации подарков на основе страницы человека в социальной сети.

О докладе

Мы поговорим об Apache Spark — более быстром, универсальном и user friendly аналоге Hadoop как инструменте для batch-обработки больших данных. Рассмотрим архитектуру Spark и его главного строительного блока — RDD. Сравним код в MapReduce и RDD моделях. Обсудим развитие других Apache top-level проектов и плавный отход индустрии от MapReduce модели к Spark.


скачать презентациювидео

Нет комментариев
2014,минск,доклад,30.08.2014,егор пахомов
Организация нагрузочного тестирования
9 сентября 2014, 18:20
фото автора

Минск, 30 августа 2014

Алексей Лавренюк

В Яндексе с 2011 года. Занимается нагрузочным тестированием в отделе рекламных технологий. Один из участников open source проекта Яндекс.Танк.

О докладе

Алексей Лавренюк расскажет об организации процесса нагрузочного тестирования: зачем нужно нагрузочное тестирование, на какие вопросы оно даст ответ, как снизить затраты временных и человеческих ресурсов на нагрузочное тестирование. Еще он коснется возможностей open-source инструмента Яндекс.Танк и его места в процессе нагрузочного тестирования.


скачать презентациювидео

Нет комментариев
минск,доклад,алексей лавренюк,30.08.2014,2014
Массовые операции над письмами в Яндекс.Почте
9 сентября 2014, 18:23
фото автора

Минск, 30 августа 2014

Денис Кутуков

В 2011 году закончил факультет информатики МГТУ им. Баумана. Тогда же пришёл в Яндекс, в команду проекта Новости. Занимался алгоритмами кластеризации и data mining, а также инфраструктурой сервиса. В 2013 году перешёл в отдел разработки Почты. Сейчас работает над бэкендом сервиса, с прицелом на его производительность и отказоустойчивость.

О докладе

Операции над письмами (пометка спамовым, удаление или перемещение) — неотъемлемая часть почтового сервиса, которая создает заметную нагрузку на бэкенд и может сильно увеличить время отклика системы. В докладе я расскажу, как эволюционировал наш модуль операций над письмами, как мы сделали его асинхронным, на какие грабли мы наступили с Zookeeper’ом и какие выводы сделали.


скачать презентациювидео

Нет комментариев
минск,доклад,30.08.2014,денис кутуков,2014
Go в продакшене Яндекса: отчёт после года использования
9 сентября 2014, 18:33
фото автора

Минск, 30 августа 2014

Вячеслав Бахмутов

Пришёл в Яндекс, чтобы писать сервисы на Python и C++, а в итоге подговорил всех перейти на Go. Теперь бекенд Яндекс.Браузера написан на Go больше чем наполовину.

О докладе

Я расскажу о том, как мы используем Go в продакшене Яндекс.Браузера, почему мы выбрали этот язык и с какими проблемами столкнулись.


скачать презентациювидео

Нет комментариев
2014,минск,доклад,30.08.2014,вячеслав бахмутов
Архитектура современного браузера
9 сентября 2014, 18:36
фото автора

Минск, 30 августа 2014

Владислав Малаховский

Закончил факультет компьютерных систем и сетей Белорусского государственного университета информатики и радиоэлектроники в 2003 году. С 2001 года занимался разработкой распределенных OLAP систем для анализа статистики. В Яндексе с 2013 года, разрабатывает браузер. Область интересов: разработка сетевых высоконагруженных программных комплексов, обработка данных, Rich Internet Applications.

О докладе

В докладе я расскажу об устройстве современного браузера, его компонентах и взаимодействии их между собой.


скачать презентациювидео

Нет комментариев
2014,минск,доклад,30.08.2014,владислав малаховский
Cocaine: погружение в облака
9 сентября 2014, 18:53
фото автора

Минск, 30 августа 2014

Евгений Сафронов

Выпускник МГТУ им. Н.Э. Баумана, разработчик облачной платформы Cocaine в Яндексе. В настоящее время занимается разработкой ядра платформы, а также разработкой и поддержкой общих компонентов облачной инфраструктуры.

О докладе

Всё больше и больше разговоров в последнее время занимают облака и технологии, с ними связанные. Многие программисты мечтают о том, чтобы писать масштабируемые и отказоустойчивые приложения было легко и просто. Многим администраторам хочется работать не с разношёрстным зоопарком программ, а в унифицированной и легко управляемой инфраструктуре. Наконец, серверам (наверняка) хочется использовать свои ресурсы на полезные дела, а не на обогрев воздуха.

В Яндексе мы решаем все эти проблемы с помощью собственной opensource технологии под названием Cocaine, которую может использовать любой желающий.

Что такое Cocaine, какие именно инфраструктурные проблемы он решает, какие возможности предоставляет — обо всем этом и пойдёт речь в докладе.


скачать презентациювидео

Нет комментариев
2014,минск,доклад,30.08.2014,евгений сафронов
Архитектура бесконечного хранилища для пользовательского контента
9 сентября 2014, 18:57
фото автора

Минск, 30 августа 2014

Артём Соколов

Закончил МАТИ — РГТУ им. К.Э. Циолковского. В Яндексе работает с 2013 года. Занимается разработкой общего хранилища для пользовательского контента сервисов Яндекса.

О докладе

В условиях постоянного роста объёма данных нам нужно расширять хранилище на всё большее количество машин и дата-центров. А чем больше у нас железа, тем чаще что-нибудь ломается, и это приводит к всё более неожиданным проблемам.

Я расскажу об архитектуре бесконечно расширяемого хранилища для пользовательского контента сервисов Яндекса. Вы узнаете, почему мы отказались от DHT, как используем Elliptics и что такое Mastermind.


скачать презентациювидео

Нет комментариев
артём соколов,минск,доклад,30.08.2014,2014
Видео докладов Я.Субботника по бэкенду в Минске
9 сентября 2014, 20:38
фото автора

30 августа в Минске прошел Я.Субботник по бэкенду и сегодня мы опубликовали видеозаписи докладов. Устраивайтесь поудобнее, смотрите доклады от разработчиков Яндекса и рассказывайте знакомым, которым близка бэкенд-разработка  Ссылки на все видео — в этом посте.

 

Нет комментариев
минск,доклад,программа,30.08.2014,2014
Я.Субботник по бэкенду, теперь в Екатеринбурге
15 сентября 2014, 12:27
фото автора

Мы снова приглашаем бекенд-разработчиков провести субботу с пользой — 20 сентября в Екатеринбурге пройдет Я.Субботник по бэкенду. 

В программе доклады сотрудников Яндекса про использование распределённой очереди задач для обработки данных в бекенде спортивных проектов Яндекса, архитектуру Яндекс.Маркета и Яндекс.Store, автоматизацию нагрузочного тестирования и не только! Подробную программу можно посмотреть на сайте.  

Как и всегда, для тех, кто не сможет приехать, мы организуем онлайн-трансляцию и видеосъёмку докладов, а задавать вопросы докладчикам и делиться своими впечатлениями можно будет в твиттере по хэштегу #yasubbotnik. Трансляция на сайте доступна без регистрации. Однако живое общение ценнее, поэтому приезжайте и общайтесь с коллегами на профессиональные темы за чашкой кофе.

Участие в Я.Субботнике, как всегда, бесплатное, но зарегистрироваться необходимо.

До встречи на Я.Субботнике по бэкенду в Екатеринбурге!

Нет комментариев
екатеринбург,анонс,2014,20.09.2014
Бэкенд-выходные с Я.Субботником в Екатеринбурге
26 сентября 2014, 17:14

Привет!

На прошлых выходных, 20 сентября, в Екатеринбурге прошел Я.Субботник по бэкенду.

фото автора

Более 120 разработчиков из Екатеринбурга, Челябинска, Перми и Первоуральска собрались в зале, чтобы послушать доклады от сотрудников екатеринбургского и московского офисов Яндекса, пообщаться с коллегами в области за чашкой кофе и просто провести время с пользой. И еще около 70 человек присоединилось к нам в онлайн-трансляции.

Я.Субботник был узкотематическим и посвящен бэкенд-разработке.

Разработчики из разных сервисов и проектов Яндекса рассказали про:

    • использование распределённой очереди задач для обработки данных в бекенде спортивных проектов Яндекса;
фото автора
  • архитектуру Яндекс.Маркета вчера и сегодня;
  • архитектуру высоконагруженного сервиса на примере бэкенда Яндекс.Store;
  • асинхронность и многопоточность в Яндекс.Такси;
  • автоматизацию нагрузочного тестирования;
  • правильную организацию клиент-карточного взаимодействия;
  • отношения программистов с математикой.

Фотографиии с конференции можно найти в альбоме на Яндекс.Фотках, а видеозаписи докладов появятся на следующей неделе на странице Я.Субботника на tech.yandex.ru.

 

Спасибо, что были с нами!

Нет комментариев
екатеринбург,20.09.2014,какэтобыло,2014
Использование распределённой очереди задач для обработки данных в бекенде спортивных проектов Яндекса
30 сентября 2014, 20:16
фото автора

Екатеринбург, 20 сентября 2014 

Александр Южаков

Закончил Сургутский государственный педагогический университет в 2007 году. Самостоятельно разработал несколько информационных систем, а в 2013 году пришёл в Яндекс, где занялся разработкой бекенда спортивных проектов. Участвовал в создании проектов к Олимпиаде в Сочи, чемпионатам мира по хоккею и футболу 2014 года.

О докладе

Я расскажу о том, как можно использовать распределённую очередь задач на основе Celery, а также быстро и эффективно выполнять импорт данных из множества источников с последующим экспортом. Доклад будет интересен тем, кто пишет на языке Python или разрабатывает сервисы, основанные на агрегации данных.

скачать презентациювидео

2 комментария
екатеринбург,20.09.2014,доклад,александр южаков,2014
Архитектура Яндекс.Маркета вчера и сегодня
30 сентября 2014, 20:36
фото автора
фото автора

Екатеринбург, 20 сентября 2014 года

Роман Гершкович.

Работает в отделе эксплуатации инфраструктурных и финансовых сервисов Яндекса с 2011 года. С 2013 — руководитель группы администрирования Маркета. В компанию пришёл после КИТ — Курсов информационных технологий Яндекса.

Юрий Манушкин.

Работает в Яндексе с 2006 года. С 2013 руководит службой разработки выдачи и индексации Маркета.

О докладе

За годы существования Яндекс.Маркет вырос в несколько раз. Мы расскажем о четырёх основных подсистемах подготовки и выдачи данных сервиса — роботе, индексаторе, раскладчике и поиске. Вы узнаете, как изменились эти компоненты вместе с аппаратной частью с течением времени, как часто мы обновляем данные и как сегодня обеспечивается масштабируемость и отказоустойчивость Маркета.

скачать презентациювидео

Нет комментариев
2014,юрий манушкин,20.09.2014,екатеринбург,доклад,роман гершкович
Архитектура высоконагруженного сервиса на примере бэкенда Яндекс.Store
30 сентября 2014, 20:39
фото автора
фото автора

Екатеринбург, 20 сентября 2014 года

Андрей Урусов.

В 1997 году закончил факультет робототехники и комплексной автоматизации МГТУ им. Н.Э. Баумана. На родной кафедре читает курс лекций по имитационному моделированию, консультирует по курсовым и дипломным работам. В 2013 году пришёл в Яндекс разрабатывать бэкенд Яндекс.Store. Отвечает за протокол работы с мобильным клиентом, интеграцию с другими сервисами, особое внимание уделяет производительности.

Алексей Васильев.

Пришёл в Яндекс в 2011 году на должность стажёра-разработчика. В 2012 году закончил факультет кибернетики МИФИ. Сейчас отвечает за разработку бэкенда Яндекс.Store и некоторых других мобильных проектов. Увлекается фотографией и путешествиями.

О докладе

Яндекс.Store — это магазин приложений для устройств на платформе Android. Для безотказной работы ему необходим мощный бэкенд. Мы поговорим об архитектуре сервиса: об особенностях использования MongoDB в высоконагруженных проектах, а также о том, как мы проектировали протокол взаимодействия.

скачать презентациювидео

Нет комментариев
2014,20.09.2014,екатеринбург,доклад,алексей васильев,андрей урусов
Асинхронность и многопоточность в Яндекс.Такси
30 сентября 2014, 20:43
фото автора

Екатеринбург, 20 сентября 2014 

Дмитрий Курилов

Окончил радиотехнический факультет УрФУ в 2010 году. Работает в Яндексе с 2011, в настоящее время разрабатывает Такси.

О докладе

Интерактивный сервис должен управлять разнонаправленными потоками данных в реальном времени. При этом важно использовать ресурсы процессора максимально эффективно и минимизировать время доставки сообщения. Рассмотрим эти проблемы и способы их решения на примере разработки Яндекс.Такси.

скачать презентациювидео

Нет комментариев
екатеринбург,20.09.2014,доклад,дмитрий курилов,2014
Автоматизация нагрузочного тестирования
30 сентября 2014, 20:46
фото автора

Екатеринбург, 20 сентября 2014 

Григорий Липин

Закончил факультет электроники и системотехники МГУЛ. Занимается нагрузочным тестированием более семи лет. В Яндексе с 2010 года. В настоящий момент работает над улучшением производительности Яндекс.Карты.

О докладе

Как нагрузочное тестирование происходит в Яндексе и как можно его автоматизировать с помощью инструмента Яндекс.Танк.

скачать презентациювидео

Нет комментариев
екатеринбург,20.09.2014,доклад,григорий липин,2014
Правильная организация клиент-карточного взаимодействия
30 сентября 2014, 20:50
фото автора

Екатеринбург, 20 сентября 2014 

Антон Корзунов

Разработчик интерфейсов API Яндекс.Карт. Раньше работал над проектами Wikimapia.org, GdeEtotDom.ru и eSosedi.ru.

О докладе

Как говорил один человек, нет данных — нет проблемы. Но проблема в том, что в современном мире данные есть, и их много. Ещё в современном мире очень любят данные отображать, например, на карте — только это не всегда хорошо получается.

Из доклада вы узнаете о типичных ошибках передачи данных на карту и простых способах этих ошибок избежать.

скачать презентациювидео

Нет комментариев
екатеринбург,20.09.2014,доклад,антон корзунов,2014
Программист и математика: счастливы вместе?
30 сентября 2014, 20:54
фото автора

Екатеринбург, 20 сентября 2014 

Иван Бибилов

Закончил Радиотехнический факультет УГТУ-УПИ. С 2007 года работает в Яндексе. Занимается проектами, использующими Python и Django. Руководитель группы разработки справочных сервисов.

О докладе

Женаты? Всё сложно? В активном поиске? Какие отношения складываются у программистов с математикой? Как часто они пересекаются? Нужна ли программисту математика, чтобы быть счастливым и успешным на рынке труда? В докладе я отвечу на эти вопросы, поделюсь своим опытом и примерами из жизни реальных сервисов, разрабатываемых в Екатеринбурге.

скачать презентациювидео

Нет комментариев
екатеринбург,20.09.2014,доклад,иван бибилов,2014