Клуб Я.Субботника

Несколько интересных фактов об экспертной оценке

17 февраля 2012, 14:08
фото автора
Ольга Мегорская. Санкт-Петербург, 3 декабря 2011 года
Окончила Санкт-Петербургский государственный университет в 2009 году. C 2009 работает в Службе оценки качества поиска. Занималась подбором, обучением и курированием работы асессоров в Петербурге; принимала участие в разработке новых видов оценок и метрик качества поиска. С начала 2011 года отвечает за развитие всей асессорской сети Яндекса.

О докладе
Несколько интересных фактов об экспертной оценке.

Служба асессоров Яндекса – это развитая система сбора экспертных оценок. За время работы над ней мы узнали много интересного не только о качестве поиска Яндекса, но и о самих асессорах. В этот раз мы бы хотели поделиться с вами нашими наблюдениями. Мы расскажем о том, чем отличаются оценки оптимистов и пессимистов и чем вторые лучше первых; о том, что при попарном сравнении находятся «любители левого» и «любители правого»; о том, как можно автоматически выявить недобросовестного асессора, и еще о некоторых интересных фактах из области экспертной оценки.





презентация, pdf видео, 1.18 Гб
3 комментария
Подписаться на комментарии к посту

а как можно стать вашим асессором на платформе Mechanical Turk?

по каким словам искать ваши HIT'ы? "Relevant"?

добрый день.

сейчас у нас нет актуальных экспериментов в механикал турке.

но периодически мы проводим наборы асессоров здесь, в России - если Вам это интересно, следите за вакансией :)

Спасибоу ;)