Агрегация ответов

Агрегируйте принятые ответы для заданий с перекрытием в пуле 2 и больше, чтобы получить итоговый ответ со степенью его достоверности.

Вы можете агрегировать ответы двумя способами:

• да — агрегируйте по навыку (WEIGHTED_DYNAMIC_OVERLAP);

• нет — агрегируйте методом Дэвида — Скина (DAWID_SKENE).

  Агрегация Дэвида — Скина работает с контрольными и обучающими заданиями так же, как и с основными. Существует вероятность того, что заданные для контрольных заданий ответы не совпадут с реальными ответами на это задание, если исполнители будут часто давать на него неверный ответ.

  Агрегация Дэвида — Скина автоматически оценивает для каждого исполнителя $|L|²$ параметров, где $L$ — множество возможных различных значений для агрегации. Обратите внимание, что эти параметры создаются автоматически и участвуют только в расчетах.

  Поскольку этот метод оценивает для каждого исполнителя $|L|²$ параметров, мы не рекомендуем использовать агрегацию Дэвида — Скина в тех случаях, когда исполнитель размечает количество заданий $< |L|²$. В противном случае вы можете получить низкое качество агрегации.

  Агрегация через интерфейс и через API работает по-разному. При агрегации Дэвида — Скина через API нельзя агрегировать больше одного поля. Это можно сделать только через интерфейс.

Методы

Узнайте больше

• Описание агрерации результатов