Агрегация результатов

Если задания выданы с перекрытием больше 2, запустите агрегацию результатов. Толока обработает все ответы исполнителей на задание и выдаст итоговый ответ и степень его достоверности.

  1. Откройте пул.
  2. Нажмите рядом с кнопкой Скачать результаты.
  3. Выберите способ агрегации:

Агрегация займет от нескольких минут до нескольких часов. Следите за процессом на странице Операции. После завершения агрегации скачайте TSV-файл с результатами.

Агрегация результатов по методу Дэвида—Скина

Анализирует все ответы исполнителей и возвращает итоговый ответ и его статистическую значимость.
Примечание. Описание метода Дэвида—Скина на английском.

Агрегация возможна не для всех полей выходных данных:

Поля, которые можно агрегировать
  • Поля с допустимыми значениями.
    Как добавить допустимые значения
    1. Перейдите к редактирования проекта и пролистайте до блока Спецификации.
    2. Наведите курсор на поле выходных данных и нажмите кнопку .
    3. Добавьте допустимые значения.
      Пример
    4. Сохраните поле.
    5. Сохраните проект.
      Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.
  • Поля с набором значений в интерфейсе задания.
    Пример

    Поле result имеет тип строка.

    Интерфейс задания:

    {{field type="radio" name="result" value="OK" label="Хорошее" hotkey="1"}}
    {{field type="radio" name="result" value="BAD" label="Плохое" hotkey="2"}}
    {{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
Поля, которые нельзя агрегировать
  • Массив.
  • Файл.
  • Географические координаты.
  • Объект JSON.

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <название поля выходных данных> — значимость ответа в процентах.

Агрегация результатов по навыку

Агрегирует ответы на основе уровня доверия к исполнителю. Уровень доверия определяется значением навыка у исполнителя.

Используйте этот способ агрегации для:

Пула с динамическим перекрытием

Выберите поля и навык, установленные в динамическом перекрытии.

Пула без динамического перекрытия

Вы можете запустить агрегацию по мнению большинства, если:

  • У вас есть навык, который определяет уровень доверия к ответам исполнителя.
  • В проекте поля выходных данных, которые вы хотите агрегировать, имеют допустимые значения.
    Поля выходных данных, которые можно агрегировать
    • Строки и числа с допустимыми значениями.
    • Логический тип.
    • Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
    Как добавить допустимые значения
    1. Перейдите к редактирования проекта и пролистайте до блока Спецификации.
    2. Наведите курсор на поле выходных данных и нажмите кнопку .
    3. Добавьте допустимые значения.
      Пример
    4. Сохраните поле.
    5. Сохраните проект.
      Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <название поля выходных данных> — уверенность в агрегированном ответе.