Мнение большинства
Проверка мнением большинства (Majority vote) определяет, насколько ответы пользователя совпадают с ответами других пользователей. Например, если в задании с перекрытием «5» три пользователя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа.
Навык рассчитывается по формуле:
,
где:
— количество ответов пользователя, совпавших с большинством.
— количество заданий пользователя, где большинство ответило одинаково.
Проверка мнением большинства
Чтобы использовать проверку большинством:
-
Создайте навык на странице Навыки боевой версии Толоки.
-
Настройте блок контроля качества на странице пула (кнопка ).
Поле/ группа полей
Описание
Порог ответов
Количество совпавших ответов, которое считается «мнением большинства» (например, 3). Порог должен быть меньше или равен перекрытию.
Помнить значений
Количество последних ответов пользователя в рамках проекта, которое учитывается в расчете.
Если поле не заполнено, в расчете учитываются все ответы пользователя в пуле.
то
Действие, выполняемое при условии:
-
«Установить навык из поля» — сохранить долю правильных ответов пользователя в контрольных заданиях или заданиях с мнением большинства. Для сохранения доли (число от 1 до 100) используется навык — характеристика работы пользователя, которая имеет название и значение. Например, вы можете создать навык «Выполнение контрольных заданий в моем пуле» и сохранять в нем долю правильных ответов каждого пользователя. Затем можно настроить фильтр по навыку, чтобы регулировать доступ пользователей к пулу.
-
«Установить навык» — присвоить навыку фиксированное значение N (от 1 до 100).
-
«Приостановить» — приостановить доступ пользователя к пулу на указанное количество дней. Причина паузы отображается только заказчику.
-
«Заблокировать» — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.
-
-
Добавьте фильтр по навыку на странице пула (блок Требования к пользователям). Например: «Навык myskill отсутствует или ≥ 60».
Выборочная проверка мнением большинства
Вы можете настроить проверку мнением большинства только для некоторых заданиях. Это позволяет экономить средства и ускорить выполнение пула. Можно сокращать частоту проверок по мере выполнения заданий пользователем. Для этого установите интервалы в настройках пула.
Чтобы добавить выборочную проверку мнением большинства:
-
Загрузите задания в пул при помощи умного смешивания.
-
Перейдите в режим редактирования пула.
-
Под заголовком Количество заданий на странице нажмите кнопку
. -
Укажите, за какое количество дней учитывать ответы, перекрытие для заданий с выборочной проверкой большинства.
-
Установите интервалы выполненных заданий и количество проверочных заданий для каждого интервала.
.