---
metadata:
- name: generator
content: Diplodoc Platform v5.44.0
alternate:
- https://yandex.ru/support/tasks-requester/ru/guide/result-aggregation.md
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/support/tasks-requester/ru/llms.txt
# Агрегация результатов
Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:
Написать в чатНаписать в Telegram
Если [задания](*task) выданы с [перекрытием](*overlap) 2 и больше, запустите агрегацию результатов. Яндекс Задания обработают все ответы [исполнителей](*user) на задание и выдадут итоговый ответ и степень его достоверности.
{% note info %}
Если вы запускали [пул](*pool) с отложенной приемкой, убедитесь, что все ответы [приняты](https://yandex.ru/support/tasks-requester/ru/guide/accept.md).
{% endnote %}
{% list tabs %}
- В интерфейсе
1. Перейдите на страницу пула.
1. Нажмите рядом с кнопкой **Скачать результаты**.
1. Выберите способ агрегации:
- [Агрегация результатов по методу Дэвида — Скина](#dawid-skene)
- [Агрегация результатов по навыку](#aggr-by-skill)
Агрегация займет от нескольких минут до нескольких часов. Следите за процессом на странице [Операции](https://tasks.yandex.ru/requester/operations). После завершения агрегации скачайте файл с результатами.
Чтобы получать уведомления и письма о завершении агрегации результатов, настройте оповещения:
1. Войдите в аккаунт.
1. Перейдите в **Профиль → Уведомления → Выполнение пула или агрегации**.
1. Выберите способ оповещения:
- Почта — письма придут на вашу электронную почту.
- Сообщения — уведомления придут в **Сообщения** вашего аккаунта. Кроме вас их увидят те, у кого настроен [совместный доступ](https://yandex.ru/support/tasks-requester/ru/guide/multiple-access.md) к вашему аккаунту.
- Браузер — уведомления придут на устройства, с которых вы вошли в свой аккаунт.
- С помощью API
Для агрегации ответов на все завершенные задания с помощью API отправьте `POST`-запрос с параметрами агрегации:
```bash
curl -X POST 'https://tasks.yandex.ru/api/v1/aggregated-solutions/aggregate-by-pool' \
-H 'Authorization: ApiKey PlaceYourRealOAuthToken_Here' \
-H 'Content-Type: application/json' \
-d '{"pool_id":"1238218", "type":"WEIGHTED_DYNAMIC_OVERLAP", "answer_weight_skill_id":"91dbfd8f1bc3310fbbbd09f64b8ab6e5", "fields":[{"name":"result"}]}'
```
{% note tip "Справочник API Яндекс Заданий" %}
См. подробную информацию о запросе, параметрах и ответах в разделе [Агрегировать ответы в пуле](https://yandex.ru/dev/tasks-api/doc/ru/reference/aggregated-solutions/post-aggregate-by-pool/) документации API Яндекс Заданий. Там же есть примеры запросов на разных языках программирования.
{% endnote %}
{% endlist %}
## Агрегация результатов по методу Дэвида — Скина {#dawid-skene}
Метод агрегации Дэвида — Скина учитывает неоднородность исполнителей при агрегации ответов. [Статистическая значимость](https://en.wikipedia.org/wiki/Statistical_significance) итогового ответа определяется на основе анализа ответов всех исполнителей.
#### Принцип работы
Метод рассчитывает для каждого исполнителя `|L|²` параметров, где `L` — это множество всех уникальных значений для агрегации.
Параметры, которые использует метод, создаются автоматически для каждого пула и используются только в расчетах. В результатах агрегации вы не увидите эти параметры.
{% note info %}
Поскольку этот метод оценивает для каждого исполнителя `|L|²` параметров, мы не рекомендуем использовать агрегацию Дэвида — Скина в тех случаях, когда исполнитель размечает количество заданий `< |L|²`. Иначе вы можете получить низкое качество агрегации.
{% endnote %}
По итогам агрегации вы получите файл с ответами. Поле `CONFIDENCE: <название поля выходных данных>` — значимость ответа в процентах.
#### Преимущества
Данные для агрегации можно загружать любым способом.
#### Особенности
Метод Дэвида — Скина — это нетривиальный алгоритм агрегации. Ознакомьтесь с особенностями и узнайте [подробнее о модели](https://www.jstor.org/stable/2346806).
- Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.
{% cut "Пример" %}
В задании на классификацию изображений все три исполнителя выбрали первый вариант ответа. В другом аналогичном задании эти же три человека выбрали первый вариант, а четвертый исполнитель выбрал второй вариант. Если в следующем задании ответ четвертого исполнителя окажется единственным, то метод Дэвида — Скина может признать такой ответ ошибочным и выдать другой результат.
{% endcut %}
- Агрегация Дэвида — Скина работает с [контрольными](*control_task) и [обучающими](*training_task) заданиями так же как и с основными. Существует вероятность того, что в файле с ответами поле `OUTPUT:result` для контрольного задания не совпадет с реальным ответом на это задание (поле `GOLDEN:result`).
- Если в вашем проекте есть выходные данные с отметкой `"required": false` и исполнители не заполнят это поле данных, то данное поле не будет участвовать в агрегации.
Например, у вас есть 1000 заданий: в 999 из них исполнители не разметили поле `label`, а один разметил его как `label=x`. В результате агрегации это поле данных будет иметь `CONFIDENCE = 100%`, так как только одно задание из тысячи попало под условия агрегации.
{% cut "Как вычисляется" %}
Метод Дэвида — Скина подбирает для каждого исполнителя его [матрицу ошибок](https://en.wikipedia.org/wiki/Confusion_matrix), и популярность в ответах. Это происходит с помощью EM-алгоритма.
Принцип работы EM-алгоритма заключается в том, что собираются наиболее точные агрегированные ответы для каждого задания, фиксируя матрицы ошибок и популярность ответов. Среди всех ответов алгоритм пытается найти наилучшие популярности и матрицы ошибок. Процесс происходит в несколько шагов. В качестве начальной уверенности в правильном ответе используется мнение большинства.
[Описание метода Дэвида — Скина](https://www.jstor.org/stable/2346806) на английском.
{% endcut %}
{% note info %}
В агрегации учитываются только принятые задания.
{% endnote %}
#### Требования
Основным требованием для этой агрегации являются поля выходных данных:
{% list tabs %}
- Поля, которые можно агрегировать
- Строки и числа с допустимыми значениями.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
- Логический тип.
- Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Если в выходном поле слишком много возможных вариантов ответа, механизм динамического перекрытия не сможет агрегировать данные.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
- Поля, которые нельзя агрегировать
- Массив.
- Файл.
- Географические координаты.
- Объект JSON.
{% endlist %}
#### Как проверить
Если у вас есть сомнения в том, что агрегация методом Дэвида — Скина работает корректно, вы можете:
- отправить задания на повторную разметку и сравнить полученные результаты;
- проверить задание вручную.
## Агрегация результатов по навыку {#aggr-by-skill}
Анализирует ответы на основе уровня доверия к исполнителю. Уровень доверия определяется [навыком](*skill), который вы выберете. Навык — оценка вероятности того, что исполнитель сделал задание правильно.
#### Преимущества
- Если в вашем проекте обрабатывается большое количество данных, результаты агрегации будут точнее, по сравнению с методом Дэвида — Скина.
- Вы сами выбираете поля выходных данных, которые нужно агрегировать.
#### Особенности
Навык исполнителя имеет «вес». Чем выше навык, тем больше мы доверяем конкретному исполнителю и считаем, что его ответ правильный.
По итогам агрегации вы получите файл с ответами. Поле `CONFIDENCE: <название поля выходных данных>` — уверенность в агрегированном ответе. В нашем случае это вероятность того, что названный ответ правильный.
{% cut "Пример" %}
Задания размечали три исполнителя с разным значением навыка «Мой навык»: у первого исполнителя навык — 70, у второго — 80, у третьего — 90.
На первое задание все исполнители ответили **OK**. В этом случае мы уверены на 100%, что **ОК** — это правильный ответ.
На второе задание первый и третий исполнители ответили **OK**, а второй — **BAD**. В этом случае мы сравним навыки исполнителей и на основе этого посчитаем уверенность в ответе.
{% endcut %}
{% cut "Как вычисляется" %}
Термины:
- $q[i]$ — точность исполнителя;
- $K$ — константа для сглаживания;
- $z[j]$ — наиболее популярный ответ;
- $z[x]$ — вероятность того, что оценка правильная.
Точность исполнителя $q[i]$ считаем по формуле:
$q[i] = \frac{K+correct.golden.sets[i]}{2×K+total.golden.sets[i]}$,
где:
$K$ — константа для сглаживания (начиная от 0,5) при недостаточном количестве ответов на контрольные задания.
При наличии нескольких оценок для задания высчитывается наиболее популярный ответ — для каждого варианта ответа суммируем $q[i]$ исполнителей, выбравших его. Ответ с большей суммой считаем более правильным. Назовем эту оценку $z[j]$.
[По теореме Байеса](https://en.wikipedia.org/wiki/Bayes%27_theorem) считаем апостериорную вероятность того, что оценка $z[j]$ правильная.
В качестве априорного распределения оценок будет считать равномерное. Для оценки $z[x]$ априорная вероятность:
$P(z[x]) = \frac{1}{Y}$,
где:
$Y$ — количество вариантов ответов.
Далее считаем вероятность того, что оценка $z[j]$ правильная.
Если исполнитель ответил $z[j]$, то вероятность этого равна точности исполнителя $q[i]$ . Если ответил иначе, то вероятность этого равна:
$\frac{1-q[i]}{Y-1}$,
где:
$(1 - q[i])$ — оставшаяся вероятность;
$(Y - 1)$ — количество оставшихся ответов.
Таким образом рассчитывается то, что вероятности ошибок равномерно распределены по оставшимся оценкам.
Взяв все ответы исполнителей и, например, вариант $z[x]$ , мы считаем вероятность того, что исполнители ответят таким образом, при условии, что правильным ответом был $z[x]$:
```javascript
func z_prob(x int) : float {
d = 1.0
for w[i]: workers
if answers[w[i]] == z[x]
d *= q[i]
else
d *= (1 - q[i]) / (Y - 1)
return d
}
```
Далее по теореме Байеса считаем вероятность того, что ответ $z[j]$ правильный:
```javascript
r = 0
for z[i]: answer_options
r += z_prob(i) * (1 / Y)
eps = z_prob(j) * (1 / Y) / r
```
{% endcut %}
{% note info %}
В агрегации учитываются только принятые задания.
{% endnote %}
#### Требования
{% list tabs %}
- Пул с динамическим перекрытием
Чтобы запустить агрегацию необходимо корректно настроить [динамическое перекрытие](*dynamic_overlap). Для этого:
1. Выберите навык. Советуем выбирать навык, рассчитываемый как доля [правильных ответов на контрольные задания](https://yandex.ru/support/tasks-requester/ru/guide/goldenset.md). Тогда результаты агрегации будут наиболее точными.
1. Выберите поля выходных данных.
{% cut "Поля выходных данных, которые можно агрегировать" %}
- Строки и числа с допустимыми значениями.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
- Логический тип.
- Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Если в выходном поле слишком много возможных вариантов ответа, механизм динамического перекрытия не сможет агрегировать данные.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
{% endcut %}
- Пул без динамического перекрытия
Вы сможете запустить агрегацию по навыку, если пул соответствует следующим требованиям:
1. У вас есть навык, который определяет уровень доверия к ответам исполнителя. Лучше всего использовать навык, рассчитываемый как доля [правильных ответов на контрольные задания](https://yandex.ru/support/tasks-requester/ru/guide/goldenset.md).
1. В проекте [поля выходных данных](https://yandex.ru/support/tasks-requester/ru/guide/incoming.md), имеют допустимые значения.
{% cut "Поля выходных данных, которые можно агрегировать" %}
- Строки и числа с допустимыми значениями.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
- Логический тип.
- Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Если в выходном поле слишком много возможных вариантов ответа, механизм динамического перекрытия не сможет агрегировать данные.
Допустимое значение должно совпадать с параметром `value` в нужном элементе интерфейса.
{% endcut %}
1. Задания в пул были загружены при помощи [«умного смешивания»](https://yandex.ru/support/tasks-requester/ru/guide/distribute-tasks-by-pages.md#smart-mixing).
{% endlist %}
## Решение проблем {#troubleshooting}
{% cut "Чем отличается уверенность в агрегированном ответе в агрегации по Дэвиду - Скину от уверенности в агрегации по навыку?" %}
В способе вычисления. В обоих агрегациях уверенность означает то же самое.
{% endcut %}
{% cut "Как работает агрегация результатов по методу Дэвида — Скина?" %}
Модель агрегации Dawid-Skene анализирует ответы исполнителей и создает матрицу ошибок каждого исполнителя. Так вычисляется статистическая значимость исполнителя для каждого ответа. [Подробнее о модели](https://www.jstor.org/stable/2346806).
{% endcut %}
{% cut "Почему агрегация по методу Дэвида — Скина выдает ответ, который исполнители не выбирали?" %}
Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.
{% endcut %}
{% cut "Где можно увидеть ход агрегации?" %}
На странице пула есть кнопка **К списку операций**.
{% endcut %}
{% cut "Почему может быть недоступна агрегация по навыку исполнителя?" %}
Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.
{% endcut %}
{% cut "Агрегация по навыку недоступна. При запуске по API, код ошибки — `ONLY_FOR_POOL_WITH_MIXER`. Почему?" %}
Необходимо использовать [«умное смешивание»](https://yandex.ru/support/tasks-requester/ru/guide/distribute-tasks-by-pages.md#smart-mixing).
{% endcut %}
[Написать в службу поддержки](https://yandex.ru/support/tasks-requester/ru/guide/troubleshooting/support.md){.support_btn}
[*overlap]:
Количество исполнителей, которые должны выполнить каждое задание [пула](https://yandex.ru/support/tasks-requester/ru/glossary.md#pool). Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
[*pool]:
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за [страницу заданий](https://yandex.ru/support/tasks-requester/ru/glossary.md#task-suite)) и отправляются на выполнение единовременно.
[*control_task]:
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
[*training_task]:
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
[*task]:
Вопрос или задача, которое требует ответа от исполнителя в [Яндекс Заданиях](https://tasks.yandex.ru/).
[Подробнее](https://yandex.ru/support/tasks-requester/ru/glossary.md#task)
[*user]:
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).
[*skill]:
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на [контрольные задания](https://yandex.ru/support/tasks-requester/ru/glossary.md#control-task), а также назначаться вручную. Навыки используются для отбора исполнителей в [пуле](https://yandex.ru/support/tasks-requester/ru/glossary.md#pool). [Подробнее](https://yandex.ru/support/tasks-requester/ru/guide/nav.md)
[*dynamic_overlap]:
[Перекрытие](https://yandex.ru/support/tasks-requester/ru/glossary.md#overlap), которое позволяет изменять количество исполнителей, которые должны выполнить каждое задание [пула](https://yandex.ru/support/tasks-requester/ru/glossary.md#pool) в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы. Значение динамического перекрытия увеличивается при уменьшении уверенности в результатах и наоборот.