Политика Общества с ограниченной ответственностью «ЯНДЕКС» в части обеспечения непредвзятости поиска Яндекса

Российская Федерация, город Москва

Дата размещения: 17 января 2022 г.

Дата вступления в силу: 17 января 2022 г.

Оглавление

1. Общие положения

1.1. Настоящая Политика (далее — «Политика») ООО «ЯНДЕКС» (далее — «Яндекс») закрепляет основные принципы работы Поиска Яндекса, основные внутренние процессы, влияющие на формирование результатов поисковой выдачи, условия проведения аудита системы ранжирования, а также порядок привлечения к оказанию услуги по проведению аудита соответствующей аудиторской организации.

2. Принципы работы поиска Яндекса

2.1. Цель Поиска – непредвзято предоставить пользователю полную и релевантную информацию в таком виде, в котором она поможет ему удобно и за минимальное время решить свою задачу.

2.2. Поисковая выдача полностью формируется машинно-обученными алгоритмами, что делает невозможным ручное изменение порядка представления результатов Поиска и гарантирует непредвзятое ранжирование и представление данных, при условии отсутствия в алгоритмах правил, влияющих на непредвзятое ранжирование.

2.3. Чтобы найти наиболее релевантные страницы, Поиск автоматически анализирует запрос, контент страниц и историю взаимодействия пользователей с ними, взаимосвязи между различными страницами, язык и местоположение, и многие другие факторы. Качество работы машинно-обучаемых алгоритмов ранжирования контролируется по автоматически рассчитываемым метрикам.

2.4. Для машинного обучения алгоритмов ранжирования используются автоматически собираемые данные о взаимодействии пользователей с результатами Поиска и оценки специалистов – асессоров, которые вручную размечают варианты поисковой выдачи. Оценки асессоров также используются для проверки качества сформированных алгоритмом результатов поиска с точки зрения релевантности запросам. Беспристрастность асессоров гарантируется системой контролей, охватывающей их наем, обучение, инструкцию и инструменты работы. Инструкция асессоров разъясняет, как оценивается релевантность документа запросу, и сформулирована таким образом, чтобы оценки были объективными. Для исключения влияния отдельных пристрастных оценок, оценки всегда производятся с перекрытием. Кроме того, оценки никогда не используются в ранжировании напрямую, а только для машинного обучения алгоритмов ранжирования.

2.5. Все изменения системы ранжирования проходят через внедрение алгоритмов ранжирования, исключая ручное вмешательство. Все изменения наблюдаемы, за каждое установлена персональная ответственность, они автоматически проверяются метриками, построенными на основе оценок асессоров и данных о взаимодействии пользователей с элементами поисковой выдачи.

2.6. С помощью Поиска Яндекса можно найти информацию, собранную из огромного количества доступных для индексации источников. Полнота индексирования информации является важнейшим приоритетом. Для каждого типа источников индексирование информации идет единообразно. Проиндексированный контент может быть удален из результатов поиска только, если страницы представляют из себя поисковый спам, могут нанести вред пользователю или нарушают применимое законодательство.

2.7. Поиск стремится экономить время пользователей, предоставляя информацию в том виде, в котором ей будет удобнее всего воспользоваться. С помощью анализа данных о взаимодействии пользователей с результатами Поиска проверяется полезность отдельных результатов и выдачи в целом. Формат и полнота представления информации определяются вероятностью решения задачи пользователя и типом представляемой информации и не зависят от конкретного источника информации.

3. Основные внутренние процессы Яндекса, влияющие на формирование поисковой выдачи

(1) Управление изменениями информационных систем;

(2) Предоставление доступа к информационным системам;

(3) Идентификация и аутентификация пользователей информационных систем;

(4) Оценка с помощью асессоров, включая корректность установки признаков витальности ссылок по определенным категориям запросов;

(5) Обход и индексирование web- страниц;

(6) Управление обучением и внедрением алгоритмов ранжирования;

(7) Выбор представления информации, в том числе данных партнеров;

(8) Применение мер защиты пользователей Яндекса (баны, спам и антифрод);

(9) Мониторинг показателей качества поиска, в том числе принципов измерения профицита;

(10) Мониторинг соблюдения Политики партнерской интеграции с Поисковой системой Яндекса и Условий партнерской интеграции;

(11) Учет и разбор жалоб партнеров на нерелевантные результаты и ранжирование и жалоб, связанных с осуществлением партнерской интеграции с Поиском Яндекса;

(12) Мониторинг использования данных Партнеров, полученных в рамках Партнерской интеграции с использованием Метрики, Yandex Pay, Яндекс. ID и иных Сервисов Яндекса на предмет использования Яндексом данных, передаваемых Партнерами только в целях Партнерской интеграции (обогащения поисковой выдачи) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4. Аудит системы ранжирования

4.1. Для оценки эффективности внутренних процессов Яндекса, направленных на обеспечение выдачи релевантных результатов, непредвзятого ранжирования и представления данных для любых сервисов в поисковой выдаче, а также соблюдение принципов Партнерской интеграции при рассмотрении жалоб, связанных с ее осуществлением, проводится регулярный внешний аудит.

4.2. Принципы аудита

4.2.1. Проводится первоначальный аудит (по истечении шести месяцев с даты публикации первой редакции Политики Партнерской интеграции с Поисковой системой Яндекса), и далее ежегодный и аудит эффективности контролей, указанных в п. 3 настоящей Политики.

4.2.2. В случае коллективного обращения нескольких Партнеров (2 партнера и более) не ранее, чем через 4 месяца после последнего аудита, может быть проведен внеплановый аудит эффективности контролей при наличии мотивированного обоснования для его проведения в части существенного отклонения деятельности Яндекса от требований Политики партнерской интеграции и Условий партнерской интеграции. В случае, если указанные Партнерами обстоятельства не будут подтверждены таким аудитом, все, связанные с проведением внепланового аудита расходы подлежат возмещению Партнерами, инициировавшими проведение аудита. При этом Партнеры, по инициативе которых будет проведен внеплановый аудит, обязуются предварительно перечислить на расчетный счет Яндекса сумму, равную стоимости услуг по такому аудиту. Указанная сумма подлежит возврату Яндексом Партнерам только в случае, если указанные Партнерами обстоятельства будут подтверждены таким аудитом.

Партнер вправе предложить для проведения внепланового аудита кандидатуру иного аудитора, соответствующего требованиям, указанным в п. 4.6.1 настоящей Политики при отсутствии конфликта интересов соответствующего аудитора.

4.2.3. Яндекс предоставляет аудитору всю запрошенную информацию, необходимую для проведения аудита в соответствии с настоящей Политикой.

4.3. Задачи первоначального аудита

(1) Изучение процессов и алгоритмов формирования поисковой выдачи, включая: проведение интервью, анализ документации и функциональности, организацию демонстрационных сессий;

(2) Идентификация и оценка рисков процесса, связанных с искажением результатов поиска в сторону искажения единообразных правил ранжирования (исключения из результатов или снижения позиции в поисковой выдаче);

(3) Идентификация и оценка наличия/эффективности ключевых контролей, обеспечивающих единый подход на всех этапах: от сбора данных с сайтов и индексирования до ранжирования и формирования выдачи;

(4) Идентификация и оценка эффективности общих ИТ-контролей в связанных информационных системах, включая: управление изменениями и разработкой, управление доступом, резервное копирование, управление событиями информационной безопасности;

(5) Идентификация и оценка рисков процесса, связанных с соблюдением принципов партнерской интеграции при рассмотрении жалоб, касающихся партнерской интеграции с Поиском Яндекса.

(6) Тестирование эффективности контролей процессов, связанных с соблюдением требований Политики партнерской интеграции и Условий доступа к партнерской интеграции, в том числе (но не ограничиваясь указанным) на предмет использования Яндексом данных, передаваемых Партнерами только в целях Партнерской интеграции (обогащения поисковой выдачи) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4.4. Задачи ежегодного аудита

(1) Тестирование эффективности ранее идентифицированных контролей;

(2) Идентификация и оценка возможных новых, не охваченных действующими контролями, рисков процесса, связанных с искажением результатов поиска.

(3) Заключение о соблюдении принципов Партнерской интеграции при рассмотрении отдельных обоснованных жалоб, касающихся партнерской интеграции с Поиском Яндекса, которые были переданы аудитору для оценки в рамках ежегодного аудита.

При этом Партнер вправе направить через форму обратной связи по адресу: partner-features@yandex-team.ru требование включить его обоснованную жалобу по итогам ее рассмотрения в перечень обязательных для проверки аудитором. Яндекс сообщает Партнеру уникальный номер его жалобы, информация о котором будет отражена в кратком и подробном ежегодном отчете аудитора.

(4) Тестирование эффективности контролей, направленных на соблюдения процессов, связанных с соблюдением требований Политики партнерской интеграции и Условий доступа к партнерской интеграции, в том числе (но не ограничиваясь указанным) на предмет использования Яндексом данных, передаваемых Партнерами, только в целях Партнерской интеграции (обогащения поисковой выдачи) либо в иных согласованных сторонами целях, предусмотренных условиями использования соответствующих сервисов.

4.5. Подход к публикации результатов аудита

(1) Яндекс формирует две версии отчетов о результатах первоначального и ежегодных аудитов: подробный отчет и краткий отчет.

(2) Подробный отчет является максимально подробным изложением доступных Яндексу результатов работы аудитора таких как описание матрицы контролей и методов и результатов их тестирования, при этом подробный отчет не содержит описание конкретных алгоритмов, формул, метрик ранжирования и их содержание.

(3) Краткий отчет является сокращенной версией подробного отчета, содержащей все основные выводы аудитора, однако не включает сведения, составляющие коммерческую тайну Яндекса, персональные данные сотрудников Яндекса и другую конфиденциальную информацию.

(4) Подробные отчеты Яндекс передает ФАС.

(5) Краткие отчеты Яндекс публикует на своем сайте.

4.6. Выбор и оплата услуг аудитора

4.6.1. Яндекс выбирает аудитора из числа следующих аудиторских и консалтинговых компаний: Deloitte, KPMG, E&Y, PwC, AT Kearny, Detecon, Accenture, McKinsey, Boston Consulting Group, Bain & Company. Яндекс оплачивает услуги аудитора, за исключением случаев, указанных в п. 4.2.2.

5. Заключительные положения

5.1. Контроль за соблюдением требований Политики осуществляют ответственные сотрудники Яндекса в рамках своих полномочий. Ответственные сотрудники отвечают за актуальность положений Политики и при необходимости инициируют внесение изменений в Политику.

5.2. Нарушение настоящей Политики может являться основанием для применения мер дисциплинарной ответственности в соответствии с локальными нормативными актами и трудовыми договорами соответствующих работников.

Отчет аудитора от 22.02.2024.

В целях реализации положений «Политики Общества с ограниченной ответственностью «ЯНДЕКС» в части обеспечения непредвзятости поиска Яндекса» от 17 января 2022 года, Компания Яндекс провела идентификацию и оценку рисков по ключевым процессам и процедурам контроля в части функционирования поисковой системы Яндекс и реализации Партнерских интеграций (обогащений поисковой выдачи). Компания Яндекс определила цели внутреннего контроля, разработала и внедрила процедуры контроля для обеспечения соблюдения вышеуказанной Политики.

Для оценки эффективности внутренних процессов, направленных на обеспечение выдачи релевантных результатов, непредвзятого ранжирования и представления данных для любых сервисов в поисковой выдаче, а также соблюдения принципов Партнерской интеграции при рассмотрении жалоб, связанных с ее осуществлением, Компания Яндекс регулярно организует проведение внешнего аудита.

Компания Яндекс подготовила Заявление руководства о соответствии в части процедур контроля, в котором руководство подтверждает достоверность описания процедур контроля и наличие надлежащих процедур контроля, разработанных таким образом, что цели внутреннего контроля, направленные на соблюдение требований Политики, будут достигнуты при условии удовлетворительного выполнения процедур контроля.

Компания Яндекс привлекла аудиторскую компанию (далее – «независимый практикующий специалист») с целью выражения мнения, является ли Заявление руководства о соответствии достоверным во всех существенных аспектах по состоянию на 30 сентября 2023 года.

Независимым практикующим специалистом были проведены процедуры по заданию, обеспечивающему уверенность в соответствии с Международным стандартом заданий, обеспечивающих уверенность (МСЗОУ) 3000 (пересмотренный) «Задания, обеспечивающие уверенность, отличные от аудита и обзорной проверки финансовой информации прошедших периодов». Процедуры были выполнены независимым практикующим специалистом исходя из его профессионального мнения и включали, помимо прочего, проведение интервью, анализ функциональности, тестирование контролей, участие в демонстрационных сессиях, анализ документации и прочие процедуры.

По результатам выполненных процедур независимый практикующий специалист сформировал мнение о том, что Заявление руководства о соответствии достоверно во всех существенных отношениях.

Отчет аудитора от 02.11.2022.

В целях реализации положений «Политики Общества с ограниченной ответственностью «ЯНДЕКС» в части обеспечения непредвзятости поиска Яндекса» от 17 января 2022 года, Компания Яндекс провела идентификацию и оценку рисков по ключевым процессам и процедурам контроля в части функционирования поисковой системы Яндекс и реализации Партнерских интеграций (обогащений поисковой выдачи). Компания Яндекс определила цели внутреннего контроля, разработала и внедрила процедуры контроля для обеспечения соблюдения вышеуказанной Политики.

Для оценки эффективности внутренних процессов, направленных на обеспечение выдачи релевантных результатов, непредвзятого ранжирования и представления данных для любых сервисов в поисковой выдаче, а также соблюдения принципов Партнерской интеграции при рассмотрении жалоб, связанных с ее осуществлением, Компания Яндекс регулярно организует проведение внешнего аудита.

Компания Яндекс подготовила Заявление руководства о соответствии в части процедур контроля, в котором руководство подтверждает достоверность описания процедур контроля и наличие надлежащих процедур контроля, разработанных таким образом, что цели внутреннего контроля, направленные на соблюдение требований Политики, будут достигнуты при условии удовлетворительного выполнения процедур контроля.

Компания Яндекс привлекла аудиторскую компанию (далее – «независимый практикующий специалист») с целью выражения мнения, является ли Заявление руководства о соответствии достоверным во всех существенных аспектах по состоянию на 30 сентября 2022 года.

Независимым практикующим специалистом были проведены процедуры по заданию, обеспечивающему уверенность в соответствии с Международным стандартом заданий, обеспечивающих уверенность (МСЗОУ) 3000 (пересмотренный) «Задания, обеспечивающие уверенность, отличные от аудита и обзорной проверки финансовой информации прошедших периодов». Процедуры были выполнены независимым практикующим специалистом исходя из его профессионального мнения и включали, помимо прочего, проведение интервью, анализ функциональности, тестирование контролей, участие в демонстрационных сессиях, анализ документации и прочие процедуры.

По результатам выполненных процедур независимый практикующий специалист сформировал мнение о том, что Заявление руководства о соответствии достоверно во всех существенных отношениях.