Блог рекламных технологий

Технологии изнутри: ¡No pasarán! — фильтрация склика 

adv
14 марта 2016, 13:32

Нас периодически спрашивают: «что это за странный всплеск у меня в статистике — это склик?» Чаще всего пики на графиках вызваны естественными причинами. Но даже если речь идёт о мошенническом трафике, беспокоиться не о чем. Директ фильтрует фальшивые, или фродовые клики. Так что они не портят статистику размещения и ничего не стоят рекламодателям.

В этой статье мы отвечаем на вопросы, как устроена система многоступенчатой защиты от фрода в Директе и как она развивается, обучаясь на новых примерах склика. А в следующих постах расскажем о других технологиях, которые позволяют добиться высокого качества рекламного контакта. Например, об автоматической проверке видимости баннеров.

Что такое фрод
Фродом называют самые разные формы мошенничества с использованием информационных технологий, поэтому для начала разберёмся с терминами. Система антифрода Директа фильтрует три основных типа некачественного трафика:

1.    Склик (кликфрод) — накрутка кликов с целью потратить бюджет рекламодателя. Возможность такого мошенничества вызывает больше всего вопросов и опасений.

По разным оценкам, в рунете на склик приходится от 10 до 30% трафика. Наши показатели обычно держатся в районе 20%. Эту цифру стоит читать так: "каждый пятый клик притворяется настоящим". А вот тезис "20% рекламного трафика оказались подделкой" не вполне честный — в реальности мошеннический трафик отсеивается, не влияя на статистику и бюджеты рекламодателей. 

2.    Скрутка — накручивание показов. Например, чтобы испортить CTR конкурентов. Как и поддельные клики, фальшивые показы не засчитываются системой. 

3.    Повторные и случайные клики. При просмотре объявления пользователь нередко делает сразу несколько кликов: по заголовку, визитке, быстрым ссылкам. Наверняка вы знаете, что в таком случае рекламодателю нужно заплатить только за один переход по рекламе. Отследить остальные, «повторные» — серьёзная задача для системы антифрода. Ещё клики бывают случайными: когда человек нечаянно нажал не на ту ссылку и сразу закрыл страницу. Повторных и случайных кликов фильтруется больше всего, хотя они и не являются мошенничеством.

В первых двух случаях речь идёт о злоумышленниках. Они бывают разными: одни скликивают чужую рекламу вручную, а другие используют роботов — программы, которые автоматически переходят по ссылкам и притворяются людьми. Директ успешно борется и с теми, и с другими.

Как устроен антифрод 
Технология антифрода в Директе — это система фильтрации некачественного трафика, где на разных уровнях отсеиваются разные типы фрода. От простого к сложному:



Шаг 1. Защита от роботов в режиме реального времени. На верхнем уровне воронки автоматически отсеиваются все очевидные боты, которых в сети очень много. Если вы переживали, что платите за роботный трафик, расслабьтесь — боты первыми оказываются за бортом.

Реальный график работы системы антифрода. Красная линия — отфильтрованный трафик, синяя — качественный трафик, отражаемый в статистике. Синяя линия почти не реагирует на колебания красной, так как система моментально отсекает практически весь фродовый трафик.

Шаг 2. Онлайн-фильтрация, работающая на базе технологии машинного обучения Матрикснет. Эта система анализирует каждый клик, сверяясь со списком из 250 разных характеристик. При анализе учитываются сиюминутные признаки (время суток, сезон, география клика и так далее), а также некоторые события до клика и типичные паттерны поведения, которые свойственны людям и «человекообразным» роботам.

Мы не раскрываем факторы, которые применяются для оценки качества трафика, чтобы не облегчать задачу мошенникам. Борьба с ними идёт постоянно: злоумышленники совершенствуют свои навыки и учатся обходить фильтры, а специалисты Яндекса обучают систему на новых случаях фрода и совершенствуют защиту рекламодателей. 

Бывает, что на этапе онлайн-фильтрации вместе с некачественным трафиком отсеивается немного кликов пользователей, которые не имели в виду ничего плохого. Иногда люди очень похожи на ботов — например, когда студенты ищут информацию по какой-нибудь редкой теме: они систематически прокликивают все ссылки в выдаче и вводят парадоксальные цепочки запросов. Таких честных пользователей обычно единицы.   

Фильтры меняются вместе с поведением пользователей — специальная служба асессоров Яндекса анализирует долгосрочные тренды в трафике, и если поведение пользователей меняется, правила работы антифрода также могут измениться. Например, раньше, чтобы узнать значение иностранного слова, люди вводили запросы [слово перевод]. А сейчас многие привыкли набирать только само слово: его перевод на русский сразу появляется в колдунщике Яндекс.Словарей,* и куда-то кликать уже не нужно. Запросы без единого перехода похожи на поведение роботов, «скручивающих» показы — но система антифрода видит разницу между ботами и обычными пользователями. 

Шаг 3. Офлайновый анализ поведения пользователей. Благодаря первым двум шагам фильтрации, львиная доля некачественного трафика отсеивается до того, как успевает повлиять на статистику и деньги рекламодателей. Но на этом работа антифрода не заканчивается: весь трафик проходит через дополнительные офлайновые фильтры. 

Если в момент клика Директ анализирует разные типы данных по отдельности (домен, запрос, регион и т.д.), то на следующих этапах можно объединить все эти факторы и увидеть картину целиком, построив граф поведения пользователей. Аномальные уплотнения на графе сигнализируют, что пользовательское поведение отличается от нормы и помогают обнаружить сложные случаи фрода. Система антифрода использует распределенные алгоритмы кластеризации данных и каждый день изучает порядка 4 000 000 000 событий.

Несколько лет назад этот этап фильтрации вырос буквально из одной сложной задачи — борьбы со скликом в тематике уничтожения клопов. Так что за офлайн-фильтры стоит сказать спасибо “клоповой мафии”. 

По итогам офлайнового анализа событий система антифрода регулярно вычищает остатки некачественного трафика. Расходы на этот трафик автоматически возвращаются на баланс рекламной кампании, а отфильтрованные показы и клики удаляются из всех основных отчётов статистики. 

Количество недействительных кликов можно увидеть в отчётах Статистика по дням и Общая статистика отдельной строкой за весь выбранный период, а время на возврат обычно не превышает двух суток.


Может ли кто-то обойти все фильтры?
Гипотетически возможно всё. Мошенники постоянно пытаются изобрести новые способы склика — такая у них работа. А мы регулярно усиливаем меры безопасности на своих рекламных сервисах. 

Расследование проводится по каждой жалобе на подозрительный трафик. И если клики действительно недобросовестные, мы возвращаем деньги за них и в кратчайшие сроки устраняем уязвимость — для защиты рекламодателя создаются дополнительные фильтры и на их основе совершенствуется вся система антифрода. 

Кроме того, в Яндексе есть специальные службы мониторинга, которые помогают превентивно отслеживать фрод. Если общий объем трафика и процент отфильтрованных кликов начинают заметно отклоняться от нормы, наши аналитики сразу получают сигнал. Так они могут начать искать источник и цель атаки мошенников, не дожидаясь заявки от рекламодателя.

Абсолютное большинство попыток скликать рекламу обезвреживаются автоматически. Подтверждённые случаи фрода, которые за прошлый и позапрошлый год обнаружились только при ручной проверке, можно посчитать по пальцам одной руки. 

Чаще по заявкам мы перепроверяем и корректируем статистику показов в Рекламной сети Яндекса (РСЯ). На тематических площадках, как и на поиске, применяется очень много различных фильтров. Но к всплескам показов они относятся мягче, поскольку в РСЯ объявление может по вполне адекватным причинам поймать волну интереса к своей тематике, а число показов здесь все равно не влияет на цену клика. 

Для площадок в РСЯ работает отдельная служба модерации, которая не принимает в сеть сайты с сомнительным качеством трафика.

Что делать, если вы заметили всплеск показов или переходов по рекламе? 
Для начала убедитесь, что у этого всплеска нет никаких разумных объяснений. Некоторые рекламодатели подозревают склик при любых скачках статистики. При расследовании таких историй специалисты чаще всего находят будничные причины отклонений от привычных показателей.

Например:

1. Изменились настройки размещения, и вашей ставки стало хватать для показа на более заметных позициях. Ещё вы могли расширить аудиторию за счет новых фраз или регионов показа. Частая причина «горбов» в статистике — работа стратегии «Недельный бюджет»: как только система видит возможность получить больше переходов по оптимальной цене, она сразу же старается её использовать. 

2.  Не забывайте, что вы делите трафик с конкурентами. Технические работы или поломки на популярных ресурсах часто влекут за собой вопросы про склик от рекламодателей в той же тематике. На всякий случай проверьте, всё ли хорошо у соседей по выдаче. Особенно если среди ваших ключевых слов есть названия конкурирующих брендов.

3. Сезон подкрался незаметно. Это бывает. Серьёзно. Прежде чем пугаться всплеска переходов по фразе “майонез оптом”, проверьте, не случился ли он накануне Нового года. 

4.    Громкая реклама в офлайне. Не обязательно ваша, но подогревшая интерес к вашему товару. В канун праздников некоторые крупные магазины особенно активно рекламируют скидки. 

5.    Самые разные обстоятельства за пределами вашего бизнеса. Волны интереса к той или иной тематике довольно часто идут от от новостей и телепередач. Например, вот этот выпуск программы Елены Малышевой резко повысил число показов и кликов по запросу “люминиры”. А до эфира этот запрос считался редким. 

Иногда по вашим ключевым фразам ищут что-то ну совсем не связанное с вашим бизнесом. Возьмем хоть историю с поездами. Пару лет назад в Директ с жалобой на склик обратились производители железнодорожных вагонов. Оказалось, внезапный приток трафика на их сайт связан с растущей популярностью Subway Surfers — игры для мобильных, где персонажи бегают в подземке, уворачиваясь от поездов. В итоге автофокус решил проблему рекламодателя, дополнив список минус-слов запросами об играх. 

Предугадать такие форс-мажоры невозможно. А вот знать ситуацию на вашем рынке и следить за тем, что вообще происходит в мире — полезная привычка, которая помогает вовремя скорректировать настройки показов. Раздел “Фразы по дням” в статистике кампании поможет вам с поиском причин роста трафика. Посмотрите, по каким запросам получили много переходов, и поищите всплески интереса к тем же фразам на сервисе подбора слов.  В отдельной статье — “О важности обстоятельств для специалиста по контекстной рекламе” — можно изучить больше примеров того, как внешние факторы провоцируют рост рекламных показов и кликов. 

6.    Что касается роста иностранного трафика (популярный вопрос прошлого года), чаще всего он объясняется тем, что пользователи активно стремятся обойти региональную блокировку контента и используют сервисы, которые подменяют “прописку” DNS-сервера. 

В любой непонятной ситуации вы можете обратиться за помощью или советом. Если вы перепроверили статистику и не нашли объяснений внезапному росту интереса, напишите заявку, чтобы рекламную кампанию дополнительно проверили на фрод. Мы серьезно относимся к качеству трафика и поможем вам разобраться, что произошло. Обязательно укажите в заявке номер кампании в Директе и период, когда у вас выросло число показов или кликов. 

Эти данные не стоит заменять снимками отчётов Метрики — расследование ускоряют именно сведения о том, какую кампанию перепроверить и за какие даты. С номером кампании на руках специалисты могут сами посмотреть статистику по ней и проверить возможные причины всплеска. 


Если у вас остались вопросы по следам этой статьи или есть пример реального всплеска статистики, в причинах которого не удалось разобраться, пожалуйста, пришлите нам подробности в клуб Директа. Мы перепроверим кампанию вместе со специалистами из службы антифрода. 

*Яндекс.Словари прекратили работу в марте 2016 года — вместо них доступен Яндекс.Переводчик.
31 комментарий
Подписаться на комментарии к посту
Все это безумно круто, а главное своевременно, очень много рекламодателей сталкиваются с проблемой скликивания. У меня только один вопрос, анализу подвергается отдельный переход или в группе со схожими переходами, на пример с одного IP?
Дело в том, что очень важно опознать все переходы мошенников, т.к. для достижения своей цели они могут применять как различный браузеры/девайсы/провайдеры, так и пользоваться к примеру прокси серверами или ВПН каналами.
Таким образом если анализировать каждый конкретный переход, то может сложится впечатление что это вполне добропорядочный посетитель.
siuc.ua,
то, о чем вы спрашиваете, как раз происходит на третьем шаге — при офлайновом анализе поведения пользователей. Даже если мошенники научились хорошо маскировать отдельные клики, аномальную активность обычно видно на графе, когда переход анализируется в совокупности с другими событиями.
Пойманные таким образом клики видно в статистике (в строчке "недействительные клики"). Именно за них автоматически возвращаются деньги. А все остальные, более простые типы фрода, отсеиваются в онлайне и совсем не влияют на статистику и бюджет.
Виталий Сергачёв
16 марта 2016, 18:14
а с всякими буксерами тоже боретесь? буксы как то же еще работают
Виталий Сергачёв,
Наверняка. т.к. поведение, интересы и история буксеров, отличается от поведения и истории тех юзеров, которые являются ЦА рекламодателя. Общий так сказать граф составляется и от него отталкиваются Директ. Да и аномалии так определять проще. Ну это лишь мое мнение. Как там на самом деле только самому Яндексу известно.
Виталий Сергачёв,
skarui все правильно пишет — людей, которые кликают или просматривают рекламу на заказ обычно хорошо видно. Площадки в РСЯ, которые пытаются накручивать у себя показы и клики, также находим и отключаем.

Интернет большой, в нем многие пытаются зарабатывать, в том числе и мошенничеством. Служба антифрода делает так, чтобы мошенники не мешали вам рекламироваться на Яндексе. Боюсь, самих попыток так зарабатывать не становится особо меньше.
"... в РСЯ объявление может по вполне адекватным причинам поймать волну интереса к своей тематике, а число показов здесь все равно не влияет на цену клика. "

По-моему, это не совсем правда - если будет много показов без кликов, т.е. низкий CTR, то даже в РСЯ объявление будет все реже показываться относительно конкурентов, пока не повысишь ставку. Во всяком случае по моим наблюдениям это так. Оно и логично, или я не прав?
Высокий или низкий CTR - имеет смысл только в сравнении с другими рекламодателями на данной площадке.
То что кажется низким по сравнению с поиском или другой площадкой РСЯ, может на самом деле быть сказочно высоким по сравнению с конкурентами на этой же площадке.


Не влияет на цену клика в том смысле, что каждая выдача на площадке с Поведенческим таргетингом может тасовать конкурентов из разных сфер и с разными рейтингами эффективности, поэтому итоговый показатель по N аукционам будет настолько размазан, что влияние именно CTR будет невозможно почувствовать.
Ещё год назад уведомлял Яндекс о массовых скликах по своим рекламным Кампаниям по тематике - "Загранпаспорта", но НАДЛЕЖАЩЕГО понимания, к сожалению, со стороны компании Яндекс тогда не встретил! Были израсходованы мои деньги, а сотрудница Яндекса "с пеной у рта" мне доказывала, что умышленных скликов не могут обнаружить они! И вот, прошёл год - ДОШЛО НАКОНЕЦ, что "умышленный" Фрод всё-таки существует!
Очень жаль за мои бесцельно потраченные средства! И "упёртую" тупость Сотрудников Яндекса на тот момент!!!

Но осознание, видимо, наконец-то пришло!!! Жаль, что спустя так много времени!!!

И не верьте - Яндекс Вам деньги не вернёт! Как я не убеждал - не вернули!!!
zoom325,
то, что он существует, не значит, что он был у вас в рекламе. Давайте смотреть на конкретику: номер кампании и период. Мы готовы все перепроверить. 
Эти Фроды-Задроты давно применяют программы по смене своего IP, местоположения и антиобнаружения!!! Яндекс не в состоянии обнаруживать их!!! Так что не стоит верить всем этим "песням" - деньги Яндекс за умышленные клики таких Фродов Вам не вернёт!!!
реклама в директе. каждый клик минимум не менее 15 рублей. за всклики вернули 1 руб 60 коп. Или я дурак ,что плохо знаю математику или ...
Aha,
Да, доходит до абсурда. При обращении по склику, возвращают где-то через 4 месяца рублей 5-6, когда минимальная цена клика была 38р.
workingdirect,
вот тут надо разобраться, почему такие суммы. Будем благодарны, если вы пришлете дополнительные данные: номер кампании, период, историю переписки со службой поддержки
Aha,
workingdirect, пожалуйста, пришлите в клуб https://yandex.ru/blog/direct/ подробности об этих историях. Возвраты странные, но без номеров кампаний не разобраться, что произошло. 


Заранее спасибо
А как вам такое - 100% отказов, 0 просмотров, 0 кликов, глубина просмотра 0, время на сайте 0 секунд, посетителей 0 и визитов 0, а клик засчитан Яндексом и деньги списаны.

Ответ со стороны Яндекса - "Метрика фиксирует лишь те данные, которые получает счетчик. Время на сайте определяется как Разница по времени между первым и последним событием в визите (к событиям относятся просмотры, переходы по внешним ссылкам, скачивания файлов и достижения целей, включая вызов метода reachGoal). Поэтому в случае, если пользователь не совершал описанных выше действий, то Метрика может неточно определить время нахождения на сайте, так что не факт, что клики реально некачественные."

...но что-то для меня "их лыжи по асфальту летом не ездят". Деньги не вернули, прикрылись магией и техническими трудностями.
IncredibleS1,
Метрика правда может не поймать какой-то один клик. 
День добрый.
На ваш взгляд судя по скриншоту целенаправленно идет скликивание или нет?
http://savepic.ru/9330120.png
nocker1,
Это по одному и тому же объявлению? Какой смысл? Деньга только за первый клик списывается. А CTR у объявы стал 700% ? )))
OfficeWorld,
деньги списывались за каждый переход, иначе бы и не было вопросов.
Отписалась ТП Яндекса "Рекламная кампания была проверена нашими специалистами. По результатам комплексного анализа статистических и общесистемных показателей факт скликивания не установлен.
Все клики, учтенные в статистике, являются действительными".
nocker1,
такой ответ и мне был по факту скликивания! Я вот жду когда терпение кончится и пойду в ФАС да в суд)) 
nocker1,
скриншот — не показатель. Давайте перепроверим еще раз. Будет здорово, если вы скинете номер кампании и историю переписки с саппортом. Можно в клуб Директа: https://yandex.ru/blog/direct/


Спасибо
"По разным оценкам, в рунете на склик приходится от 10 до 30% трафика. Наши показатели обычно держатся в районе 20%. Эту цифру стоит читать так: "каждый пятый клик притворяется настоящим"
Ну так ответьте, Яндек.Директ, почему из потраченных 1 832 637.10 вернули от силы 1000 рублей, а не 400 000 ?
Написали полотно умных слов, а действиями не подтверждаете.
OfficeWorld,
ответ будет понятен, если дочитать до конца цитируемый вами абзац :) "А вот тезис "20% рекламного трафика оказались подделкой" не вполне честный — в реальности мошеннический трафик отсеивается, не влияя на статистику и бюджеты рекламодателей. "


Из  ваших 1 832 637.10 мошенники смогли скликать только на 1000 рублей. Ее и вернули. А 400 000 вам сэкономили автоматические фильтры. И эти деньги потратились на нормальных посетителей. 
Люди реальные, конкретные вопросы задают про возврат денег. Явная же несуразица с точки зрения арифметики.
Они как-то не так вопрос задают или не там? Почему официальный Яндекс на эти вопросы ЗДЕСЬ не отвечает?
Действительно, очень странно, почему нет ответов от Яндекса, неужели нечего возразить или тему для себя Яндекс закрыл, т.к. времени достаточно прошло с момента публикации, хотелось бы услышать аргументированные ответы на вышеперечисленные вопросы,
начиная с вопроса от tehnorosst
stk@promofront.ru,
не закрыл, нечаянно отвлекся на другие посты. Приносим за это извинения. 


Если у вас есть примеры кампаний, в которых вас обидели, скликали, недовернули и недообъяснили, давайте разбираться. Пришлите в клуб Директа https://yandex.ru/blog/direct/номер кампании и период, за который подозреваете склик. Всё перепроверим еще раз. 
Согласен со многими негативными комментариями. РК уже пол года, а на другом аккаунте около года не изменялись. Сделал и забыл, потому что сделал правильно и хорошо. Тем не менее, иногда происходят непонятные всплески: бюджет, установленный на день, скликивается за 2-3 часа. На мои вопросы, тех поддержка отмораживается примерно также, как и перед другими, типа все клики действительны, все дела. Им ничего не докажешь, их система совершенна.

Соглашусь только с тем, что в последнее время скликивания стало меньше, это факт.

Но если человек к вам перешел, и тут же закрыл страничку - клик засчитан, деньги вы заплатили, и никто вам их не вернет. (Хотя в статье, как я понял, утверждается обратное) У меня таких очень много, возвращенных денег за них я чего-то не замечаю - их нет.

Тех поддержке стоило бы обратить внимание на такое количество комментов, которые опровергают многое из того, что написано в статье.
aaaaniko,
если у вас есть пример периода, когда на объявление кликают и сразу уходят с сайта, приходите с номером кампании и периодом в клуб Директа, попробуем разобраться.


Не каждый отказ это склик. Бывают проблемы в несоответствии посадочной страницы запросу, по которому она рекламируется. Но без подробностей от вас, ничего сказать не получится. 


Что до периодических всплесков интереса — если кампания показывается на тематических площадках, показы вполне могут идти неравномерно. Так правда бывает, что вы поймали волну и навыигрывали аукционов. 
Причины всплесков, описанные в статье, вообще убили - как будто в инструкции: если у вас сломался телевизор, проверьте розетку, вдруг вы случайно выдернули шнур.

Яндекс забывает, что общается не с обычными глупыми клерками, а с теми, кто сумел сам сделать свой бизнес, а это, как правило, не глупые люди.

Так что такие советы - моветон.
aaaaniko,
нет ничего глупого или стыдного в том, чтобы держать под рукой чек-лист. И иногда "проверять розетку". Вы удивитесь, узнав, какое количество обращений о проблеме заканчиваются фразой "а, увидел, мой косяк" или чем-то подобным.
aaaaniko,
каждая причина всплеска из статьи — это реальный кейс одного или нескольких рекламодателей. На практике очень много случаев, когда резкий рост переходов вызвала телепередача или упавший сайт конкурента.