История Яндекса

Представлена YandexGPT — генеративная нейросеть, обученная на суперкомпьютерах Яндекса. Уже на старте она умеет писать тексты и предлагать идеи, а до конца года научится учитывать контекст, задавать уточняющие вопросы, делать краткие пересказы — и станет родоначальницей целой линейки языковых моделей.

Новый сервис позволяет искать информацию в рукописных и печатных архивных документах: метрических книгах, ревизских сказках, справочниках, газетах и не только. Расшифровку выполняет нейросеть. Она разбирает разные почерка, узнаёт устаревшие знаки и понимает газетную вёрстку — огромные полосы мелким шрифтом.

Вышло приложение Шедеврум, которое создаёт картинки и видео по текстовым запросам — достаточно описать, что именно хочется получить. За генерацию отвечает нейросеть YandexART. Она найдёт применение и в сервисах Яндекса для бизнеса — например, нейрокартинками можно иллюстрировать рекламные объявления в Директе.

Летом в московском районе Ясенево началось тестирование роботакси. Поездки можно было совершать в пределах района — между точками посадки и высадки, которых в Ясенево насчитывалось около сорока. За три месяца испытаний автономные автомобили выполнили по району более 1700 поездок с пассажирами.

Линейку Яндекса пополнили устройства в новых форм-факторах. Станция Миди отличается компактным корпусом и мощным звуком. ТВ Станция и ТВ Станция Про объединяют возможности умных колонок и телевизора. Станция Дуо Макс — колонка с сенсорным экраном, управлять которой можно как голосом, так и прикосновениями.

В этом году вклад Яндекса в опенсорс вышел особенно весомым. Компания открыла исходный код отказоустойчивой СУБД YDB и фреймворков DivKit, userver и Yatagan. Список опенсорс-проектов также пополнила нейросеть для генерации и обработки текстов YaLM 100B, на тот момент — крупнейшая GPT-подобная модель в свободном доступе.

Яндекс продал VK сервисы Новости и Дзен. Вместе с ними новым владельцам отошёл адрес yandex.ru, и Яндекс впервые в своей истории сменил главную страницу. Новая главная доступна на ya.ru. Её основа — поиск, при этом она продолжает быть точкой входа в сервисы Яндекса. С декабря на ya.ru живёт и голосовой помощник Алиса.

Яндекс показал прототип Карт нового поколения. На них вид зданий, дорог и других объектов в городе приближен к реальному. Первыми новшества опробовали водители — в Москве, а затем и других больших городах дороги на Картах стали отображаться во всех подробностях: с разметкой, парковочными местами и островками безопасности.

На складе Маркета в Софьине вместе с людьми начали работать роботы. Первым появился Spectro, робот-инвентаризатор. Он сканирует содержимое стеллажей и заносит в систему учёта данные о том, что где хранится. Инвентаризацию Spectro проводит гораздо быстрее, чем люди. Позже роботам поручат и другие задачи на складе.

Яндекс представил арендный самокат собственной разработки. У него два амортизатора и большой дорожный просвет, чтобы было комфортно даже на неровной дороге, и широкая, но короткая платформа — для дополнительной безопасности. А ещё есть крючки для сумок и пакетов и держатель для смартфона.

Суперкомпьютер Яндекса «Червоненкис» вошёл в двадцатку самых мощных в мире. Российскую версию рейтинга возглавили сразу три компьютера компании: «Червоненкис», «Галушкин» и «Ляпунов». Они названы в честь российских учёных, которые занимались теорией машинного обучения и компьютерными науками.

Яндекс запустил автоматический закадровый перевод. Это был технологический прорыв и важный шаг на пути стирания языковых границ. Пользователи получили возможность смотреть фильмы, ток-шоу и видео на незнакомых им языках. Сначала появился перевод с английского, а затем — с французского, испанского и немецкого.

Во время пандемии Яндекс запустил проект «Помощь рядом». Команда проекта организовала поездки врачей к пациентам, доставку продуктов нуждающимся, бесплатное тестирование на коронавирус. Также Яндекс представил индекс самоизоляции — он показывал, много ли людей на улице и стоит ли выходить из дома.

Яндекс активно развивал сервисы доставки, в том числе из-за режима самоизоляции. Компания запустила «доставку по клику», когда заказанный товар привозят сначала на склад Яндекс Лавки, а потом доставляют человеку за 15-20 минут — в удобный для него момент. В Такси появилась доставка небольших посылок, а в Еде — робот-курьер.

Компания запустила технологию анализа текста на основе нейросетей-трансформеров. Они прекрасно решают задачи в области обработки естественного языка, но требуют огромного количества вычислительных ресурсов. Благодаря YATI Яндекс стал гораздо лучше оценивать смысловую связь между запросами и содержанием веб-документов.

Большое обновление позволяет поиску точнее и быстрее отвечать на запросы, учитывать сигналы от асессоров и использовать объяснения из Кью — сервиса вопросов и ответов, приобретённого в 2019-м. Теперь можно решать гиперлокальные задачи: находить нужное в конкретном районе, квартале или даже в доме.

Яндекс выступил с Образовательной инициативой: компания взялась инвестировать в подготовку кадров для IT-сферы пять миллиардов рублей и за три года выпустить 100 тысяч специалистов. Также появились сервис онлайн-обучения Практикум и лаборатория в МФТИ, а в январе учредили научную премию имени Ильи Сегаловича.

Открыты сразу два сервиса, облегчающие жизнь горожан. Это каршеринг Яндекс Драйв и сервис доставки еды Яндекс Еда. Драйв предлагает машины разного класса, гибкие цены и круглосуточную службу поддержки. А Еда доставляет заказы из ресторанов и кафе в кратчайший срок — благодаря технологии распределения заказов между курьерами.

Яндекс представил большое обновление поиска; в нём свыше тысячи улучшений. Главные из них позволяют людям быстро решать свои задачи, выбирать надёжные сайты и сохранять находки — будь то видео или картинки. Кроме того, Яндекс обновил формулу ранжирования: она стала в большей степени учитывать качество сайта.

Команда Яндекса представила новый метод машинного обучения — CatBoost. Он превосходит Матрикснет по точности предсказаний, более устойчив к переобучению, а главное — умеет учитывать нечисловые признаки, например породы собак или типы облаков. Библиотеку машинного обучения Яндекс выложил в открытый доступ.

На смену «Палеху» пришёл алгоритм «Королёв», тоже основанный на нейросети. Если «Палех» сопоставлял смысл запроса и заголовка веб-страницы, то «Королёв» анализирует страницу целиком, а также учитывает смысл других запросов, по которым на неё переходят. Благодаря этому поиск Яндекса стал точнее отвечать на сложные вопросы.

Яндекс Переводчик внедрил гибридную систему перевода: к статистической модели, которая использовалась раньше, добавилась технология перевода на нейронной сети. В поиске, Дзене и Новостях стали доступны Турбо-страницы, ускоряющие загрузку сайтов на мобильных. А на Погоде появились красивые погодные карты всей планеты.

В этом году было запущено несколько новых сервисов и продуктов для бизнеса. В частности, Яндекс разработал платформу Яндекс Авто, которая объединяет сервисы для водителей и встраивается в мультимедийные системы автомобилей. Появился сервис для совместной работы внутри организации — Яндекс Коннект.

Представлен поисковый алгоритм, который ищет веб-страницы не по ключевым словам, а по смыслу. Он основан на нейросетях и предназначен для ответов на редкие и уникальные запросы. Они составляют около трети всего потока, образуя «длинный хвост» — как у жар-птицы, популярного сюжета палехской миниатюры. Поэтому и «Палех».

В Калуге, Пензе, Саратове и Тамбове заработал Яндекс Лицей — для школьников 8–9 классов, которые хотят получить навыки программирования. Занятия проходят два раза в неделю, их ведут преподаватели местных школ и вузов. Проект реализуется совместно с региональными органами власти, которые занимаются образованием и сферой ИТ.

В Браузере и Yandex Launcher появилась лента персональных рекомендаций Яндекс Дзен. Она предлагает статьи, видео, картинки и другие материалы, которые могут понравиться пользователю. Дзен использует глобальный поисковый индекс Яндекса, а также ИИ — в частности, технологии компьютерного зрения и обработки естественного языка.

Компания открыла просветительскую программу «Издательство Яндекса». Она создана для развития и поддержки образовательных интернет-проектов в области истории, литературы, языкознания, искусства и философии. Первой инициативой, получившей поддержку, стал проект Михаила Зыгаря «1917. Свободная история».

Запущено приложение для записи к врачу Яндекс Здоровье. Появились новые сервисы для бизнеса: Телефония и Аудитории. Первый позволяет обрабатывать звонки и сообщения клиентов, а второй — создавать аудиторные сегменты для показа рекламы. Корпоративных клиентов стал обслуживать также сервис Яндекс Такси.

Яндекс разработал собственную технологию прогноза погоды — Метеум. Она объединяет классические модели метеопрогнозирования и технологии машинного обучения и умеет давать локальные прогнозы: для конкретного района или даже дома. Использование машинного обучения позволяет существенно повысить точность прогноза.

В Директе внедрён аукцион Викри-Кларка-Гровса. При новой модели цена клика растёт пропорционально трафику, и рекламодатели могут получать максимум кликов по оптимальной цене. Также изменено ранжирование объявлений внутри рекламных блоков — чтобы пользователи видели рекламу, которая хорошо решает их задачи.

Вышел из беты Яндекс Транспорт — сервис, который показывает, где сейчас находится нужный автобус, троллейбус или трамвай и когда он приедет на остановку. Появились приложение для водителей Парковки и сервис Радио, где можно найти музыку разных жанров и эпох, под любое занятие и настроение.

Летом начал работу агрегатор логистических служб Яндекс Доставка. Он помогает интернет-магазинам доставлять товары из Москвы и Подмосковья в другие регионы. Осенью появился ещё один сервис для бизнеса — автоматическое информагентство, которое транслирует новости о пробках, погоде и поисковых интересах пользователей.

Начала работать Yandex Data Factory. Это направление по работе с «большими данными». Услуги YDF рассчитаны на компании, которые нуждаются в обработке больших массивов информации. Технологии Яндекса — машинное обучение, распознавание образов и речи, нейронные сети, обработка естественного языка — позволяют решать такие задачи.

Вместе с НИУ ВШЭ Яндекс открыл факультет компьютерных наук. Он готовит специалистов по двум направлениям — «Прикладная математика и информатика» и «Программная инженерия». Медалисты и победители олимпиад спешно несут туда документы. Такого наплыва олимпиадников не видывал ещё ни один факультет Вышки.

Вышло новостное мобильное приложение, а также появились два новых сервиса — Яндекс Мастер и Яндекс Город. Мастер помогал находить специалистов для решения бытовых проблем, он закрылся через год после запуска. А в Городе люди искали и выбирали подходящие организации. Сервис просуществовал до 2016 года.

На конференции YaC-2013 Яндекс представил технологию распознавания речи SpeechKit и API для работы с ней. Технология будет использоваться в мобильных приложениях Яндекса и в продуктах сторонних разработчиков. А через год компания запустит облачный сервис распознавания речи и приложение Яндекс Диктовка.

Яндекс стал ассоциированным членом CERN openlab. Работать с Центром ядерных исследований компания начала ещё пару лет назад. Яндекс предоставил физикам свои вычислительные ресурсы и технологии обработки данных, включая Матрикснет. В дальнейшем Яндекс и ШАД поучаствуют в нескольких экспериментах ЦЕРНа.

Запущен Яндекс Store — магазин приложений для Android. Он позиционируется как международный и приглашает покупателей и разработчиков со всего мира. На старте в магазине более 5000 платных и бесплатных приложений, удобный поиск, защита от вирусов. Принимается оплата банковской картой, а в России — и через смс.

Яндекс выпустил браузер собственной разработки. Это было важным событием для компании, потому что браузер — главное, что нужно для работы в сети. Первой вышла российская версия программы, затем появились версии для Украины, Казахстана, Беларуси и Турции.

Яндекс научился учитывать личные интересы пользователя при выборе подсказок и формировании результатов поиска. При этом он опирался на свои знания о человеке — о чём он обычно спрашивает, на какие сайты переходит, нужны ли ему ответы на английском. Чем больше человек пользуется поиском, тем точнее ответы.

Яндекс запустил технологию Real Time Bidding. Это такой аукцион для медийной рекламы. В качестве продавцов выступают рекламные площадки, а в качестве покупателей — системы размещения рекламы, которые представляют интересы рекламодателей. Торги за рекламный показ занимают доли секунды — пока пользователь открывает веб-страницу.

Ещё одно событие года — запуск Навигатора. В нём есть карты сотен городов, причём карты обновляемые. Работает маршрутизация с учётом пробок и голосовое сопровождение, и всё это совершенно бесплатно. Вообще год был богат на мобильные продукты: выходят приложения Музыка, Перевод, Директ и оболочка Яндекс Shell.

В мае Яндекс провел первичное размещение акций на нью-йоркской бирже NASDAQ. Акции продавались под тикером YNDX.

Компания вышла за пределы постсоветского пространства. 20 сентября Яндекс открыл портал yandex.com.tr — в Турции. На нём представлены Поиск, Карты, Почта и другие сервисы для турецких пользователей.

Так Яндекс назвал свою новую технологию — она позволяет выделять разные группы пользователей на основе анализа их поведения в сети. Например, Крипта способна отличить взрослых домохозяек или подростков. Эта технология применяется в разработке новых продуктов для рекламодателей.

Компания организовала чемпионат по спортивному программированию. Первый раз он получился камерным, но уже на следующий год вышел на международный уровень. В Яндекс Алгоритме 2013 года участвовали 3000 программистов из 84 стран, а финал прошёл во Владимирском дворце в Петербурге.

Запущен сервис Яндекс Перевод. Это статистический машинный перевод: он опирается не на правила и словари, а на статистику. В 2011 году на translate.yandex.ru можно было переводить тексты с английского или украинского на русский и наоборот, позже языковых пар стало гораздо больше.

В этом году появилось несколько новых мобильных приложений — Поиск, Почта, Яндекс Деньги, Маркет. Все они вышли в дополнение к уже существующим веб-сервисам. Отдельная история — приложение Яндекс Такси. Это был изначально мобильный сервис. А веб-версия у него появилась на следующий год.

Открывается портал для Беларуси. Все его сервисы ориентированы на местную аудиторию, а поиск учитывает морфологию белорусского языка. В этом же году Яндекс открыл в Беларуси Центр обслуживания партнёров, чтобы белорусские сайты могли участвовать в РСЯ и получать вознаграждение в национальной валюте.

У компании появилась собственная антивирусная технология. Она основана на поведенческом анализе и позволяет обнаруживать сайты с вирусами, которые ещё не попали в антивирусные базы. Технология стала применяться в поиске и других продуктах компании, а для сторонних разработчиков появился Safe Browsing API.

Запущена программа работы со стартапами — Яндекс Старт. Компания стала искать молодых талантливых ребят, у которых есть интересные идеи, и помогать им встать на ноги. Через несколько лет в рамках Яндекс Старта откроется мастерская для стартапов Tolstoy Startup Camp — она будет проходить несколько раз в год.

В этом году Яндекс впервые провёл Yet another Conference, или просто YaC. Мероприятие несколько раз меняло формат и из камерной тусовки для IT-специалистов превратилось в большую технологическую конференцию. Сейчас YaC — это большой видеорассказ про продукты и технологии Яндекса.

Команда Яндекса разработала и внедрила новый метод машинного обучения — Матрикснет. Это был настоящий прорыв, потому что Матрикснет позволил резко улучшить качество поиска. Благодаря ему поисковая машина стала учитывать при ранжировании на порядок больше факторов и их комбинаций, чем раньше.

Яндекс стал давать названия поисковым платформам — причём каждое следующее начиналась на последнюю букву предыдущего. В октябре вышел «Арзамас» — поиск, который учитывал регион пользователя в 19 крупных городах России. К концу декабря был готов «Снежинск», ему на смену пришёл «Краснодар», потом «Рейкьявик» и так далее.

Яндекс начал работать в Казахстане. На yandex.kz были представлены все основные сервисы Яндекса — Почта, Карты, Авто, Расписания, Новости, Маркет. Поиск учитывал морфологию казахского языка и показывал в ответ на «локальные» запросы местные сайты. Язык общения с Яндексом пользователи могли выбирать сами.

Открывается первый региональный коммерческий офис — в Екатеринбурге. Позже такие офисы появятся и в других регионах страны. Это позволяло быть ближе к клиентам. Задача коммерческих офисов — помогать местным рекламодателям в работе с продуктами Яндекса.

Компания стала делиться Картами с владельцами сайтов. С помощью API Яндекс Карты можно встроить на любой ресурс. В дальнейшем Яндекс стал предлагать разработчикам и владельцам сайтов многие свои сервисы и технологии.

В этом году были запущены Яндекс Расписания и Яндекс Видео — они благополучно «полетели», то есть стали популярны у пользователей. Также появился сервис мгновенных сообщений Я Онлайн, который просуществовал до 2016 года.

Яндекс открыл Школу анализа данных — бесплатные двухгодичные курсы, которые готовят специалистов в области анализа данных и извлечения информации из интернета. Сначала Школа работала только в Москве, затем появились филиалы в Новосибирске, Екатеринбурге, Минске и Киеве (закрыт в 2017 году).

В 2007 году в регионах местный трафик был дешевле, чем федеральный. Поэтому Яндекс начал программу Локальная сеть: компания размещала в регионах своё оборудование и арендовала выделенные каналы, чтобы люди могли пользоваться сервисами Яндекса по местным тарифам.

Запущены два новых сервиса — хостинг блогов Я.ру, который просуществовал до 2014 года, и фотохостинг Яндекс Фотки, который в 2018 году переехал на Яндекс Диск. Вышло мобильное приложение Яндекс Карты — с поиском адресов, организаций и картой пробок. Появилась также pda-версия Яндекс Почты.

В Петербурге открылся первый удалённый офис разработки. В дальнейшем офисы разработки стали появляться и в других городах — там, где удавалось найти талантливых разработчиков.

На Картах появились пробки, сначала — только в Москве и области. Красные линии — город стоит, жёлтые — есть затруднения, зелёный — дороги свободны. Данные Яндекс получал от агентства «Смилинк», которое потом стало частью компании. Позже карта пробок была запущена во всех городах России и Украины, в Минске и Стамбуле.

Сервисы Яндекса — постоянный источник данных об интернете и пользователях. В этом году Яндекс выпустил первое публичное исследование. Оно опиралось на данные сервиса Поиск по блогам и называлось «Блогосфера российского интернета». В дальнейшем исследования на самые разные темы стали выходить регулярно.

Тариф — это программа по продвижению широкополосного интернета. Яндекс сделал сайт, где рассказывал пользователям о провайдерах, которые предлагали быстрый интернет по доступным ценам. За несколько месяцев к программе присоединилось больше ста провайдеров — многие пересмотрели условия и снизили цены.

Первый шаг за пределы России — на Украину. Компания открыла представительство в Одессе и стала развивать сервисы для украинской аудитории. В этом же году был запущен yandex.ua.

Начала работать Рекламная сеть Яндекса. Она объединила сайты, на которых показывались объявления Директа. Доходы от рекламы делились пополам: половина — Яндексу, половина — площадке.

В этом году было запущено три новых сервиса: Афиша, Лента и Словари. Афиша собирала информацию о городских событиях, на старте — в Москве и Петербурге. Лента — RSS-агрегатор, который просуществовал до 2013 года. Словари объединили материалы из двух ранее созданных сервисов: Энциклопедий и Яндекс Лингво.

Открылись Яндекс Карты. На тот момент сервис предлагал единую карту Европы и подробные схемы трёх городов — Москвы, Петербурга и Киева. На них можно было искать не только адреса, но и музеи, кинотеатры и другие объекты.

В период огромной популярности блогосферы Яндекс открыл Поиск по блогам и форумам. Он помогал узнать, что пишут люди по тому или иному поводу. Также можно было увидеть рейтинг популярных тем. Правда, через некоторое время он закрылся из-за накруток. В том или ином виде сервис продолжал работать до 2014 года.

Яндекс занялся продвижением беспроводного доступа в сеть и вместе с провайдерами объявил программу Яндекс WiFi. Яндекс предоставлял информационную поддержку кафе и ресторанам, которые соглашалась завести у себя бесплатный WiFi. А провайдеры устанавливали им оборудование на льготных условиях.

В Яндекс Директе произошла важная вещь: сервис перешёл на аукционный принцип размещения рекламы и оплату по кликам. Теперь рекламодатели стали платить не за показ рекламы, а за посетителя — то есть за переход на сайт. Стоимость клика рекламодатель определял сам, как и положено на аукционе.

Яндекс запустил сервис Спамооборона — на основе собственной технологии защиты от почтового спама. Технология учитывала тысячи характеристик почтового сообщения и позволяла отсеивать спам-рассылки. Спамооборону могли использовать владельцы любых ящиков, не только на Яндексе.

Открылись Яндекс Картинки и Яндекс Маркет. На момент запуска в запасе Картинок — 12 млн изображений. На Маркете были представлены товары почти 150 интернет-магазинов: книги, фильмы, косметика, одежда, канцтовары и игрушки. Вместе с группой компаний PayCash Яндекс запустил платёжную систему Яндекс Деньги.

Компания запустила первую в рунете систему размещения контекстной рекламы — Яндекс Директ. Он позволяет напрямую, без посредников, публиковать на Яндексе свою рекламу. За первый год работы Директа так поступили больше 2500 рекламодателей.

Яндекс придумал Кубок по поиску в интернете. Участвовать в розыгрыше могли все желающие. Победителю полагался приз и звание «Человека, который нашёл всё». Эти соревнования стали очень популярны и просуществовали вплоть до 2008 года. По лицензии Яндекса подобные состязания проходили и в других странах.

Яндекс переехал в свой первый офис. Он находился в Вычислительном центре РАН — в зале, где когда-то стояла электронно-вычислительная машина БЭСМ, а потом — «Эльбрус». Теперь у Яндекса появился свой дом, своя служба эксплуатации и своя серверная. До сих пор серверы компании стояли у провайдера «МТУ-Информ».

Открылись два новых сервиса — lingvo.yandex.ru и Яндекс Энциклопедии. Потом они превратятся в один — Яндекс Словари. Этот сервис просуществует до 2016 года.

На yandex.ru появился контекстный баннер. Он гласил: «Ваша киска купила бы Cisco». Главное слово тут — «контекстный». Яндекс стал показывать рекламу, которая не просто не мешала, а наоборот — помогала найти то, что нужно. Именно контекстная реклама позже стала основной бизнес-моделью компании «Яндекс».

23 сентября была анонсирована поисковая машина Яndex-Web. Чтобы показать, как она работает с большим массивом информации, проиндексировали рунет. Тогда он состоял из 5 тысяч сайтов, на которых было размещено около 4 Гб текста. Люди подходили к демонстрационному компьютеру, пробовали задавать запросы и получали ответы. На тот момент Яндекс учитывал морфологию русского языка, расстояние между словами и умел ранжировать документы.

Его придумали Илья Сегалович и Аркадий Волож. В «Аркадии» запустили новую версию поисковой программы, и хотелось дать ей какое-то небанальное название. Илья выписывал на листочке слова, которые описывали бы суть программы. Поиски шли вокруг слов search и index. Так появилось Yandex — сокращённое от «yet another indexer» («ещё один индексатор»), а Аркадий предложил заменить первые две буквы на русскую «Я».

«Аркадия» вошла в состав компании CompTek, которая занималась поставками компьютеров и программного обеспечения. Через несколько лет CompTek стала учредителем другой компании — «Яндекс».

До появления сайта yandex.ru ещё несколько лет. А пока будущие создатели Яндекса работают над поисковыми технологиями в малом предприятии «Аркадия. Разумные проекты». Там они создали несколько информационно-поисковых программ — поиск по Библии, поиск по Классификатору товаров и услуг, поиск по Международному Классификатору изобретений. Последняя из программ даже неплохо продавалась.