Яндекс научился искать без слов

9 сентября 2013, 12:47

Любой поиск в интернете начинается с запроса, который пользователь вводит в поисковую строку. Запросы могут быть разными, и дело даже не в длине или формулировке, а в самой их форме. Обычно запрос — это слово или несколько слов, но иногда проще решить задачу без них. Скажем, описывать словами, что нарисовано на той или иной картинке, бывает затруднительно. А теперь и не нужно — Яндекс научился искать не только с помощью слов, но и с помощью картинок.

В любом поисковике довольно просто найти информацию о Ниагарском водопаде. Но что если у вас есть только фотография водопада, а Ниагарский он или нет — кто его знает? С помощью поиска по картинке можно быстро это выяснить. Поиск по картинке вообще позволяет легко расширить кругозор и узнать, например, что это за зверь:
 


Можно найти не только описание изображения, но и любую другую связанную с ним информацию. Например, по картинке товара можно найти интернет-магазин, в котором он продаётся, а по фотографии певицы — сайт, где её фотографий целая коллекция. Наконец, можно просто поискать такую же картинку, но, например, не обрезанную или без подписей.

Новая возможность работает на технологии  компьютерного зрения,  созданной разработчиками Яндекса. Она называется «Сибирь» (от англ. CBIR – Content-based image retrieval, то есть поиск изображения по содержанию). После того как пользователь загрузил картинку, поисковая машина превращает её в набор визуальных слов. Визуальные слова — это удобные для поиска численные представления ключевых элементов картинки (границы объектов, контрастные области и так далее). После этого поисковая машина выбирает среди известных ей миллиардов картинок изображения, содержащие такие же визуальные слова, как на загруженной картинке, отсекая все остальные. Это важный этап, потому что для увеличения скорости необходимо сузить область поиска. Потом компьютер сопоставляет расположение ключевых элементов на оставшихся изображениях и выстраивает их по близости к загруженной картинке так, что сверху оказываются наиболее похожие. Всё это занимает меньше минуты.
 


Искать похожие изображения среди миллиардов картинок в интернете очень сложно, во всём мире это умеют делать лишь несколько компаний. Наш поиск по картинке — это лишь первый шаг на довольно трудном пути. Сейчас Яндекс ищет картинки, совпадающие с загруженной или имеющие идентичные фрагменты, но постепенно будет учиться большему. К примеру, поиск уже показывает способности к обобщению: иногда находится не просто такая же картинка, а другое изображение, содержащее такой же объект. Например, поиск по изображению Эрмитажа, взятому из панорам на Яндекс.Картах, даёт такой результат.

Так что впереди ещё много интересной работы, результат которой вы обязательно увидите.

Александр Крайнов, менеджер проектов компьютерного зрения

60 комментариев
Подписаться на комментарии к посту

Ай умнички!! Давно хотелось! Спасибо! Даже, если не очень пока будет работать - всё равно молодцы!

такой сервис работает уже лет 5 http://www.tineye.com/

Ну у Яндекса теперь свой с блекджеком и многим другим.... ))

про гугл забыл ещё)

Черепанов Сергей
9 сентября 2013, 21:16
Да, в google такая функция уже давно есть.

У гугла еще много чего есть, до чего Яндекс еще просто не дорос. Со временем и здесь появится, если будет удобным, полезным и востребованным функционалом.

ищет, только не очень хорошо. Гугловский поиск по картинкам уделывает тинай.

 

Яндексовский пока же предстоит протестировать.

Работает, но через пень-колоду.

Был еще gazopa закрылся только и туча мелких.

Надеюсь будет лучше чем у гугла.

супер!

Отлично!!! 

Вроде неплохо. Но для себя нашел минус, которого нет в гугл. Для загрузки картинки нужно нажимать кнопочку, в гугле этого лишнего действия нет.

Только что хотел тоже самое написать)

Комментарий удалён

Можно и сейчас - копируете ссылку на картинку, кликаете на "загрузить картинку" и в поле "имя файла" вставляете интернет-ссылку. Всё загрузится.

Или ещё проще - ссылку на картинку прямо в поисковую строку картиночного поиска.

Да, проглядел. Спасибо!

а чтобы картинку со своего компа? так нельзя?

Можно, нужно нажать на иконку возле кнопки поиска и загрузить картинку.

Да, вот это отлично! Спасибо. Давно ждал эту функцию от российского поисковика.

так он и ищет по ссылке - если нажать кнопку  "поиск по картинке" и потом скопировать ссылку в строку поиска

Лукьянов Максим
9 сентября 2013, 13:57

Замечательно, теперь ждем расширения для Chromium, чтобы в два клика искать. И пожалуйста без таргета на поисковую вкладку :) 

Ой, а в чём новость? Почему плагин «Кто украл мои картинки» поддерживает обратный поиск по Яндекс.Картинкам с 2010 года?

И назвать лягушку зверем — это двойка по биологии.

Что за плагин? К чему?
Фу, файрфокс :(

а чем не устраивает?

Собственно, всём. Модульностью (и взаимными глюками модулей), тормознутостью и т.д. Самый неудобный броузер, даже хуже IE.
Впрочем, это моё личное субъективное мнение, не являющееся поводом для дискуссии на эту тему.

А какой же, по твоему "субъективному мнению", хороший браузер, если не Мозилла?

Зверь - это, по-вашему, непременно млекопитающее? В западных языках animal (от латинского anima, т. е. "душа") означает любого представителя фауны нашей планеты.

Да, млекопитающее, за исключением однопроходных. А animal — это животное.

Спасибо за нововведение! Пожелание: добавить возможность искать картинку из контекстного меню, так как загружать изображение из сети на компьютер, а потом в "Яндекс" неудобно.

Не нужно загружать картинку на компьютер. Кликаете правой кнопкой на картинке, нажимаете "копировать URL изображения" (или что-то вроде этого) и вставляете ссылку в строку поиска картинок.

Спасибо)

Этого нам очень не хватало! Еще бы улчшить индексирование картинок в зарубежном интернете.

Сделайте еще, пожалуйста, плагин для Firefox, аналогичный этому - https://addons.mozilla.org/ru/firefox/addon/googlesearch-by-image/

Было бы очень удобно пользоваться.

угу очень нужен плагин *)))))

 

Мячин Святослав
9 сентября 2013, 15:26

Отлично! Давно уже хотел подобного сервиса от Яндекса. 

Недавно мечтал о таком поиске. Спасибо большое!:-)

У Гугла уже давно есть.

Мильчик Карина
9 сентября 2013, 17:12

Как здорово! Не зная как называется, можно найти!!!! УРА! Так держать!

Проверил пока на нескольких фотках - отлично работает!

Ну наконец-то, не прошло и десяти лет ;)

Не знаю, кто такие Байду, но у гугля этот поиск фактически не работал. Или слабая индексация - картинки вот лежат на поверхности, а не находит. Впрочем, как и ТиниАй.

Бум пробовать - чертовски нужная фича!
Не, тоже не ищет :(
Загрузил свою фотку, которая лежит, и очень давно, как минимум в двух открытых местах - "не найдено" :(

И на ya.ru этой опции поиска нету почему-то.

Мой двоюродный дед определился как Тиесто :)

Этот сервис очень давно хотелось видеть на Яндексе, ведь в Гугле есть не все изображения. А отныне будут друг друга дополнять.

Плюс небольшая просьба сделать возможность перетаскивания прямо в строку поиска без доп. нажатий по кнопкам.

хм...с яру и яфы ненашел....

забавный результат поиска по картинке

http://pic.pandawill.com/media/catalog/product/cache/1//9df78eab33525d08d6e5fb8d27136e95/s/k/sku49041_11.jpg

 

яндекс - проигноривал изображения телефона, но распознал обои на экране и нашел 2 оригинальных картинки от обоев

 

гугл - нашел кучу аналогичных картинок телефона. где-то на 4й странице выдал и теже оригинальные картинки обоев, как и яндекс.

 

ИМХО, яндексу есть куда расти

Было бы здорово добавить сортировку результатов поиска картинок по географии и дате (как это сделано на текстовом поиске).

Харисов Ильвир
10 сентября 2013, 15:49

а людей по фотке можно найти?))

 Навскидку несколько мыслей по предмету:

очевидно, что общую задачу поиска похожих изображений необходимо разбить на несколько подзадач, требующих разного подхода и разных ресурсов для решения и имеющих разные цели.

1. (самое простое) поиск абсолютно идентичной картинки  - считается хэш-сумма файла для каждого найденного поисковым роботом изображения и кладется в БД поисковика. По запросу пользователя считается хэш загруженного им файла, поиск производится по БД хранящей хэши картинок. Выводятся все картинки с одинаковыми хэш-суммами.

2. (тоже просто) поиск идентичной картинки измененной (поставлен/убран логотип) но размер картинки не изменился - вполне достаточно анализировать не все изображение, а провести несколько прямых линий (диагональных например) и хранить в БД числовые характеристики этих линий, по ним и производить поиск.

3. (сложнее) поиск идентичной картинки с измененными размерами - тоже можно обойтись диагоналями, но алгоритм отбора будет сложнее, необходимо будет учитывать растягивание/сжатие цветовых фрагментов

4. (самое сложное) - полноценное распознавание образов и поиск этих образов, например поиск лица конкретного человека на всех фото полученных с видеокамер в аэропортах (задача для спецслужб, которая уже реализована)

первые 3 случая достаточно просты и весьма интересны широкому кругу лиц, прежде всего правообладателям, с них можно даже брать плату за коммерческое использование подобного сервиса.

а вот полноценное распознавание образов правообладателям не интересно, их интересует нелегальное использование их контента, а не похожий контент конкурентов.

кстати с большой долей вероятности, общедоступный сервис по распознаванию лиц людей в интернете будет запрещен законодательно, во избежание его использования в криминальных целях. И использовать его будут только спецслужбы.

Впрочем, сервис по онлайн-распознованию найденных в лесу грибов будет весьма актуален!

 

 

Такой вопрос: сколько времени хранятся загруженные (напрямую или по ссылке) картинки? Если картинка загружена по ссылке, попадает ли она потом в индекс?

Большой респект умным дядькам из Яндекса

а где сам сервис "сибирь"?
Очень приятное новшество...



ой а текст уже удалился

большое спасибо
Шляпа полная и с Гуглом не сравнить. Детишкам поиграться от нечего делать. Из 4 моих аватарок нашёл лишь 1, причём авы присутствуют и в качестве фото на всех соцсетях, многих форумах, на облачных дисках (на яндексе в том числе)), в планшетах, смартфоне..))) А то,что они расказывают про "поиск по фрагменту" картинки,это им вообще,видимо, приснилось..)))) Даа, скромность так и прёт, сам себя не похвалишь...
А как сделать так, чтобы мою картинку не смогли найти на других сайтах? Насколько сильно мне нужно отредактировать картинку, чтоб она не отобразилась в поиске?
Не понимаю, почему у меня эта функция не работает. Причем раньше работала, а потом перестала.
В Яндексе работают лохи! Вот почему у Гугла все сервисы работают на ИП6 и вот почему Яндекс умирает, а Гугл растет семимильными шагами! Жаль ... так Яша скоро и коньки отбросит.