Клуб о поиске Яндекса

Визуальный поиск – каким он будет?

boyko-ov
12 ноября 2009, 15:54

В августе этого года Яндекс запустил визуальный поиск стран и городов.

Практически сразу аналогичный сервис появился и у поисковой системы Bing. Хотя реализация отличается, интересен тот факт, что независимо друг от друга поисковые разработчики думают примерно в одном направлении.

Почему бы не представить, как может развиваться визуальный поиск? И может ли? Стоит ли собирать полную базу картинок, делить её на группы и показывать сразу все? Либо перевести поиск в режим «фоторобота» и искать полную картинку, составляя ее из различных частей?

Каким должен быть в идеале визуальный поиск?

27 комментариев
Подписаться на комментарии к посту
Кажется очень интересной и красивой идея поиска картинок по эскизу изображения (где-то такое уже есть, впрочем). Это похоже на поиск музыки по куску мелодии (это тоже кто-то делал, вроде).
Да, кстати, тоже об этом подумалось:)

Потому что вариант просматривать кучу картинок, отыскивая то, что тебе нужно - много времени уйдет.
Поиск по тексту запроса и модель вопрос-ответ сейчас наиболее привычны пользователям. Но в будущем все большей популярностью станет пользоваться поиск по образцу, ассоциациям, звуку, как мне кажется. Потому что такой поиск не требует знания чего-либо для того, чтобы составить правильный запрос для поисковой системы.
Ооо! Ну тут можно помечтать)

Например, накидал себе какой-нибудь эскизик, загрузил, а Яндекс тебе похожие изображения, да в хорошем качестве!
Вот бы девачки порадовались возможности найти места, где можно купить нарисованное платье!
Поиск - мечта!
Вот выше говорит, что такое уже где-то есть. Было бы интересно посмотреть.
Да! Или загружаешь фотку неизвестной птички (рыбки, гриба или ещё какой живности), которую увидел на прогулке, а в поиске уже ответ - что это такое. Хорошее дополнение к энциклопедии.
И в мобильную версию!
ох, и туда б еще поиск по людям))))))))))))
Например, http://www.gazopa.com/ ищет по загруженной картинки или по эскизу, который можно нарисовать на месте.
С эскизом платья как-то недоработка, но почти угадали
красное платье = зеленый человечек
т.к. ссылка ни у кого не открывается, то сделал скриншот красное платье 
ммм.. интересно, там изображения по релевантности расположены?))))
Вроде как там есть ранжирование по цвету, по форме и т.п.

Какое стоит по умолчанию - непонятно:)
вот-вот) даже боюсь предположить, по каким параметирам релевантен слон платью - цвет лил размер))
У Bing запрос строится по картинке, которая находится в каталоге изображений: когда пользователь не знает, как называется объект поиска, он выбирает интересующую его тему и ищет в ней картинку, которая кажется ему подходящей - кликом по ней строится запрос, который передается в традиционный поиск.

Возможный вариант: пользователь вводит очень широкий запрос, например, "машина". В результате поиска он получает изображения различных машин (разных марок, типов, цветов и т.п.). Выбирая конкретную картинку (или несколько картинок), он сужает свой запрос и получает результаты поиска, более соответствующие его информационной потребности. По сути - это то, что называется "обратной связью по релевантности".
А мне вот, что еще интересно. При поиске страны мечты учитываются, картинки, которые я отметила как "ничего не нравится"?
Бывают более удачные фотографии и менее удачные. В одной стране бывают совершенно разные по ландшафту или архитектуре области. И наша задача - показать то, что вы о стране еще не знаете. Поэтому нет, напрямую днные о пропущенных картинках не учитываются. Тем не менее, в процессе поиска география сужается в зависимости от того, какие картинки были выбраны.
=Каким должен быть в идеале визуальный поиск?=
Какие у пользователя возможности попросить поисковик найти нужную картинку?.. Показать - фрагмент, уменьшенную копию, образец для поиска "чего-то похожего". Или описать словами что хочется. Если для обоих типов запроса будут хорошие результаты, лучше и желать нечего.

Я не знаю, как работают с изображениями, как выделяют на них объекты, классифицируют и т.п. Но в области текстового запроса все достаточно логично, нужно:
- группировать изображения по темам и предлагать пользователям тематические подборки, соответствующие запросу,
- поощрять механизмы текстого описания (теги, заголовки) изображений и вести поиск по ним,
- вводить механизм подсказок запроса. Например, из этого фото сходу ясно, что - девушка. А вот, что это "счастливая девушка с покупками, на белом фоне" - пусть лучше поисковик подскажет. Потому что без помощи поисковика получается что-то вроде "девушка с сумками", "девушка с пакетами и раскрытым ртом" :0
Группировка по темам - это, по сути, ассоциации к запросам, которые сужают тематику широких запросов с учетом наиболее частых предпочтений пользователей:
"маска" -> "театральные маски", "венецианские маски", "карнавальные маски", "фильм маска" и т.п.

Визуальный поиск должен обращать внимание скорее на визуальные атрибуты. Например, если пользователи по некоторым запросам выбирают картинки на белом (или любом другом однородном) фоне, то, скорее всего, по этим запросам чаще всего ищут клипарт. И если пользователь по запросу выбрал из всех предложенных ему картинок клипарт, то предложить ему сузить поиск на этот тип изображений.

А вот как определить, что на фотографии девушка "счастливая и с покупками" - это хорошая задача распознавания образов. Есть методы выделения лиц и определения эмоций... С покупками сложнее. ;)
=А вот как определить, что на фотографии девушка "счастливая и с покупками"...=
Подсказки в Картинках сейчас генерятся, скорее всего, как и в поиске - на основании запросов в этот сервис. Я имел в виду другой способ формирования подсказок - на основании метаинформации к картинкам. Там много проблем, но меняется сам принцип: вместо того, чтобы подсказывать юзеру что спрашивали другие, поисковик подсказывает что у него есть.
Кажется, фотобанки уже давно так ищут. Да, это очень удобно. Но в их случае это проще, потому что все теги проставлены вручную и гарантированно относятся к картинке.
Пример как раз из фотобанка. Насколько знаю, фотографы так внимательно относятся к правильному "тегированию" своих работ из прагматичных соображений: чем больше их фото пользователи найдут - тем больше купят. А обучают их этой технологии саппорты фотобанков. Тоже из прагматичных соображений: чем лучше работает поиск по базе, тем больше продаж, тем больше с них комиссионные.

В визуальном поиске подобная "экономика" категорически неприемлема?
Да. И, как правило, в хороших фотобанках есть команда реакторов, которая сама расставляет и правит тэги. Например, на corbis.com каждая фотка содержит 20 и более тэгов, описывающих не только объекты, но и сцены. Это большой ручной труд, который окупается продажами.

Визуальный поиск должен работать автоматически.
Дмитрий, а какую информацию сегодня Яндекс умеет получать из изображений?
Lyudmila Kudryavtseva
13 ноября 2009, 15:28
Каким должен быть в идеале визуальный поиск? главное тут уже назвали - поиск картинки, похожей на загруженную - остались детали :) 1) лёгким и быстрым 2) с опцией поиска картинок под лицензией creative commons 3) ориентированным на игровой, развлекательный поиск, а не исследовательский, информационный (только такой может стать популярным). 4) круто было бы, если бы владельцы поиска по картинкам устанавливали какие-то договоренности с фотобанками и базами клипарта. На таких сайтах картинки хорошо описаны и размечены тэгами
А можно найти человека по фотографии? Например: есть у меня фото человека и мне надо найти другие его фотографии в сети. Распознавать черты лица и искать по разным соц. сервисам, фотохостингам, везде где есть фотографии.
Есть и такой сервис: http://www.picollator.ru.
Спасибо. :-) Мне хочется искать свои изображения хотя бы с ярушных оффлайнов на Яндекс Фотках. Обычно как: собирается много людей, почти все фотографируют. Потом выкладывают , подписывать каждого участника лень или не знают как это сделать правильно. Свои фотографии у других отследить хочется.