📸 PickLang — приложение, которое дает возможность изучать языки самым естественным для человека способом — исследуя окружающий мир

📸 PickLang — приложение, которое дает возможность изучать языки самым естественным для человека способом — исследуя окружающий мир. Приложение генерирует упражнения по пользовательским фотографиям в режиме реального времени.

Это позволяе учить языки сопоставляя окружающие образы с их описанием. Пользователь выполняет упражнения, сгенерированные по собственным фотографиям или взятые из библиотеки готовых фото. Доступно два вида упражнений:

▪️ выбор названия выделенного на фото объекта;
▪️ заполнение пропущенных в описании фотографии слов.

В основе технологии лежат нейронные сети архитектуры Transformer. Используются различные методы обработки естественного языка, векторизации слов и предложений, распознавания именованных сущностей, компьютерного зрения и автоматической генерации речи. Использование самых современных архитектур и подходов к обучению моделей позволяет достигнуть результатов метрики для оценки качества генерации текстового описания картинок BLEU-4 более, чем 42%.

🌚 Источник