Dataset – это обработанная и структурированная информация в табличном виде. Строки такой таблицы называются объектами, а столбцы – признаками. В совокупности это и есть размеченные данные, на основе которых происходит машинное обучение.
Данные могут быть самыми разными. Например, вы хотите снабдить своё приложение голосовым поиском. Для этого нейронке нужно скормить набор данных с транскрипцией живой речи. Чтобы ИИ не тупил и понимал запросы как можно лучше - нужно очень много подробных примеров. Каждый пример - фрагмент аудиозаписи речи, отмеченные в ней фрагменты и перевод, о чём там говорится.
Под разные задачи есть разные виды разметки данных:
- выделение объектов (2D и 3D),
- сегментация объектов,
- категоризация изображений,
- классификация текстов,
- транскрипция рукописного текста,
- анализ тональности текстов,
- распознавание сущностей в тексте,
- транскрибация речи.
(Буквально отвечали на этот вопрос в нашей статье)
Первый
Если перевести дословно, то датасет — это набор данных. Как правило, термин используется в контектсе анализа данных и обозначает размеченный набор данных, пригодный для использования в алгоритмах машинного обучения.
В качестве примеров, несколько самых известных среди аналитиков набор данных:
1. «Титаник» содержит сведения о пассажирах печально известного корабля и... Читать далее