Какие формы ошибок выборки (selection bias) можно встретить в данных?
Ирина БеккерData Science
· 1,8 K
преподавание математики, высшей математики, data science,
автор бестселлера "Математика... · 28 сент 2021
С уважением к другим ответам позвольте добавить свои 5 копеек.
(1) Конечно, самая неприятная - не репрезентативность выборки. То есть 1000 штук из всей 100 000 - неправильно представляет свойства всей совокупности. Допустим, собрали по Москве 1000 бомжей. Они совсем не представляют москвичей en masse ( в массе).
(2) Попроще, но тоже - ошибка размера выборки.
(3) А вот еще сложная ошибка = вы ведёте сложный datamining и постоянно выбираете тенденциозные исправления выборки
и не ведете страховых выборок.
(4) Классическая ошибка - выбирать при гипотезе Гауссовского распределения, в то время как генеральная ему не подчиняется.
Надо заметить, что страховые компании обожглись и вместо гаусса применяют экпериментальные распределения.
(5) Еще один класс ошибок - либо усложнение размерности выборки, либо уменьшение.
Старший разработчик компании Google.
Основная специальность - машинное обучение, глубокое... · 17 сент 2021
Классификацию таких ошибок я не встречал, но приведу примеры, которые видел:
1. Компания Google пару лет назад решила внедрить автоматическую классификацию фотографий пользователей в облаке. В результате часть фотографий темнокожих людей были промаркированы "Горилла" [1]. Причина скорее всего в смещенной выборке фотографий при обучении классификатора. Результат -... Читать далее
Большинство открытых экзопланет относятся к классу горячие Юпитеры. Следует ли из этого, что действительно большинство экзопланет такие? - нет, просто их проще всего обнаружить