Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Какие данные называются большими?

Есть ли средние данные, может быть, маленькие данные?

ТехнологииПрограммирование+3
Давид Кац
Data Science
  · 4,2 K
Chief Data Scientist Стратегии Сбера, HSE AI Researcher  · 6 сент 2021
Все просто, большие данные - чисто маркетинговое понятие.
Есть принцип 5 V:
1) Volume (объем) - непосредственно объем данных. 1 гб вряд ли большой объем, но 1 гб в сек уже можно считать большими данными
2) Velocity (скорость) - данные получаем быстро, идеально - кликстрим
3) Value (ценность) - данные несут ценность для прикладной сферы, в которых они применяются. Например, вряд ли кликстрим из посещаемости сайта игрушек будет положительно влиять на работу больницы
4) Veracity (правдивость) - данные должны быть не противоречивы друг другу и отражать действительную картину мира
5) Variety (разнообразие) - данные должны описывать все состояния предметной области. Например, если мы решаем задачу кредитного скоринга, то нам нужно знать информацию не только о "плохих" заемщиках, но и о "хороших" тоже
Диванный философ, по совместительству инженер  · 22 июл 2021
Big Data это не совсем дословно об объемах данных. Это скорее методики их использования и обработки. Например транзакции по счетам крупного банка за год имеют огромные объемы. Но по прямому назначению, т.е. для перемещения средств между счетами клиентов, обрабатываются не как Big Data а как традиционная распределенная БД. Поскольку эти данные хорошо структурированы. И... Читать далее
1 эксперт согласен
Куратор темы Data Science  · 5 июл 2021
Это данные больше, чем те, что мы могли представить 10 лет назад. Нет строгой границы между данными стандартных размеров, к статистическому описанию или статистической обработки которых мы привыкли 30 или 40 лет назад, и большими данными. Конечно, есть очевидные крайние случаи, когда спора быть не может. В таких случаях даже серверы находятся в больших зданиях, это... Читать далее
1 эксперт согласен
Программист, экспериментатор, talk python to me.  · 13 июл 2021
Big Data- это не просто много данных, это очень много данных. Если вы работаете в Excel, то максимум с десятками тысячами срок. Если работаете с стандартными базами данных, у вас их миллионы. А Big Data, это уже когда вы для анализа запрашиваете данные петабайтами. 10 в 15 степени. У фейсбука миллиарды пользователей и следовательно чтобы проанализировать сегмент... Читать далее
Родился, учился и работал в СССР. Инженер-оптик, программист RDBMS, алгоритмист...  · 14 авг 2021
Это где, когда и как. Когда-то все, что не влезало в файл 500мб, потом в таблицу 2гб, было очень большими данными. Потом появились RDBMS , которые могли хранить сотни гигабайт и быстро в них находить нужные мегабайты. Это были большие данные - десятки миллионов записей по 250 байт. Потом был миллион датчиков с интервалом 0.1 сек - это большие данные? Вроде как да... Посл... Читать далее
любовь  · 5 июл 2021
Содержание. Какие большие данные. Как работает технология больших данных? Как обрабатываются большие данные? Где используется аналитика больших данных? Продажа товаров Подбор персонала. Банки. Автомобильная промышленность. Медицинский. Государственные органы. Маркетинг. СМИ. Логистика. Аренда обработки изображений. Кто работает с большими данными? Спрос на качественную... Читать далее

Всё очень просто. Большие данные, это те, что не влезают в вашу оперативку. Всё. К сожалению у меня остались символы =(

Естественно, в большинстве случаев имеется ввиду, что не влезает в оперативку большинства серверов. И тут уже вступают в силу другие алгоритмы обработки больших данных, основанные на параллельном исчислении и прочих методах.

Первый
IT сфера, программирование, анализ данных.  · 28 окт 2021
Если данных хватает для ответов по запросам маркетологов, рекламодателей, руководства компании или простых покупателей - считаем это большие данные. Т. е. если раньше информация о товаре содержала дату производства товара, срок годности и его цену. То со временем информации требуется все больше - спрос на товар в разных торговых точках, средней цене по регионам... Читать далее