Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Какие данные называются большими?

Есть ли средние данные, может быть, маленькие данные?

ТехнологииПрограммирование+3
Давид КацData Science
  · 4,2 K
Murat Muradow
любовь  · 5 июл 2021

Содержание. Какие большие данные. Как работает технология больших данных? Как обрабатываются большие данные? Где используется аналитика больших данных? Продажа товаров Подбор персонала. Банки. Автомобильная промышленность. Медицинский. Государственные органы. Маркетинг. СМИ. Логистика. Аренда обработки изображений. Кто работает с большими данными? Спрос на качественную информацию и профессионалов в ней. Как начать работу с большими данными? Почему все говорят о больших данных? Какая информация считается большой? Где их найти и почему?

Вячеслав Витальевич Шляхетский
Диванный философ, по совместительству инженер  · 22 июл 2021
Big Data это не совсем дословно об объемах данных. Это скорее методики их использования и обработки. Например транзакции по счетам крупного банка за год имеют огромные объемы. Но по прямому назначению, т.е. для перемещения средств между счетами клиентов, обрабатываются не как Big Data а как традиционная распределенная БД. Поскольку эти данные хорошо структурированы. И... Читать далее
1 эксперт согласен
Мария Кожевникова
Куратор темы Data Science  · 5 июл 2021
Это данные больше, чем те, что мы могли представить 10 лет назад. Нет строгой границы между данными стандартных размеров, к статистическому описанию или статистической обработки которых мы привыкли 30 или 40 лет назад, и большими данными. Конечно, есть очевидные крайние случаи, когда спора быть не может. В таких случаях даже серверы находятся в больших зданиях, это... Читать далее
1 эксперт согласен
Назарий Гоудин
Программист, экспериментатор, talk python to me.  · 13 июл 2021
Big Data- это не просто много данных, это очень много данных. Если вы работаете в Excel, то максимум с десятками тысячами срок. Если работаете с стандартными базами данных, у вас их миллионы. А Big Data, это уже когда вы для анализа запрашиваете данные петабайтами. 10 в 15 степени. У фейсбука миллиарды пользователей и следовательно чтобы проанализировать сегмент... Читать далее
Василий Горчаков
Родился, учился и работал в СССР. Инженер-оптик, программист RDBMS, алгоритмист...  · 14 авг 2021
Это где, когда и как. Когда-то все, что не влезало в файл 500мб, потом в таблицу 2гб, было очень большими данными. Потом появились RDBMS , которые могли хранить сотни гигабайт и быстро в них находить нужные мегабайты. Это были большие данные - десятки миллионов записей по 250 байт. Потом был миллион датчиков с интервалом 0.1 сек - это большие данные? Вроде как да... Посл... Читать далее
Andrey Kuzminikh
Chief Data Scientist Стратегии Сбера, HSE AI Researcher  · 6 сент 2021
Все просто, большие данные - чисто маркетинговое понятие. Есть принцип 5 V: 1) Volume (объем) - непосредственно объем данных. 1 гб вряд ли большой объем, но 1 гб в сек уже можно считать большими данными 2) Velocity (скорость) - данные получаем быстро, идеально - кликстрим 3) Value (ценность) - данные несут ценность для прикладной сферы, в которых они применяются... Читать далее
Александр Родинов
Data Scientist  · 11 июл 2021

Всё очень просто. Большие данные, это те, что не влезают в вашу оперативку. Всё. К сожалению у меня остались символы =(

Естественно, в большинстве случаев имеется ввиду, что не влезает в оперативку большинства серверов. И тут уже вступают в силу другие алгоритмы обработки больших данных, основанные на параллельном исчислении и прочих методах.

Первый
Виталий
IT сфера, программирование, анализ данных.  · 28 окт 2021
Если данных хватает для ответов по запросам маркетологов, рекламодателей, руководства компании или простых покупателей - считаем это большие данные. Т. е. если раньше информация о товаре содержала дату производства товара, срок годности и его цену. То со временем информации требуется все больше - спрос на товар в разных торговых точках, средней цене по регионам... Читать далее
1 ответ скрыт(Почему?)