Что такое Big Data?

Анонимный вопрос
  · 10,9 K
IT, Web, игры и масса других интересов

Дословно, Big Data – это большие данные. Если говорить более профессиональным языком, то это набор специальных методов и инструментов, которые используются для хранения и обработки огромных объемов данных для решения конкретных задач. Причем данные могут быть как структурированными, так и неструктурированными (неорганизованными, неоднородными).

1 эксперт подтверждает
14 января 2019  · 9,6 K
Комментировать ответ…
Ещё 5 ответов

Прочла книги Юваля Ноя Харари и узнала о новой религии - датаизм. Датаисты верят в алгоритмы и отвечают на вопросы, на которые традиционная наука не даёт ответа. Харари полагает, что на смену веры в Бога и Человека пришла новая религия - верящая в алгоритмы - Big Data. Удачи нам всем и мудрости!

Комментировать ответ…
Сервисы для маркетологов. 2000+ инструментов, 20000+ отзывов экспертов, кейсы и рейтинги...  · otzyvmarketing.ru
Если примитивно, то Big Data – большие данные. Если углубиться в смысл профессии аналитика или разработчика, то под big data поднимают набор методов и инструментов для хранения и обработки данных и решения задач. Зачастую аналитик занимается неструктурированными (неорганизованными) данными, которым нужно придать форму с помощью алгоритмов, библиотек... Читать далее
Комментировать ответ…

Это может быть тысячи программ каждая с своими данными задача объединить эти данные чтобы это не было хаосом а получилась одна конкретная !!

4 июня  · 3,4 K
Комментировать ответ…
Вы знаете ответ на этот вопрос?
Поделитесь своим опытом и знаниями
Войти и ответить на вопрос
Читайте также

С чего начать изучение Data Science?

Основатель небольшой компании аналитического программного обеспечения

На сегодня основная проблема Data Science - недостаток людей, которые могут её грамотно применить с прибылью для компании.

Поэтому начинать лучше с эконометрики, статистики, экономики, правовых основ работы с данными, устраиваться на работу в компании, где данные широко используются (поисковые системы, мобильные операторы, страховые компании, банки), и практиковаться, практиковаться... проверяя всё что вам говорят на прецедентах из реальной жизни.

Например, если говорят, что нужна сертификация для работы с персональными данными, нужно поинтересоваться, сертифицируется ли на эту работу соседний ларёк и почему, есть ли по этому вопросу правоприменительная практика.

Постепенно Вы (как я в своё время) поймете, что модные Big Data и Data Science - это фетиш разработчиков и айтишников в новой обертке, а проработку экономики и постановку задачи нужно делать полностью самому (либо с людьми, хорошо разбирающимися в экономике и праве конкретных отраслей и имеющих в них обширную практику). Именно к этому и нужно готовиться.

14 марта 2016  · 2,2 K
Прочитать ещё 4 ответа

Big Data(Data Engineer) или Data science или Machine Learning/Deep Learning ? Что на ваш взгляд перспективнее и интереснее?

PhD, senior scientist AI, неандерталец

Знаете, чтобы ответить на ваш вопрос, я поговорил с коллегами, которые тоже работают в Data Science. Примечательно, что нам всем что-то около 30, но никто из нас не учился специально на аналитика данных, какими бы они ни были. Кто-то учился на биоинформатика, кто-то - на математика, кто-то - на айтишника с упором на алгоритмы. И вот мы занимаемся Data Science, быстро и относительно безболезненно переключившись на этот род занятий.

Переключиться безболезненно получилось потому, что мы все знали основы. А основы - это математика, в частности статистика и численные методы. Но знание рецептов это даже не главное: я, в конце концов, и статистику, и численные методы в университете крайне недолюбливал, тяготея к геометрии. Главное - это умение быстро разобраться в методах.

That said, что можно ответить на ваш вопрос? Пятнадцать-двадцать лет назад, когда мы учились в школе, самым перспективным направлением был веб-дизайн. Веб-дизайнеры были везде нужны, веб-дизайнерам хорошо платили. Одним из основных применений языка Java были апплеты - но сейчас кто вспомнит, что это такое.

Да, по опросам StackOverflow, более половины разработчиков всё ещё используют javasript, но есть чёткий, устойчивый тренд к тому, чтобы сайты создавались в WYSIWYG-редакторах, где знания программирования не нужны вовсе. По ходу дела, слово "веб-дизайнер" стало синонимом слова "быдлокодер", а искусственный интеллект научился писать программы на javasript - пока что не длиннее 5 операторов, но лиха беда начало.

И тут мы подходим к собственно ответу. Если вы учитесь в школе, будьте готовы к тому, что ко времени, когда у вас появится семья и её нужно будет содержать, все те специальности, о которых вы говорите, будут уже сильно автоматизированы, и "data scientist", "deep learning" и "machine learning" станут синонимами "хуже, чем быдлокодер". 

Хотите перспективы? Учите базу - а базой любой науки была и остаётся математика. Учите высокоуровневые языки программирования - впрочем, если программировать на них правильно, они становятся очень похожи по духу опять-таки на высшую математику. Собственно, на этом мы и сошлись с коллегами. Мы-то уже готовы к тому, что нам придётся опять менять профессию. Но нам не впервой.

Прочитать ещё 1 ответ

Что такое анализ больших данных?

Пишу, фотографирую, рисую

Большие данные или Big Data - это очень большой объем некой информации, который невозможно обработать с помощью привычных нам программ.

Мне кажется, будет гораздо понятней привести пример больших данных в нашей с вами жизни. Представьте все социальные сети, которые существуют на планете. И ваш аккаунт. А теперь попробуйте сопоставить ваш аккаунт со всеми существующими аккаунтами. Представили, насколько ваш аккаунт - песчинка? Это как наша планета - всего лишь песчинка в космосе.

Так вот все социальные сети вместе - это Big Data.

Анализировать, то есть изучать такое количество данных сложно. Поэтому были придуманы некоторые методики:

  • глубинный анализ - совокупность информационных технологий и математических данных,
  • краудсорсинг - изучает сразу несколько видов данных (к примеру, две-три разные соцсети),
  • А/В тестирование - это когда в сравнении изучаются не каждая единица данных, а их некие "куски", совокупности,
  • изучение искусственным интеллектом,
  • сетевой анализ - часто этим способом изучают именно соцсети - это изучение взаимодействия единиц данных с помощью статистической информации.
1 ноября 2018  · 7,1 K
Прочитать ещё 3 ответа

Можете простым языком объяснить, чем занимаются data scientist’ы? Такое ощущение, что это куча не связанных между собой вещей.

Живу в Лондоне, работаю в рекламе, занимаюсь data science

Дата-сайнтесты занимаются тремя вещами:

1) Разбираются, какие данные есть и как их связать друг с другом

2) Создают таблички и графики, показывающие что эти данные означают

3) Строят модели предсказывающие что-либо важное для науки или бизнеса на основе данных

Данные в общем случае могут быть любыми, но чаще всего это логи крупных систем сбора информации, например счетчиков расхода электроэнергии, логов посещения вебсайтов, или гео-логов мобильных телефонов.

8 марта  · 849
Прочитать ещё 2 ответа

Как стать data scientist?

Aequĭtas sequĭtur legem

Профильных учебных заведений в России по данному направлению пока, к сожалению, нет. Для того, чтобы стать экспертом аналитических данных нужно обладать знаниями в области IT технологий и программирования, статистики и аналитики, математики. Лучше всего подойдет хороший технический ВУЗ с направлениями подготовки программистов.

Прочитать ещё 2 ответа