Что такое большие данные, почему это важно и насколько это опасно?

Данные — это информация, но это только часть истории. Одна деталь о событии или факте о здоровье человека — это не много данных для работы. Это сбор, организация и хранение информации, о которой мы думаем, когда говорим о данных.

В эпоху интернета компании и организации по всему миру собрали так много данных, что мы сейчас говорим о вопросах в значительно большем масштабе. Сейчас есть большие данные, и они оказывают огромное влияние на всю нашу жизнь.

Что такое большие данные?

Большие данные — это набор данных, настолько большой, что наши традиционные средства управления информацией не годятся для работы. Эта коллекция может принимать разные формы.

Примеры больших данных

• Твиты хранятся на серверах Twitter
• Информация, которую Google получает от отслеживания поездок на автомобиле
• Полный набор результатов местных и общенациональных выборов в стране, начиная с того, что записи были сохранены
• Какие страховые медицинские компании знают о том, кто получает лечение в каких больницах?
• Типы покупок и места, которые появляются на кредитных картах
• Что люди смотрят на Netflix

  когда, где и как долго

Что такое технология больших данных?

Наши ПК могут обрабатывать довольно много данных. Просто представьте всю информацию, которую можно втиснуть в одну таблицу. Программное обеспечение базы данных способно обрабатывать даже большие объемы информации. Эти инструменты могут втиснуть в один жесткий диск данные, которые в противном случае потребовали бы полки, заполненные коробками, заполненными блокнотами и папками.

Но этих инструментов недостаточно для обработки всего объема информации, которую мы называем большими данными. Для этого мы разработали новые методы. Облачные вычисления снимают нагрузку

с наших компьютеров на удаленные серверы. Оттуда существует множество способов доступа и использования информации.

Известные использования для больших данных

Большие данные не возникали сами по себе. Несколько тенденций способствовали его существованию.

Интернет вещей

Интернет, который вы знаете в настоящее время, — это Интернет людей. Это место, где люди взаимодействуют друг с другом, машины помогают этому общению. Вы просматриваете сайты, которые проектируют люди. Вы читаете слова, которые печатали люди.

Интернет вещей — это то, где устройства общаются напрямую друг с другом без участия человека.

, Одно устройство контролирует погоду. Умный термостат получает доступ к этой информации и регулирует температуру в вашем доме.

Большие данные и Интернет вещей взаимозависимы. Эти устройства могут самостоятельно выполнять действия благодаря всем доступным им данным. Чем больше устройств работает таким образом, тем больше данных генерируется.

Машинное обучение

Машинное обучение относится к способности компьютера учиться на основе данных. Вот как радиостанции Pandora формируют ваш стиль. Машинное обучение также стоит за рекомендациями по содержанию на YouTube и Netflix.

Эти прогнозы обусловлены алгоритмами. Алгоритм поиска Google? Алгоритм, который определяет, что вы видите в новостной ленте Facebook? Это все машинное обучение на работе.

Это всего лишь несколько примеров того, как алгоритмы машинного обучения влияют на наш повседневный опыт.

Искусственный интеллект

Искусственный интеллект — это следующий шаг после машинного обучения. Здесь компьютер не только изучает данные, но и использует эту информацию для принятия собственных решений и определения своего поведения.

Microsoft и Google продемонстрировали усилия по созданию роботов-гуманоидов

, Facebook использует искусственный интеллект для предотвращения самоубийств

, Технология развивается такими темпами, когда было несколько случаев, когда мышление компьютера превосходило человеческое мышление.

,

Что такое аналитика больших данных?

Источники больших данных сами по себе ничего не говорят. Кто-то должен разобраться во всей этой информации. В этом и заключается область аналитики больших данных: смотреть на непостижимо большие объемы информации и смотреть на то, что мы можем изучить.

Сегодня все больше организаций начинают новые проекты больших данных, и компании конкурируют, чтобы предложить свою особую форму анализа больших данных во многих различных областях. Именно благодаря этим действиям большие данные влияют на вашу жизнь, даже если вы современный Luddite

,

Почему люди делают это? Потому что при правильном понимании большие данные могут принести много пользы.

Преимущества больших данных

Люди стремятся использовать большие данные для улучшения нашей жизни. Вот некоторые из областей, где работают большие данные.

Большие данные в здравоохранении

Индустрия здравоохранения не самая быстрая в освоении новых технологий. Некоторые провайдеры все еще переходят с бумажных носителей на цифровые. Тем не менее, есть области, где большие данные имеют значение. Одним из них является область интеграции. Страховщики и провайдеры работают над объединением данных из разных источников, таких как претензии, рентген, заметки врачей и рецепты.

Финансовая индустрия всецело поддерживает идею принятия решений на основе компьютерного анализа. Сбои флэш-памяти на Уолл-стрит происходят из-за автоматической торговли, когда машины быстро распродают запасы без участия человека, в зависимости от того, что происходит на рынке. Это называется высокочастотной торговлей.

Теперь ученые, работающие с финансовыми данными, используют большие данные, чтобы предсказать, какие акции преуспеют и когда вероятны будущие крахы. Банки также рассматривают большие данные как способ увеличить свои доходы.

Большие данные в электронной коммерции и маркетинге

Мы генерируем много информации, когда делаем покупки. В магазине кредитные карты и карты лояльности отслеживают каждую нашу покупку. Некоторые магазины используют камеры или даже отслеживают наши телефоны, чтобы увидеть, какая часть магазина удерживает наше внимание дольше всего. В Интернете мы должны создавать учетные записи перед покупками, что позволяет сайтам отслеживать не только то, что мы покупаем, но и каждый товар, который мы просматриваем.

Магазины базируют свои макеты на потребительском интересе и поведении. Интернет-продавцы решают, что мы видим, основываясь на демографической информации и других показателях. Новые обычные магазины Amazon являются примером слияния двух миров.

Существует большой спрос на такое понимание, которое приходит от мониторинга наших интересов и поведения в Интернете. Facebook и Google являются прибыльными технологическими гигантами благодаря своей способности продавать рекламу, которая лучше ориентирована на конкретные группы потребителей, чем другие методы и платформы. Они могут сделать это благодаря всей информации, которую мы предоставляем при использовании их услуг.

Опасны ли большие данные?

Большие данные приходят с обещанием, но они также сопряжены с риском

, Во-первых, это нарушение конфиденциальности. О каждом из нас знает больше людей, чем когда-либо в истории человечества. Не только легко найти, где мы живем, но и куда мы идем, кого мы любим, как мы живем и что мы думаем.

Это делает людей и общества более открытыми для манипуляций. Нас могут обмануть, чтобы мы отказались от наших паролей и номеров кредитных карт, или мы можем голосовать за кандидатов, которых мы не поддержали бы в противном случае.

, Больше данных предлагает рекламодателям и медийным компаниям больше возможностей для формирования наших желаний и ценностей.

О нас больше данных, чем раньше, и эти данные хранятся в большем количестве мест. Это создает больше целей для атаки. Уже не достаточно для защиты наших собственных машин. Нарушения данных в настоящее время происходят регулярно, и то, что происходит с нашими данными, находится вне нашего контроля

,

Даже компании, которые могут сделать достойную работу по защите наших данных от внешних атак, часто делают сомнительные вещи с этими данными сами, как в случае с Facebook

,

Кроме того, существует риск того, что люди делают с большими информационными данными, что позволяет им прогнозировать. Обвиняем ли мы людей с нездоровым питанием больше за медицинскую страховку? Должны ли мы увеличить полицейскую деятельность в областях, которые, по нашим прогнозам, будут иметь больше преступлений? Повышаем ли мы цены для онлайн-покупателей, которые живут в богатых районах?

Поиск путей обеспечения безопасности наших данных, соблюдения нашей конфиденциальности и сохранения наших ценностей будет постоянной проблемой, поскольку тенденция к большим данным сохраняется. Но независимо от того, как мы к этому относимся, к лучшему или к худшему, мы все живем в мире больших данных.