Big data в промышленности реферат

Обновлено: 02.07.2024

Некоторое время назад помогал коллегам с подготовкой отраслевых комментариев для СМИ. Так как, в конечные материалы вошла только часть моих тезисов, решил сгруппировать и выложить их в заметку. Заголовки соответствуют вопросам журналистов.

Как и где формируются потоки Big Data

Датифицировать и формировать большие данные для анализа можно практически из всего . Примеры:

  • Внутреннее состояние устройств и компонентов:
  • внутренние режимы
  • коды (в случае локомотива)
  • сохраненную в памяти информацию и метаданные
  • Внешнее состояние, собираемое через датчики:
  • температуру
  • вибропараметры и данные с гироскопов
  • фото и видео
  • аудио
  • Местоположение
  • Информацию о действиях и взаимодействиях систем:
  • системные логи
  • время между действиями одной системы
  • время ответа систем
  • внутренние запросы
  • Производные данные:
  • результаты виртуального тестирования
  • агрегированные метрики

О любом сложном механизме, в принципе, можно собрать бесконечное количество данных . Помимо расширения набора метрик, можно увеличивать точность и частоту сбора.

Сегодня самой “генерирующей данные” отраслью является авиационная, но остальные тоже подтягиваются. Современные самолеты имеют на борту тысячи датчиков и генерируют свыше 10 ГБ (гигабайт) данных в секунду и сотни терабайт данных за полет.

Способность датифицировать предметную область зависит от:

  • Датчиков (внешние, внутренние), способных выдавать данные, которые можно сохранять, сопоставлять и обрабатывать
  • Каналов передачи данных, способных передать объем собираемой информации, алгоритмов и методик сжатия данных
  • Способности эти данные сохранить

Генерировать “данные ради данных” – контрпродуктивно , как минимум, в ближайшей перспективе, пока мы научились автоматически эффективно находить логические связи (Unsupervised Learning - это не то)

Чтобы успешно использовать Big Data нужны:

  • Возможность связать данные между собой (идентификаторы устройств/пользователей, временные метки и т.д.)
  • Хотя бы минимальная значимость данных для тех целевых параметров, которые пытаемся оптимизировать
  • Умение выработать управляющее воздействие

Для чего в промышленности используются большие данные

Большие данные в промышленности уже используются для ряда задач:

  • Своевременное выявление и устранение потерь в производственных процессах
  • Повышение стабильности технологических процессов
  • Оптимизация расхода энергии
  • Оптимизация сетевого планирования
  • Оптимизация ТОиР
  • Прогнозирование отказов оборудования (Предиктивная аналитика)

В качестве примера можно привести реализуемые проекты в железнодорожной отрасли РФ:

  • Цифровизация производства и создание цифровых двойников заводов транспортного машиностроения
  • Цифровизация сети сервисно-локомотивных депо
  • Предиктивная аналитика состояния узлов и агрегатов локомотивов
  • Автоведение локомотивов

Если не ограничиваться РФ, то можно почитать исследование ВЭФ/McKinsey с большим количеством кейсов.

Кто является получателем и распорядителем Big Data, вопросы ответственности и принятия решений

Даже сырые данные небезосновательно рассматриваются многими компаниями как актив, способный приносить ценность, даже если компании сейчас не могут ими воспользоваться (сделать предиктивные модели или real-time системы реагирования).

В авиации уже существует бизнес-модель, когда авиапроизводители, которые собирают технические данные с произведенных ими самолетов, могут выступать техническими экспертами и арбитрами в сделках на вторичном рынке.

Ответственность за применение - пока, по умолчанию, за конечными операторами систем.

Как можно оценить отношение российской промышленности к использованию больших данных, что препятствует распространению этой технологии, какова здесь политика государства

Судя по общему настроению на рынке, капитализировать тему больших данных хотят все. Пока, в основном, положительное движение в этом направлении - удел крупных промышленных групп и предприятий. Почти каждый крупный промышленный холдинг уже запустил или запускает свои программы цифровизации.

  • Очень большой потенциал роста эффективности предприятий в РФ
  • Много локальных игроков, которые готовы разрабатывать решения в области Big Data и AI
  • Нужна высокая культура производства и бизнеса( Цифровая культура )
  • Существующий парк оборудования в среденм не поддерживает цифровизацию
  • Непростой выбор в части хранения и обработки данных: делать свою инфраструктуру (нужны инвестиции) или довериться облакам (вопросы безопасности)

Насколько быстро, по вашему опыту, окупаются такого рода проекты

Есть как быстрые проекты (окупаемость за месяцы), так и медленные (за годы).

Базовая рекомендация для предприятий без опыта инноваций и цифры - начинать с малых проектов. Тем не менее, технологии уже зарекомендовали себя и промышленность готова инвестировать в долгую.

Насколько в применении этой технологии Россия зависима от импортного оборудования и ПО

В части компьютерного железа высокая зависимость. Для работы с Big Data нужно общепромышленное высокопроизводительно оборудование. Отечественные Эльбрусы и Байкалы не годятся, так как слишком дороги в пересчете на мощности.

Платформенное ПО обычно тоже иностранное. Разработка отечественных систем актуальна, и многие компании занимаются созданием своих платформ.

В части прикладного ПО зависимость низкая, так как общеотраслевых универсальных решений нет. Идет формирование рынка и разработка, в том числе отечественных, продуктов.

Еще есть ограничение, связанное с тем, что чтобы собирать Big Data, нужны датчики на оборудовании, и, если оборудование (станки, машины) иностранное, то дооснастить такое оборудование существенно сложнее и зачастую невозможно без участия оригинального производителя.

Как администрирование данных регулируется в правовом поле, какие возможны проблемы на имеющейся регулятивной базе

Для промышленной Big Data отдельного регулирования нет. Есть законы, регулирующие телеком и связь как передачу данных, законы регулирующие компьютерные программы (авторское право) и базы данных.

Отдельный блок – персональные, медицинские и другие специализированные виды данных, в случае с которыми существует свое законодательство.

773 Слова | 4 Стр.

Big Data

3626 Слова | 15 Стр.

Big data

5390 Слова | 22 Стр.

Big Data презентация

1488 Слова | 6 Стр.

Big data. Презентация

BIG DATA Рустамов Мамур. RISEBA Рост цифровых данных и доступной памяти Прогноз роста данных до 2015 года Обвал данных • Каждый день в мире производится 2,5 квинтильона (1018) байтов данных. 90% данных созданы за последние два года. • Каждый час Wal-Mart совершает 1 миллион сделок, пополняя базу данных на 2,5 петабайта (1015)- в 170 раз больше объема данных Библиотеки Конгресса США. • Объем отправлений, доставляемых американской Почтовой службой за один год, равен 5 петабайтам.

938 Слова | 4 Стр.

big data реферат

3770 Слова | 16 Стр.

big data

Большие данные (англ. Big Data) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.

914 Слова | 4 Стр.

введение заключение отчёт

информатизация культуры, Big Data, повышение эффективности, Минкультуры России. Объектом исследования являются рабочие процессы, составляющие основу функциональной деятельности структурных подразделений Минкультуры России, а также возможность и целесообразность их автоматизации с использованием технологий обработки больших данных. Целью работы является исследование возможности и научно-техническое обоснование принятия решения по выбору информационных технологий Big Data в сфере информатизации культуры.

21776 Слова | 88 Стр.

13771 Слова | 56 Стр.

электронный_бизнес

6350 Слова | 26 Стр.

Primenenie_tekhnologii_big_data_v_sfere_obrazovania

1065 Слова | 5 Стр.

ВЛИЯНИЕ МЕТОДОВ БОЛЬШИХ ДАННЫХ НА СОВРЕМЕННОЕ ОБЩЕСТВО

1608 Слова | 7 Стр.

презентация_Уткин

Применение технологий (фактор масштаба) (интеллектуальные системы управления, системы автоматизации); - IoT (интернет вещей); - Embedded Systems системы); (встраиваемые - Big Data (большие данные); - Mobility (мобильность); Smart Home / Умные дома малый масштаб (small scale) Smart Cities / Умные города большой масштаб (big scale) и т.д. Технологические тематики - Комплексы систем жизнеобеспечения и инженерных систем; - Комплексы систем безопасности; - Комплексы ИТ-систем; - Системы видео-мониторинга;.

874 Слова | 4 Стр.

Квалификационная работа

Stream — Single Data Stream) — один поток команд и один поток данных. 2. SIMD (Single Instruction Stream — Multiple Data Stream) — один поток команд и несколько потоков данных. 3. MISD (Multiple Instruction Stream — Single Data Stream) — несколько потоков команд и один поток данных. 4. MIMD (Multiple Instruction Stream — Multiple Data Stream) — несколько потоков команд и несколько потоков данных. Рассмотрим эту классификацию более подробно. SISD (single instruction stream / single data stream) - одиночный.

7453 Слова | 30 Стр.

KR_VSRPP

= NULL) < CString strAboutMenu; strAboutMenu.LoadString(IDS_ABOUTBOX); if (!strAboutMenu.IsEmpty()) < pSysMenu->AppendMenu(MF_SEPARATOR); pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu); >> SetIcon(m_hIcon, TRUE);// Set big icon SetIcon(m_hIcon, FALSE);// Set small icon m_listF.AddString(L"F"); m_listF.AddString(L"S"); m_listN.AddString(L"T"); m_listN.AddString(L"F"); m_listF.SetCurSel(2); return TRUE; return TRUE; // return TRUE unless you set the focus to.

1901 Слова | 8 Стр.

Тенденции развития рынка ИТ

экспортеров ПО в 2012 году, но темп роста за этот период снизился. Половина от общего дохода пришлась на услуги заказной разработки для внешних компаний, готовые продукты принесли участникам рынка 40% выручки. Объем российского рынка DLP (Data Loss Prevention) в 2012 году составил 32 млн. долларов (1,3 млрд рублей) в ценах заказчиков. что примерно на 44% больше аналогичного показателя за 2011 год. Резко отрицательную динамику продемонстрировал сегмент бизнес ПО: число компаний.

3561 Слова | 15 Стр.

Android

| | | |$filename = '/path/to/data-file'; | |$file = fopen($filename, 'r') .

1321 Слова | 6 Стр.

Министерство образования и науки Республики Казахстан

11362 Слова | 46 Стр.

Технология IoT Интернет вещей правовые проблемы множатся угрозы информационной безопасности растут

opportunity. Promising technology brings additional threats to information security, in particular, problems related to the processing of personal data. We propose two legislative solutions that can make the technology IoT (Internet of Things) is safer. Ключевые слова: Интернет вещей, Большие данные, кибербезопасность Keywords: Internet of Things, Big Data, cybersecurity Созданная в 1999 году технология IoT (Интернет вещей) бурно развивается, так что к 2016 количество подключенных к Интернету устройств.

877 Слова | 4 Стр.

Безопасность при администрировании ИС

защитит от утечки информации при потере носителя или ноутбука. Но, если инсайдер передаст носитель вместе с ключом, на котором зашифрована информация другой стороне, то такой метод защиты будет бесполезен. Системы выявления и предотвращения утечек (Data Leakage Prevention, DLP). Данные системы также называют системами защиты конфиденциальных данных от внутренних угроз (далее, системы защиты от утечек). Эти системы контролируют каналы утечки данных в реальном времени. Существуют комплексные (покрывающие.

7659 Слова | 31 Стр.

политтехнолог будущего

696 Слова | 3 Стр.

инфографика и вузализация знаний

Здесь рассматривают эволюцию области визуализации, предоставляя инновационные примеры из различных дисциплин, акцентируя внимание на важной роли, которую играет визуализация в добыче и организации понятий, найденных в сложных данных. Mauldin S. Data vizualization and Infographics /Sarah K. C. Mauldin, Ellyssa Kroski / Beverley E Care [Place of publication not identified] : Rowman & Littlefield, 2015 Мульди Сара, Визуальзация данных и инфографика Руководство по созданию понятной, с первого.

15204 Слова | 61 Стр.

РЕШЕНИЯ IBM

1386 Слова | 6 Стр.

Бизнес аналитика в банковском секторе

Сокращение временного объема, необходимого для обработки информации Поиск оптимальных решений, на основе анализируемой информации Повышение эффективности работы специалистов Документирование важных данных, с возможностью быстрого доступа к ним С созданием Big Data (Большие Данные) возможность хранения и накопления информации стала намного больше. Маркетинговые исследования продажи, финансы, кадровые вопросы, производственная статистика – по всем вопросам, связанными с деятельностью, как организации, так и.

1021 Слова | 5 Стр.

Большие данные

Используется в data mining. Classification. Набор методик, которые позволяет предсказать поведение потребителей в определенном сегменте рынка (принятие решений о покупке, отток, объем потребления и проч.). Используется в data mining. Cluster analysis. Статистический метод классификации объектов по группам за счет выявления наперед не известных общих признаков. Используется в data mining. Crowdsourcing. Методика сбора данных из большого количества источников. Data fusion and data integration. Набор.

3652 Слова | 15 Стр.

barsegyan_a_a_kupriyanov_m_s_kholod_i_i_tess_m_d_elizarov_s

организация хранилищ данных, оперативный (OLAP) и интеллектуальный (Data Mining) анализ данных. В третьем издании по сравнению со вторым, выходившем под названием "Технологии анализа данных: Data Mining, Text Mining, Visual Mining, OLAP", добавлены визуальный (Visual Mining) и текстовый (Text Mining) анализ данных, анализ процессов (Process Mining), анализ Web-ресурсов (Web mining) и анализ в режиме реального времени (Real-Time Data Mining). Приведено описание методов и алгоритмов решения основных.

Промышленные предприятия постоянно сталкиваются с необходимостью обработки данных, которые в большом объеме поступают с заводов или других объектов. Компании собирают триллионы байт информации о своих клиентах, поставщиках и производственных операциях. Согласно исследованию консалтинговой компании IDC, к 2020 г. объем ценных данных увеличится в два раза, и 60% всех собранных данных можно будет использовать в процессе принятия решений.

На производстве ценная информация зачастую рассредоточена по нескольким базам данных, приложениям корпоративного уровня и операционным системам и представлена в разных форматах. При отсутствии единой целенаправленной стратегии обработки информации сотрудникам завода и администрации сложно плодотворно взаимодействовать друг с другом и принимать эффективные решения.

Как управлять большими массивами данных?

Обработка огромного объема неструктурированных данных, их фильтрация и правильная интерпретация становятся первостепенными задачами для предприятий. Важную роль в их решении играет семантическое представление информации, в частности ее визуализация с помощью построения иерархической модели процессов и производственных установок. Данные должны быть представлены в понятном для пользователей виде и в контексте стоящих перед ними задач. Этой цели служит, например, Uniformance PHD — один из компонентов пакета Uniformance Suite компании Honeywell, созданный для сбора и хранения данных о технологических процессах и событиях в реальном времени.

Решения, обеспечивающие непрерывный контроль рабочих показателей, позволяют отправлять уведомления, формировать задания, запускать рабочие процессы и способствовать решению проблем и выявлению новых возможностей в режиме реального времени. Они также могут включать в себя многофункциональные информационные панели. Данные обрабатываются и доставляются во все отделы предприятия, что позволяет наладить взаимодействие между сотрудниками разных подразделений и способствует принятию правильных решений. Кроме того, компании получают возможность заменить быстро устаревающую бумажную документацию на электронный документооборот, а также собирать и сохранять экспертные знания специалистов.

Чтобы преобразовать информацию в знания, необходимо не только собирать и структурировать большие массивы производственных данных — нужно также обеспечить современные возможности архивации. Кроме того, использование вычисляемых тегов позволяет применять знания из области инжиниринга и бизнеса для обработки текущих и исторических данных, а встроенные преобразования инженерных единиц — просматривать данные в понятном для пользователей формате.

Необходимо также учитывать, что зачастую данные поступают не с одного, а с нескольких объектов, которые могут быть географически широко распределены. Таким образом, информация, приходящая из разных источников, должна быть консолидирована в единой базе данных, на едином сервере. После установки сервера можно добавлять коллекторы данных по мере роста потребностей конкретного предприятия.

Предотвращение простоев производства


За счет внедрения передовых технологий руководители предприятий могут не только принимать более эффективные решения, но также совершенствовать производственные процессы и решать ключевые бизнес-задачи. Например, получение своевременной и важной информации позволяет увеличить производительность и повысить уровень безопасности на предприятии. Как показало исследование, проведенное Honeywell совместно с KRC Research в прошлом году, незапланированные простои считаются основной угрозой для роста доходов. 42% респондентов (руководителей промышленных предприятий) признались, что эксплуатируют оборудование с большей нагрузкой, чем следует.

Чтобы минимизировать потери от простоев, предприятиям необходимо задуматься о внедрении технологий, которые бы распознавали возможные проблемы и помогали их предотвратить. Непрерывный мониторинг ключевых производственных параметров как раз позволяет операторам своевременно выявить проблему и принять соответствующие меры для ее решения. Например, информация, которая в режиме реального времени поступает из встроенных в трубы сенсоров, в сочетании с данными из других производственных объектов дает возможность распознать скрытую коррозию и предотвратить аварийную ситуацию. На решение подобных задач направлен продукт Uniformance Asset Sentinel в составе аналитической платформы Uniformance Suite.

Эта система осуществляет непрерывный контроль работоспособности оборудования и технологических процессов, позволяя промышленным предприятиям прогнозировать и предотвращать простои и снижение производительности. Возможно это благодаря двум особенностям. Во-первых, система может собирать и консолидировать большие объемы данных, а затем их анализировать. Она объединяет архивные и визуальные данные, а также информацию, поступающую из распределенной системы управления (РСУ) и программируемых логических контроллеров (ПЛК), интеллектуальных средств измерения и из систем мониторинга вибрации. Во-вторых, система использует шаблоны оборудования. Пользователь определяет список переменных и другие конфигурации для конкретного типа оборудования. Каждый тип оборудования достаточно сконфигурировать только один раз, чтобы затем многократно применять при создании модели актива в иерархической структуре предприятия. На этой стадии производится ассоциация объекта с конкретными тегами, поэтому, если необходимо внести какие-либо изменения в конфигурацию, нужно просто поменять шаблон, после чего все его экземпляры будут обновлены автоматически. Кроме того, если пользователи хотят проверить расчеты, им необязательно знать имена тегов (переменных), можно только выбрать нужный актив (оборудование) и интересующие параметры для просмотра. В результате оператор получает всю информацию о состоянии оборудования, включая данные о его эксплуатационных характеристиках и механическом состоянии, а также о вспомогательных устройствах и интеллектуальных средствах измерения.

Внедрение таких технологий позволяет предприятиям из разных отраслей промышленности добиться определенных преимуществ:

  • увеличить эффективность использования производственных активов на 10% за счет сокращения количества незапланированных простоев;
  • снизить затраты на техническое обслуживание на 10%, усовершенствовав процедуры прогнозирования и предотвращения катастрофических отказов оборудования и выявляя неэффективные операции;
  • повысить производительность на 10%;
  • сократить эксплуатационные расходы на 10% за счет более эффективного использования энергии.

Повышение энергоэффективности

Электроэнергия — это одна из основных статей расходов промышленных предприятий, поэтому даже незначительное увеличение энергоэффективности позволит компаниям добиться конкурентных преимуществ. Компании могут увеличить уровень энергоэффективности и сократить эксплуатационные расходы за счет внедрения технологий для анализа данных.

К примеру, в США на долю промышленного сектора приходится около 31% общего потребления энергии. Ежегодно промышленные предприятия потребляют более 6,12 млрд кВт/ч. Согласно Федеральной службе государственной статистики РФ, доля промышленного сектора в общем объеме энергопотребления в России составляет около 54%. При этом далеко не все оборудование работает на полную мощность. В данном случае средства анализа данных, вычисления ключевых показателей эффективности и их визуализации, обеспечиваемые набором програм­мных решений Uniformance Suite, позволяют своевременно выявлять неэффективное оборудование и процессы и оперативно принимать корректирующие меры.

Управление аварийными сигналами

Как правило, решение для управления аварийными сигналами состоит из двух компонентов. Первый — программное обеспечение, которое включает в себя инструменты отчетности и мониторинга работы системы, а также средства для расчета ключевых показателей эффективности (КПЭ) систем сигнализации в соответствии со стандартами и лучшими практиками. Второй компонент — соответствующая инфраструктура, например, аварийный протокол (alarm philosophy document), который определяет функционирование системы аварийной сигнализации.

Сегодня решения для управления аварийными сигналами уже существуют. Одним из них является программное обеспечение DynAMo Alarm Management. Его полная версия включает в себя следующие функции:

  • расчет КПЭ систем сигнализации технологического объекта в соответствии с международными стандартами;
  • базы данных сигнализаций технологических объектов в масштабах предприятия;
  • операторскую справку по сигнализациям, интегрированную с операторским интерфейсом системы управления технологическим объектом;
  • средства мониторинга возможных отклонений от нормального технологического режима;
  • базы данных технологических пределов и границ;
  • интеллектуальные электронные журналы для обеспечения безопасности процессов передачи смен.

Все эти функции тесно интегрированы между собой, чтобы обеспечить высокую производственную эффективность. Внедрение DynAMo Alarm Management позволяет на 80% уменьшить количество срабатываний сигнализаций и на 60% сократить время поиска и анализа первопричины по сравнению с традиционными подходами. Оно также способствует увеличению производительности технологических объектов на 8% и сокращению энергопотребления на 5%; при этом срок окупаемости данного решения не превышает трех месяцев.

Почему анализ данных действительно важен?

Многие промышленные предприятия уже начали цифровую трансформацию производства, а анализ данных — это ключевой компонент успешного внедрения технологий IIoT. Конечно, роль программного обеспечения останется значительной, однако производство — это не только машины и оборудование. Цифровая трансформация кардинально сместила акценты: теперь конкурентным преимуществом является не тяжелое оборудование, а информация. Инновационные решения, в том числе технологии управления данными и прогнозирования, существенно увеличивают производительность в нефтегазовой промышленности, энергетике, здравоохранении и транспорте.

Дело не столько в объеме информации, сам по себе он не увеличивает продуктивность, а скорее, наоборот, снижает ее. Количество данных, поступающих в диспетчерские, не­уклонно растет, и операторы вынуждены тратить львиную долю рабочего времени на то, чтобы отсеять второстепенное. Качество информации и ее правильное использование — вот что является определяющим фактором. Имея под рукой полезные данные, операторы и инженеры могут быстро принимать взвешенные решения в режиме реального времени и делать верные прогнозы. Анализ данных помогает сократить поломки оборудования, незапланированные простои, внеплановое техобслуживание и количество сбоев в управлении цепочками поставок.

Сегодня возможность видеть и понимать взаимосвязь между критически важными данными и предпринимать соответствующие действия — один из определяющих факторов формирования конкурентного преимущества. Добиться этого можно только при полном объединении всех приложений и используемых ими данных. Обеспечив такой уровень интеграции, промышленные предприятия смогут выявлять и, используя имеющиеся возможности, предотвращать потенциально опасные ситуации на предприятии.


Рост количества информации спровоцировал появление новых технологий и методов для обработки данных.

Ключевые слова: Большие Данные, информация, анализ.

Определение BigData

Вообще данное направление достаточно новое и далеко не все понимают смысл термина BigData. Так же пока не существует точного определения данного термина. При этом необходимость в нем увеличивается с каждым годом с ростом информации.

Главная задача BigData — способность обрабатывать большие объемы не структурированных данных и выдавать на их основе определенный прогноз.

Термин BigData появился сравнительно недавно. GoogleTrends показывает начало активного роста употребления словосочетания начиная с 2011 года.


Рис. 1. Рост популярности словосочетания BigData с 2011 г.

Основными источниками BigData являются: Социальные сети и интернет (так как все мы производим информацию), научные инструменты (собирают все типы данных), мобильные устройства (постоянно отслеживают каждый объект), сенсорные технологии и сети (измеряют все виды информации).

D:\Адиль\Универ\2 курс\1.jpg

Рис. 2: Необходимость действий и тренд BigData по странам

Согласно исследованию, неповоротливый государственный сектор и поставщики энергии и материальных ресурсов показывают высокую заинтересованность в BigData, тогда как компании с огромными базами данных из банковского и страхового секторов, как выясняется, весьма слабо представляют себе необходимость каких-то глобальных перемен в обработке данных.Впрочем, это может быть объяснено и тем, что банковский сектор имеет свою налаженную систему работы с клиентами, которая функционирует долгие годы, и руководители просто не видят необходимости что-то в ней менять. Однако это вовсе не значит, что в ближайшее время потребности в анализе больших данных у них не возникнет; это может произойти несколько позже. В банках, например, активно внедряются новые способы взаимодействия с клиентами (онлайн-консультации, социальные сети), а это приводит к увеличению получаемых данных, которые банку нужно как-то систематизировать и анализировать.

Исходя из определенияBigData, можно сформулировать основные принципы работы с такими данными:

  1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много — любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных — в 2 раза увеличили количество железа в кластере и всё продолжило работать.
  2. Отказоустойчивость. Принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, Hadoop-кластер Yahoo имеет более 42000. Это означает, что часть этих машин будет гарантированно выходить из строя. Методы работы с большими данными должны учитывать возможность таких сбоев и переживать их без каких-либо значимых последствий.
  3. Локальность данных.В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом — расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных — по возможности обрабатываем данные на той же машине, на которой их храним.

Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать — необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных.

Области применения Больших Данных

Ведущие наднациональные мировые структуры и транснациональные корпорации, правительства многих стран мира, бизнес самых различных масштабов, системы управления производственной и социальной инфраструктурой и, конечно же, военно-разведывательный комплекс всех основных стран мира уже используют Большие Данные как важнейший стратегический ресурс.

Ниже представлены несколько практических примеров внедрения технологий Больших Данных ведущими мировыми компаниями в различных областях деятельности.

HSBC использует технологии Больших Данных для противодействия мошеннических операций с пластиковыми картами. С помощью BigData компания увеличила эффективность службы безопасности в 3 раза, распознавание мошеннических инцидентов — в 10 раз. Экономический эффект от внедрения данных технологий превысил 10 млн долл. США.

Антифрод* VISA позволяет в автоматическом режиме вычислить операции мошеннического характера, система на данный момент помогает предотвратить мошеннические платежи на сумму 2 млрд долл. США ежегодно.

Суперкомпьютер Watson компании IBM анализирует в реальном времени поток данных по денежным транзакциям. По данным IBM, Watson на 15 % увеличил количество выявленных мошеннических операций, на 50 % сократил ложные срабатывания системы и на 60 % увеличил сумму денежных средств, защищенных от транзакций такого характера.

Procter&Gamble с помощью Больших Данных проектируют новые продукты и составляют глобальные маркетинговые кампании. P&G создал специализированные офисы BusinessSpheres, где можно просматривать информацию в реальном времени. Таким образом, у менеджмента компании появилась возможность мгновенно проверять гипотезы и проводить эксперименты. P&G считают, что Большие Данные помогают в прогнозировании деятельности компании.

По мнению Caterpillar, ее дистрибьюторы ежегодно упускают от 9 до 18 млрд долл. США прибыли только из-за того, что не внедряют технологии обработки Больших Данных. BigData позволили бы клиентам более эффективно управлять парком машин, за счет анализа информации, поступающей с датчиков, установленных на машинах. На сегодняшний день уже есть возможность анализировать состояние ключевых узлов, их степени износа, управлять затратами на топливо и техническое обслуживание.

Примеры использования Больших Данных вРК

Подобные решения, основанные на анализе Больших Данных, необходимо разрабатывать и внедрять в Республике Казахстан в различных секторах экономики. Для этого имеются все необходимые условия: накоплены огромные массивы структурированной и неструктурированной информации, подготовлена соответствующая инфраструктура.

Перечислим некоторые явные сценарии использования Больших Данных в нашей стране:

1) Энергетика-аналитические технологии Больших Данных способны на 99 % повысить точность распределения имеющихся мощностей электроэнергии и проанализировать где выгоднее закупать недостающую их часть.

2) Банковский сектор — Большие Данные способны решать практически все ключевые задачи банков: привлечение клиентов, повышение качества услуг, оценка заемщиков, противодействие мошенничеству, причем мошенничества по платежным транзакциям могут быть распознаны с применением технологий анализа Больших Данных в реальном режиме времени.

4) Сельское хозяйство — измеряя физические характеристики полей и размечая данные о характеристиках почв с точностью до полуметра, зная данные о типах почв и предсказанном уровне осадков в каждой конкретной точке будут выработаны рекомендации, которые позволят выращивать больший урожай при тех же размерах полей, также рекомендации позволят распределять плотность посадок и подбирать количество удобрений с точностью почти до отдельного растения.

6) Промышленный сектор — анализ Больших Данных от телеметрии большого числа технически сложных объектов. Данные анализа могут быть использованы на этапах эксплуатации технически сложных устройств. Чтобы повысить качество сервисного обслуживания, производители могут устанавливать датчики для отслеживания необходимости технического обслуживания и обнаружения недочетов на ранних этапах, экономя на затратах на ремонт или отзыв изделия.

7) Нефтедобывающий сектор — технологии Больших Данных могут быть использованы для анализа и обработки данных геологоразведки, тем самым бурение пробных скважин будет заменено компьютерным анализом геодезических данных.

Основные термины (генерируются автоматически): данные, IBM, информация, США, HSBC, VISA, Банковский сектор, обработка данных, реальное время, техническое обслуживание.

Читайте также: