Методы сбора данных кратко

Обновлено: 05.07.2024

Кaчecтвeнныe мeтoды сбора информации включают сбор, aнaлиз и интepпpeтaцию дaнныx пyтeм нaблюдeния зa тeм, чтo люди делают и гoвopят.

1. Глyбиннoe интepвью (фокус-группа)

Метод фокус-группы предназначен для получения различной информации от группы, как правило, существующих или потенциальных потребителей, которые на основе свободной дискуссии под руководством ведущего обсуждают поставленные перед ними вопросы.

Обычно работу группы записывают с помощью аудио- и видео-технических средств, а ее результаты могут явиться основанием для проведения количественных исследований, например, путем опроса.

Оптимальный размер фокус-группы колеблется от 8 до 12 человек.

2. Индивидуальное интервью — интервью, в котором участвует только исполнитель и заказчик.

3. Пpoeкциoнные мeтoды . Моделирование cитyaции в нaдeждe нa тo, чтo будет выявлена инфopмaция, кoтopyю нeвoзмoжнo пoлyчить пpи пpoвeдeнии пpямoгo oпpoca.

4. Нaблюдeниe в иccлeдoвaнияx пpeдcтaвляeт coбoй мeтoд cбopa пepвичнoй инфopмaции oб изyчaeмoм oбъeктe пyтeм нaблюдeния зa выбpaнными гpyппaми людeй, дeйcтвиями и cитyaциями.

Мoжeт быть иcпoльзoвaнo кaк иcтoчник инфopмaции для пocтpoeния гипoтeз, cлyжить для пpoвepки дaнныx, пoлyчeнныx дpyгими мeтoдaми, c eгo пoмoщью мoжнo извлeчь дoпoлнитeльныe cвeдeния oб изyчaeмoм oбъeктe.

Нaблюдeниe являeтcя вecьмa тpyдoeмким мeтoдoм. Офopмлeниe итoгoв нaблюдeний зaнимaeт пopoй в двa paзa бoльшe вpeмeни, чeм caмo нaблюдeниe.

Пo xapaктepy oкpyжaющeй oбcтaнoвки нaблюдeниe мoжeт быть пoлeвым, чтo oзнaчaeт, чтo пpoцeccы пpoxoдят в ecтecтвeннoй oбcтaнoвкe (в мaгaзинe, y витpины мaгaзинa), или лaбopaтopным, т.e. пpoвoдящимcя в иcкyccтвeннo coздaннoй cитyaции. Рeзyльтaты нaблюдeний фикcиpyютcя c пoмoщью ayдиo- или видeoтexники, в блoкнoтax и т.п.

5. Имитационное моделирование — это метод исследования, при котором изучаемая система заменяется моделью с достаточной точностью описывающей реальную систему и с ней проводятся эксперименты с целью получения информации об этой системе.

Экспериментирование с моделью называют имитацией (имитация — это постижение сути явления, не прибегая к экспериментам на реальном объекте).

Имитационное моделирование — это частный случай математического моделирования

Имитационная модель — логико-математическое описание объекта, которое может быть использовано для экспериментирования на компьютере в целях проектирования, анализа и оценки функционирования объекта.

Что определяют требования к ИС? Для чего нужен анализ предметной области?

Анализом предметной области (или бизнес-моделированием, если речь идет о потребностях коммерческой организации) называют деятельность, направленную на:

• выявление реальных потребностей людей и организаций (которые часто отличаются от непосредственно выражаемых пользователями желаний), выяснения смысла высказанных требований пользователей

• выявление свойств желаемых результатов

• определение набора задач, для их достижения

• определение набора сущностей, необходимых при решении этих задач

• определение области ответственности будущей информационной системы

Требования к ИС определяют, какие свойства и характеристики она должна иметь для удовлетворения потребностей пользователей и других заинтересованных лиц.

Однако, в большинстве случаев пользователи могут перечислить только часть свойств, которые они хотели бы видеть и в не всегда понятной формулировке.

В каких отношениях состоят понятия Анализ предметной области и Бизнес-моделирование?

Бизнес-моделирование - это анализ предметной области, связанной с коммерческой организацией.

Бизнес-моделирование наследует анализ предметной области.

Анализ предметной области – это первый шаг этапа системного анализа, с которого начинается разработка информационной системы.

Разработчики должны научиться:

· понимать язык, на котором говорят заказчики;

· выявить цели их деятельности;

· определить набор решаемых ими задач;

· определить набор сущностей, с которыми приходится иметь дело при решении этих задач.

В каких отношениях состоят понятия Анализ предметной области и Бизнес-моделирование?

Целью этапа анализа является преобразование общих, расплывчатых знаний об исходной предметной области (требований заказчика) в точные определения и спецификации для разработчиков, а также генерация функционального описания системы.

На этом этапе определяются и специфицируются:

• внешние и внутренние условия работы системы;

• функциональная структура системы;

• распределение функций между человеком и системой, интерфейсы;

• требования к техническим, информационным и программным компонентам системы;

• требования к качеству и безопасности;

• состав технической и пользовательской документации;

• условия внедрения и эксплуатации.

Анализ требований

Обследование предприятия

• исследования системы управления предприятием,

• обследования функциональной и информационной структур,

• определения существующих и возможных потребителей информации.

Определение требований:

• формулируются цель и задачи проекта

• происходит сбор и определение всех возможных требований,

• происходит осознании контекста системы.

• Процесс анализа заключается в разборе требований полученных на предыдущем этапе, их уточнение и систематизация.

Обследование предприятия

1. Структурный анализ предприятия - начинается с исследования того, как организована система управления предприятием, обследования функциональной и информационной структур системы управления, определения существующих и возможных потребителей информации.

По результатам обследования аналитик выстраивает обобщенную логическую модель исходной предметной области, отображающую ее функциональную структуру, особенности основной деятельности и информационное пространство, в котором эта деятельность осуществляется.

На этом материале аналитик строит функциональную модель "Как есть" (As Is).

2. Привлекаются заинтересованные представители заказчика, а при необходимости и независимые эксперты.

• выявлении ее недостатков и узких мест,

• определении путей совершенствования системы управления на основе выделенных критериев качества.

Модели предметной области

Анализом предметной области занимаются системные аналитики или бизнес-аналитики .

Они передают полученные ими знания другим членам проектной команды, сформулировав их на более понятном разработчикам языке.

Для передачи этих знаний обычно служит некоторый набор моделей, в виде графических схем и текстовых документов.

Объектом моделирования является сама система. При этом необходимо точно определить границы системы, чтобы избежать включения в модель посторонних объектов.

Результатом моделирования является набор взаимоувязанных описаний, начиная с описания самого верхнего уровня системы и кончая подробным описанием деталей или операций.

Виды моделей

Формальные модели, используемые на этапе анализа предметной области можно разделить на две группы:

1. · модели, зависящие от подхода к разработке (структурного или объектно-ориентированного);

2. · модели, не зависящие от подхода к разработке.

Определение требований

IEEE Standard Glossary of Software Engineering Terminology (1990) определяет требования как:

1. Условия или возможности, необходимые пользователю для решения проблем или достижения целей;
2. Условия или возможности, которыми должна обладать система или системные компоненты, чтобы выполнить контракт или удовлетворять стандартам, спецификациям или другим формальным документам;
3. Документированное представление условий или возможностей для пунктов 1 и 2.

Это определение охватывает требования как пользователей (внешнее поведение системы) , так и разработчиков (некоторые скрытые параметры) .

Уровни требований

Уровень1 . Бизнес-требования

Уровень2 . Требования пользователей

Уровень3 . Функциональные требования

+ нефункциональные требования к каждому уровню.

Системный и структурный анализ

Разработка систем – это систематический процесс, который включает в себя такие этапы, как планирование, анализ, проектирование, развертывание и обслуживание.

Системный анализ - процесс сбора и интерпретации фактов, выявления проблем и разложения системы на ее компоненты.

Системный анализ проводится с целью изучения системы или ее частей с целью определения ее целей. Это метод решения проблем, который улучшает систему и гарантирует, что все компоненты системы работают эффективно для достижения своей цели.

Анализ определяет, что должна делать система .

Аналитики используют различные инструменты для понимания и описания информационной системы. Одним из способов является использование структурного анализа.

Структурный анализ – это метод разработки, который позволяет аналитику логически понимать систему и ее действия.

Это системный подход, который использует графические инструменты, которые анализируют и уточняют цели существующей системы и разрабатывают новую спецификацию системы, которая может быть легко понятна пользователю.

Он имеет следующие атрибуты:

• графический, который указывает на представление приложения.

• разделяет процессы так, что дает четкую картину потока системы.

• логично, а не физически, т. е. Элементы системы не зависят от поставщика или оборудования.

• подход, который работает от обзоров высокого уровня до деталей более низкого уровня.

В этом разделе мы кратко рассмотрим несколько способов сбора данных, используемых социологами. К ним относятся выборочные опросы, вторичный анализ, лабораторные эксперименты и полевое исследование.

Выборочный опрос - системный способ сбора данных о поведении, взглядах или мнениях людей путем опроса репрезентативной совокупности.

Хорошо известна тенденция к искажению данных переписи населения (например, иногда неправильно указывается возраст, этническое происхождение людей и другие сведения). Таким образом, в некоторых случаях тщательно составленные выборки становятся источником более точных данных о населении, чем непосредственые результаты переписи.

Как уже отмечалось, выборка должна быть точным отражением структуры всего населения. Однако даже при тщательном составлении выборки существует вероятность, что в некоторых отношениях она будет не совсем точно соответствовать особенностям генеральной совокупности населения. Поскольку мы всегда пытаемся на основе выборки делать обобщения о генеральной совокупности, любое расхождение между данными может считаться ошибкой. Такие ошибки всегда нежелательны, но если выборка соответствует определенным принципиальным целям исследования, мы можем по крайней мере приблизительно подсчитать, в каких пределах они могут быть допущены. Например, согласно опросу избирателей, можно предвидеть, что за кандидата Смита будет подан 31 процент голосов; существует вероятность на 95 процентов, что в действительности за Смита проголосует на 3 процента больше или меньше человек, т.е. примерно от 28 до 34 процентов.

С теоретической точки зрения простая случайная выборка - лучший способ отбора единиц наблюдения. В повседневной речи слово случайный часто употребляется как синоним слова бессистемный. Однако в научном контексте оно имеет совершенно иное значение - имеется в виду одинаковая вероятность какого-то случая. Поэтому случайная выборка составлена таким способом, что любой элемент в генеральной совокупности (и любое сочетание элементов) может быть с одинаковой вероятностью включен в выборку.

Процесс создания случайной выборки начинается с составления полного списка всех потенциальных единиц наблюдения. Например, в студенческий справочник вносятся все студенты колледжа.. Затем все фамилии в списке нумеруются. После этого на основе данного списка составляется выборка.

Обычно при этом используются таблицы случайных чисел, составленные при помощи компьютера. (Они представляют собой страницы со случайно выбранными номерами - каждый номер и сочетание номеров могут быть представлены с одинаковой вероятностью.) Таким образом, если 27 - первая случайно выбранная цифра, то студент, фамилия которого числится под этим номером, станет первым, включенным в выборку.

Основные особенности случайной выборки отличаются простотой, но этот метод не так часто применяется в социологическом исследовании. Главным образом это объясняется тем, что не всегда имеются в распоряжении такие подходящие списки генеральной совокупности, как студенческие справочники. Кроме того, многие исследовательские проекты предусматривают изучение слоев населения, не отмеченных в списках или справочниках, например всех 4-летних детей, охваченных программами дошкольного обучения. Хотя, наверное, можно было бы составить списки таких групп населения, но это потребовало бы большие труда, чем само исследование. Преимущество выборки теряется, если она требует слишком больших усилий.

Списки населения необходимо использовать с большой осторожностью, поскольку в них могло отразиться пристрастное отношение к некоторым слоям населения. Например, студенческий справочник может включать лишь студентов, имеющих телефоны в комнатах общежития; в таком случае из него исключены студенты, которые ездят на занятия из пригорода. Если две группы студентов каким-то образом отличаются друг от друга и это важно для исследования, никакая выборка, исключающая студентов, живущих в пригородах (независимо от способа ее составления), не может быть полностью репрезентативна для всего студенчества.

1. Глyбиннoe интepвью (фокус-группа)

Оптимальный размер фокус-группы колеблется от 8 до 12 человек.

2. Индивидуальное интервью — интервью, в котором участвует только исполнитель и заказчик.

Имитационное моделирование — это частный случай математического моделирования

Что определяют требования к ИС? Для чего нужен анализ предметной области?

• выявление свойств желаемых результатов

• определение набора задач, для их достижения

• определение набора сущностей, необходимых при решении этих задач

• определение области ответственности будущей информационной системы

В каких отношениях состоят понятия Анализ предметной области и Бизнес-моделирование?

Бизнес-моделирование - это анализ предметной области, связанной с коммерческой организацией.

Бизнес-моделирование наследует анализ предметной области.

Разработчики должны научиться:

· понимать язык, на котором говорят заказчики;

· выявить цели их деятельности;

· определить набор решаемых ими задач;

· определить набор сущностей, с которыми приходится иметь дело при решении этих задач.

В каких отношениях состоят понятия Анализ предметной области и Бизнес-моделирование?

На этом этапе определяются и специфицируются:

• внешние и внутренние условия работы системы;

• функциональная структура системы;

• распределение функций между человеком и системой, интерфейсы;

• требования к техническим, информационным и программным компонентам системы;

• требования к качеству и безопасности;

• состав технической и пользовательской документации;

• условия внедрения и эксплуатации.

Анализ требований

Обследование предприятия

• исследования системы управления предприятием,

• обследования функциональной и информационной структур,

• определения существующих и возможных потребителей информации.

Определение требований:

• формулируются цель и задачи проекта

• происходит сбор и определение всех возможных требований,

• происходит осознании контекста системы.

Обследование предприятия

На этом материале аналитик строит функциональную модель "Как есть" (As Is).

2. Привлекаются заинтересованные представители заказчика, а при необходимости и независимые эксперты.

• выявлении ее недостатков и узких мест,

• определении путей совершенствования системы управления на основе выделенных критериев качества.

Модели предметной области

Анализом предметной области занимаются системные аналитики или бизнес-аналитики .

Виды моделей

Формальные модели, используемые на этапе анализа предметной области можно разделить на две группы:

1. · модели, зависящие от подхода к разработке (структурного или объектно-ориентированного);

2. · модели, не зависящие от подхода к разработке.

Определение требований

IEEE Standard Glossary of Software Engineering Terminology (1990) определяет требования как:

Уровни требований

Уровень1 . Бизнес-требования

Уровень2 . Требования пользователей

Уровень3 . Функциональные требования

+ нефункциональные требования к каждому уровню.

Системный и структурный анализ

Анализ определяет, что должна делать система .

Он имеет следующие атрибуты:

• графический, который указывает на представление приложения.

• разделяет процессы так, что дает четкую картину потока системы.

• логично, а не физически, т. е. Элементы системы не зависят от поставщика или оборудования.

• подход, который работает от обзоров высокого уровня до деталей более низкого уровня.

Понимание информации начинается со сбора данных. Технологии Intel® поддерживают инновационные методы сбора данных на периферии.

Выводы в отношении сбора данных:

Сбор и обработка данных — первый шаг конвейера данных для поддержки бизнес-аналитики, исследований, разработки и принятия решений.

Методы сбора данных быстро развиваются, растет разнообразие устройств интернета вещей, генерирующих данные на периферии, и аналитикам приходится работать с постоянно растущими базами данных, которые обрабатываются высокопроизводительными вычислительными системами.

Корпорация Intel предлагает передовые технологии для уровней процессора, сети и хранения, обеспечивающие быстрый сбор данных и их доступность на периферии, в облаке и ЦОД.

Сбор данных — первый шаг к аналитике. По мере развития периферийных технологий и Интернета вещей все больше разнообразных устройств используются для сбора все большего количества типов данных. Технологии Intel® работают, помогая упростить и ускорить процесс сбора данных из многочисленных источников и их сохранения в центре облака.

Что такое сбор данных?

Сбор данных или обработка данных — это первый шаг в конвейере данных, предусматривающий сбор информации из разнообразных источников. Цель сбора данных — предоставить необходимую информацию для бизнес-аналитики, исследований и принятия решений. Во многих случаях решения на основе данных могут приниматься в месте генерирования данных. Например, на умном производстве компьютерное зрение с ИИ может использоваться для контроля качества готовой продукции на производственной линии. В других случаях анализ может занимать намного больше времени и включать обработку нескольких петабайт данных, например, в таких сложных вычислительных задачах как геномное секвенирование. По мере развития интернета вещей, периферийных технологий и технологий ЦОД, методы и решения сбора данных становятся все более разнообразными.

Структурированные и неструктурированные данные

Существует два основных типа данных: структурированные и неструктурированные. Некоторые эксперты также используют термин полуструктурированные в отношении данных, имеющих характеристики обоих первых типов.

Структурированные данные — это конкретные организованные данные, которые можно легко считывать и интерпретировать на основе реляционных баз данных. Обычно это иерархические данные, которые можно легко сравнивать. К структурированным данным относятся данные по финансовым транзакциям, данные систем управления взаимоотношениями с клиентами (CRM), данные систем управления ресурсами предприятия (ERP), данные медицинских карт и т. д.
Неструктурированные данные носят более качественный характер и изначально менее организованы или упорядочены. Наборы неструктурированных данных сложно включать в иерархии, и они существенно опережают аналитику, оставляя большую часть данных "в темноте" или без анализа со стороны организации, которая производит и сохраняет эти данные. Обычно для хранения неструктурированных данных и доступа к ним используются нереляционные базы данных. В качестве примера неструктурированных данных можно привести аудиофайлы, файлы PDF, посты в социальных сетях, отзывы клиентов или архивные документы.

И структурированные, и неструктурированные данные могут собираться с метаданными, то есть с данными о самих этих данных. Например, цифровые камеры собирают метаданные о дате и времени съемки и оборудовании камеры, и эти метаданные включаются в файл цифровой фотографии.

Источники и способы сбора данных

Сбор данных описывает один из двух процессов: аналитики могут собирать и курировать информацию в базах данных и переносить ее в ЦОД или облачную среду для обработки; в то время как датчики интернета вещей, камеры и другие устройства могут собирать данные на периферии. Во многих случаях при работе с периферийным Интернетом вещей эти данные обрабатываются практически в реальном времени на периферийных серверах, что позволяет использовать их для автоматизированного обнаружения дефектов на умных заводах, интеллектуального управления трафиком в умных городах и т. п. Данные, собираемые на периферии, также можно перемещать в облако для дальнейшей обработки и анализа.

Источники и способы сбора данных стали более диверсифицированными и теперь включают:

Устройства и датчики Интернета вещей: с развитием периферийных технологий появилась возможность сбора данных с помощью автоматических процессов из беспрецедентного количества источников, включая датчики на промышленном оборудовании, канализационных трубах, мостах и т. .п., устройства мониторинга пациентов и многие другие устройства.
Сбор аудиовизуальных данных: По мере того как решения теперь включают анализ неструктурированных данных, в том числе аудио, изображение и видео, сбор этих данных стал беспрецедентно важным. Файлы с этими неструктурированными данными занимают намного больше места, и для их обработки требуется больше вычислительной мощности.
Аналитика в реальном времени: аналитика в реальном времени позволяет собирать и анализировать потоки данных на непрерывной основе. Например, датчики емкости помогут ретейлерам соблюдать требования общественного здравоохранения и отправлять оповещения в реальном времени при достижении или превышении безопасной емкости.
Анонимизированный сбор данных: В связи с требованиями конфиденциальности возникла необходимость анализировать некоторые данные без их привязки к физическому лицу, к которому они относятся. Сбор и обработка данных теперь могут включать группировку по демографическим параметрам без доступа к определенным персональным данным.
Курирование данных: Профессиональные аналитики специализируются на организации структурированных источников данных для поддержки сложного анализа таких аспектов как секвенирование генома, климатология и финансовые прогнозы. В связи с объемом этих наборов данных для их анализа обычно требуется инфраструктура высокопроизводительных вычислений.

Современная стратегия сбора данных может включать широкий спектр таких методик и источников.

Устройства сбора данных на периферии

Технологические требования стратегии сбора данных зависят от того, где генерируются данные и чего организация хочет добиться с помощью этих данных. Существует два важных преимущества обработки данных в том месте, где они собираются или генерируются. Первое преимущество заключается в том, что рабочие нагрузки не нужно перемещать в облако, так что организации могут сэкономить за счет более низких требований к сетевой инфраструктуре. Второе преимущество заключается в том, что обработка данных в месте их генерирования обеспечивает аналитику практически в реальном времени.

Устройства интернета вещей могут воспользоваться преимуществами процессоров машинного зрения Intel Atom® или Intel® Movidius™ Myriad™ X для обеспечения необходимой производительности для аудио-визуальных или сенсорных потоков на периферии. В зависимости от сценария использования, эти процессоры также хорошо подойдут для использования в небольших корпусах или даже на открытом воздухе. В случае периферийных рабочих нагрузок с большими объемами данных, таких как логическая обработка данных ИИ на нескольких видеопотоках, устройства ИИ и периферийные серверы с процессорами Intel® Core™ 11-го поколения или масштабируемыми процессорами Intel® Xeon® 3-го поколения обеспечивают более высокую пропускную способность данных, чем сами по себе периферийные серверы. Эти серверы также открывают более широкие возможности связи с разъемами расширения PCIe, благодаря чему системные интеграторы могут добавить дополнительные ускорители для конкретных моделей развертывания.

Технология сбора данных для облака и ЦОД

Перенос вычислительных нагрузок на периферию не всегда целесообразен. Если для конкретного решения требуется быстрое вертикальное масштабирование ресурсов сверх уровня, доступного на периферийном устройстве, то обработка данных в облаке будет более эффективной. Некоторые рабочие задачи требуют таких объемов вычислительных ресурсов, памяти и ресурсов хранения, что для своевременного генерирования результатов им требуется инфраструктура ЦОД или высокопроизводительных вычислений. В этих случаях технологии сбора данных будут наиболее эффективными в сбалансированной конфигурации, сочетающей в себе ключевые усовершенствования для вычислительных систем, систем хранения и сетевых систем и обеспечивающей более эффективное использование платформы и доступность данных.

Обработка: Масштабируемые Intel® Xeon® 3-го поколения идеально подходят для рабочих задач сбора данных в облаке или ЦОД. Эти процессоры обеспечивают в 1,92 раза более высокую производительность аналитики по сравнению с четырехпроцессорными платформами пятилетней давности 1 и при поддержке технологии Intel® DL Boost с BF16, в 1,93 раза более высокую производительность классификации изображений с помощью ИИ по сравнению с предыдущим поколением при выполнении задачи ResNet50 для классификации изображений 2 .
Сеть: Сетевыеадаптеры Intel® Ethernet серии 800 поддерживают скорость до 100GbE в разных форм-факторах, разнообразные операционные системы и гибкую конфигурацию портов. Встраиваемые технологии, такие как Dynamic Device Personalization (DDP), помогают снизить время задержки с программируемым поведением для обработки пакетов.
Хранениеданных: SSD-накопители Intel® Optane™ для ЦОД обеспечивают исключительно высокую скорость чтения-записи, большой объем для повышения плотности хранения и опции интерфейсов PCIe, позволяющие размещать данные ближе к процессору.

Ваша комплексная стратегия сбора данных

Обширный портфель Intel от периферии до облака обеспечивает производительность, пропускную способность и доступность данных, необходимые для быстрого, согласованного и надежного сбора и обработки данных. Корпорация Intel предлагает комплексный фундамент для вашего конвейера данных, позволяя использовать интеллектуальные периферийные устройства, сетевые решения с высокой пропускной способностью и высокую производительность вычислений с несколькими точками входа и форм-факторами. Решения Intel® позволяют организациям быстро перемещать данные, получать полезные аналитические данные и использовать их с пользой.

Читайте также: