Стандарты обмена данными реферат

Обновлено: 05.07.2024

Протоколы (protocols) — это набор правил и процедур, регулирующих порядок осуществления некоторой связи. Например, дипломаты какой-либо страны четко придерживаются протокола при общении с дипломатами других стран.

Пользователи в Интернет работают по единым правилам. В качестве общего языка в сети Интернет используются протоколы обмена данными.

ISO/IEC 27000 — серия международных стандартов, включающая стандарты по информационной безопасности опубликованные совместно Международной Организацией по Стандартизации (ISO) и Международной Электротехнической Комиссии (IEC).

Понятие угрозы.

Угроза (безопасности информации) – совокупность условий и факторов, создающих потенциальную или реально существующую опасность нарушения безопасности информации.

Источник угрозы безопасности информации – субъект (физическое лицо, материальный объект или физическое явление), являющийся непосредственной причиной возникновения угрозы безопасности информации.

Основные причины реализации угроз:

• несанкционированный доступ к информации;

• несанкционированное воздействие на информацию.

Модель злоумышленника может быть использована при оценке уязвимости системы защиты (элемента системы защиты) к нападению злоумышленника.

Понятия о видах вирусов.

Основные виды вредоносных программ

• Классические программные (компьютерные) вирусы.

• Вредоносные программы, распространяющиеся по сети (сетевые черви).

• Другие вредоносные программы, предназначенные для осуществления НСД.

• Программная закладка– преднамеренно внесённый в программное обеспечение функциональный объект, который при определённых условиях инициирует реализацию недекларированных возможностей программного обеспечения.

• (Компьютерный) вирус– вредоносная программа, способная создавать свои копии и (или) другие вредоносные программы.

Защита.

Назначение и задачи в сфере обеспечения информационной безопасности на уровне государства.

Основные положения теории информационной безопасности информационных систем.

Модели безопасности и их применение.

Дискреционный механизм управления доступом

• Определение – способ обработки запросов диспетчером доступа, основанный на задании правил разграничения доступа в диспетчере непосредственно матрицей доступа.

• Учётная информация субъекта (группы субъектов) и объекта – их идентификаторы (например, имя пользователя и имя файлового объекта).

Ролевое разграничение

Ролевое разграничение доступа представляет собой развитие политики дискреционного разграничения доступа, при этом права доступа субъектов системы на объекты группируются с учетом их специфики их применения, образуя роли.

Методы криптографии.

Криптография занимается разработкой, анализом и обоснованием стойкости криптографических средств защиты информации от угроз со стороны противника.

Криптография используется для:

защиты от утечки информации (конфиденциальность и контроль доступа);

защиты от модификации информации (целостность);

обеспечения юридической значимости электронных документов и невозможности отказаться от совершенных действий (неотказуемость).

Современная криптография включает в себя разделы:

симметричные криптосистемы; зашифрование и расшифрование проводится с использованием одного и того же секретного ключа.

асимметричные криптосистемы; зашифрование и проверка электронной цифровой подписи (ЭЦП) проводится с использованием открытого ключа, а расшифрование и формирование ЭЦП с использованием закрытого (секретного) ключа.

управление ключами. обеспечить доступ любого пользователя к подлинному открытому ключу любого другого пользователя, защитить эти ключи от подмены злоумышленником, а также организовать отзыв ключа в случае его компрометации.

Хэширование (хэш-функции) – преобразование входного массива данных произвольной длины в выходную битовую строку фиксированной длины таким образом, чтобы изменение входных данных приводило к непредсказуемому изменению выходных данных.

Задача: обеспечение целостности данных.

Электронная цифровая подпись – реквизит электронного документа, предназначенный для проверки подлинности источника данных и защиты данного электронного документа от подделки.

Международные стандарты информационного обмена.

Понятие угрозы.

Обеспечение информационной безопасности (ИБ) необходимо проводить с учетом соответствующих стандартов и спецификаций.

Стандарты в области криптографии и Руководящие документы Федеральной службы по техническому и экспортному контролю (ФСТЭК России, ранее Государственная техническая комиссия при Президенте Российской Федерации) закреплены законодательно.

• стандарт – документ, в котором в целях добровольного многократного использования устанавливаются характеристики продукции, правила осуществления и характеристики процессов производства, эксплуатации, хранения, перевозки, реализации и утилизации, выполнения работ или оказания услуг. Стандарт также может содержать требования к терминологии, символике, упаковке, маркировке или этикеткам и правилам их нанесения;

• стандартизация — деятельность по установлению правил и характеристик в целях их добровольного многократного использования, направленная на достижение упорядоченности в сферах производства и обращения продукции и повышение конкурентоспособности продукции, работ или услуг.

Выделяют две группы стандартов и спецификаций в области ИБ:

• оценочные стандарты, предназначенные для оценки и классификации информационных систем и средств защиты по требованиям безопасности;

• спецификации, регламентирующие различные аспекты реализации и использования средств и методов защиты.

Оценочные стандарты описывают важнейшие понятия и аспекты информационных систем (ИС), играя роль организационных и архитектурных спецификаций.

Другие спецификации определяют, как именно строить ИС предписанной архитектуры и выполнять организационные требования.

К оценочным стандартам относятся:

3. Руководящие документы ФСТЭК России.

Общие сведения о стандартах и спецификациях в области информационной безопасности представлены ниже.

– безопасная и доверенная системы,

– доверенная вычислительная база,

– ядро и периметр безопасности. Стандарт выделяет политику безопасности, как добровольное (дискреционное) и принудительное (мандатное) управление доступом, безопасность повторного использования объектов.

Важнейшее понятие, введенное в первой части, – сетевая доверенная вычислительная база. Другой принципиальный аспект – учет динамичности сетевых конфигураций. Среди защитных механизмов выделена криптография, помогающая поддерживать как конфиденциальность, так и целостность.

Также стандарт описывает достаточное условие корректности фрагментирования монитора обращений, являющееся теоретической основой декомпозиции распределенной ИС в объектно-ориентированном стиле в сочетании с криптографической защитой коммуникаций.

Гармонизированные критерии Европейских стран

В этих критериях отсутствуют требования к условиям, в которых должна работать информационная система. Предполагается, что сначала формулируется цель оценки, затем орган сертификации определяет, насколько полно она достигается, т. е. в какой мере корректны и эффективны архитектура и реализация механизмов безопасности в конкретной ситуации. Чтобы облегчить формулировку цели оценки, стандарт содержит описание десяти примерных классов функциональности, типичных для правительственных и коммерческих систем.

Важно указание и на различие между функциями (сервисами) безопасности и реализующими их механизмами, а также выделение двух аспектов гарантированности – эффективности и корректности средств безопасности.

• функциональные, соответствующие активному аспекту защиты, предъявляемые к функциям (сервисам) безопасности и реализующим их механизмам;

• требования доверия, соответствующие пассивному аспекту; они предъявляются к технологии и процессу разработки и эксплуатации. Требования безопасности формулируются, и их выполнение проверяется для определенного объекта оценки – аппаратно-программного продукта или информационной системы.

Профиль защиты представляет собой типовой набор требований, которым должны удовлетворять продукты и/или системы определенного класса.

Задание по безопасности содержит совокупность требований к конкретной разработке, их выполнение позволит решить поставленные задачи по обеспечению безопасности.

В 1997 г. был принят РД по отдельному сервису безопасности – межсетевым экранам (МЭ). Его основная идея состоит в классификации МЭ на основании осуществляющих фильтрацию потоков данных уровней эталонной семиуровневой модели – получила международное признание и продолжает оставаться актуальной.

Среди технических спецификаций основным документом является

Он относится к проблеме аутентификации в разнородной распределенной среде с поддержкой концепции единого входа в сеть. Сервер аутентификации Kerberos представляет собой доверенную третью сторону, владеющую секретными ключами обслуживаемых субъектов и помогающую им в попарной проверке подлинности. Клиентские компоненты Kerberos присутствуют в большинстве современных операционных систем.

Он выполняет организующую функцию, описывая внешний интерфейс криптографического модуля, общие требования к подобным модулям и их окружению. Наличие такого стандарта упрощает разработку сервисов безопасности и профилей защиты для них.

Технические спецификации IPsec

Они описывают полный набор средств обеспечения конфиденциальности и целостности на сетевом уровне. Для доминирующего в настоящее время протокола IP версии 4 они носят необязательный характер; в версии IPv6 их реализация обязательна. На основе IPsec строятся защитные механизмы протоколов более высокого уровня, вплоть до прикладного, а также законченные средства безопасности, в том числе виртуальные частные сети. IPsec существенным образом опирается на криптографические механизмы и ключевую инфраструктуру.

TLS, средства безопасности транспортного уровня (Transport Layer Security, TLS)

Спецификация TLS развивает и уточняет популярный протокол Secure Socket Layer (SSL), используемый в большом числе программных продуктов самого разного назначения.

Возникновение и развитие сетей дало новый, надёжный и высокоэффективный способ взаимодействия между людьми. Так же, как и другие ресурсы в сфере информационных технологий, сети первоначально использовались для научных целей, затем получив распространение во всех областях человеческой деятельности. Первоначально сети существовали независимо друг от друга, каждая сеть решала конкретные задачи для конкретных групп пользователей. Со временем, возникла идея объединить множество локальных сетей в единую глобальную сеть (Internet), что дало новые требования к её организации (в том числе и её стандартизации).

Таким образом, сеть Internet никому не принадлежит, точнее, она принадлежит любому, кто может оплатить адресное пространство в ней. Сегодня десятки миллионов пользователей подключаются к сети Internet и десятки тысяч компаний уже не могут обходиться без ее услуг. Администраторы и разработчики сетей вынуждены учитывать при проектировании сетей новые требования. В настоящее время понимание структуры сети, современных стандартов (технологий и протоколов) является необходимым условием создания сетей. [3]

Известны следующие модели сетевого взаимодействия: модель OSI имеет семиуровневую структуру, модель DOD (TCP/IP) имеет 4 уровня, таким образом, я посчитал целесообразным подробно рассмотреть функции каждого из уровней моделей, а так же познакомить читателя с наиболее известными протоколами и технологиями в области передачи данных по сети.

Целью компьютерной сети является соединение различного оборудования, таким образом, проблемы совместимости здесь наиболее остры. Для создания и развития сетевой инфраструктуры необходимо согласование всеми производителями общепринятых стандартов для оборудования и протоколов. Поэтому все развитие компьютерной отрасли, в конечном счете, отражено в стандартах - любая новая технология только тогда приобретает "законный" статус, когда ее содержание закрепляется в соответствующем стандарте. [10]

Итак, целью данной работы является изучение самых распространенных сетевых протоколов и стандартов, применяемых в современных компьютерных сетях. Также в работе я рассмотрел некоторые вопросы технической реализации сети.

Выбранную мной тему считаю актуальной, поскольку развитие сетевой инфраструктуры и её оптимизация имеет огромнейшую роль как в вычислительных, так и в информационных целях.

Вычислительные сети классифицируются по ряду признаков.

По территориальной распространённости выделяют CAN (сеть контроллеров), LAN (локальная сеть), WAN (глобальная сеть), PAN (персональная сеть).

В данной работе подробнее речь пойдёт о локальных и глобальных сетях.

Под локальной компьютерной сетью (Local Area Network, LAN) понимается совокупность компьютеров, объединенных одной средой передачи данных и одной технологией доступа к среде.

Глобальная компьютерная сеть (Wide Area Network, WAN) - это совокупность локальных сетей, разнесенных географически на большие расстояния, способных обмениваться данными. [1]

В зависимости от топологии соединений узлов различают сети.

Компьютеры любой сети называют узлами или хостами.

Cети разделяют также в зависимости от топологии соединений узлов на шинную (магистральную), кольцевую, звездную, иерархическую, произвольную структуру [7]

По типу функционального взаимодействия выделяют: клиент-сервер, сменные сети, одноранговые сети, многоранговые сети;

Сети разделяются и по типу среды передачи данных (проводные, беспроводные), по скорости передачи данных, по функциональному значению, а также по используемым операционным системам.

Для того чтобы облегчить изучение сети, упростить разработку сетевых протоколов и устройств, а также для упрощения проектирования сети была разработана эталонная модель OSI (Open System Interconnection), модель описывает взаимосвязи открытых систем: как два узла сети взаимодействуют между собой [7]. В этой модели для упрощения описания сетевых операций используют семь уровней. Уровни относительно независимы и разделены на основе выполняемых ими функций. Названия уровней и их функции перечислены в таблице [1]:

Функции семиуровневой модели сети

(Уровень канала связи)

Основные принципы выделения уровней в OSI (7 уровней, в основке которых положены следующие принципы)

1) подходящая степень модуляризации (уровней не слишком много)

2) прозрачность (реализация сетевого взаимодействия не слишком сложная)

3) минимальное количество информации, передаваемое интерфейсами между уровнями.

4) четкое распределение задач (каждый уровень решает конкретные задачи)

5) новый уровень должен создаваться каждый раз, когда требуется новый уровень абстракции (пример: если одна функция оперирует битами, а появляется другая функция, которая манипулирует группами бит, то эти функци должны быть на разных уровнях). [2]

Наибольшую роль для правильной работы сети играют первые три уровня. Каждому из них соответствует свое сетевое оборудование.

Основные устройства перечислены в следующей таблице [1]:

Сетевые устройства и их функции№	Название уровня	Устройство	Функция
3	Network	Маршрутизатор (Router)	Вычисляет путь по логическому адресу места назначения. Коммутирует потоки данных, осуществляет фильтрацию данных. Объединяет локальные сети, обеспечивает доступ к глобальным сетям.
2	Data Link	Коммутатор (Switch)	Коммутатор - разбивает локальную сеть на сегменты и управляет потоками данных между сегментами на основе аппаратных MAC-адресов.
1	Physical	Концентратор (Hub)	Концентратор получает сигнал, усиливает его и рассылает по всем своим портам.

Существуют устройства, которые работают сразу на всех 7 уровнях. Это - компьютеры конечных пользователей (рабочие станции), серверы различного назначения, принтеры с сетевыми интерфейсами.

Сетевой протокол - это формальное описание правил и соглашений, которое управляет обменом сетевой информацией между одноименными уровнями взаимодействующих хостов. Совокупность протоколов всех уровней, работающих совместно для обеспечения передачи данных между узлами сети называется стеком протоколов .

Наиболее известный стек протоколов - TCP/IP . Он разрабатывался совместно с моделью сети TCP/IP. Модель TCP/IP имеет всего четыре уровня. Соответствие между уровнями модели TCP/IP и OSI представлены в таблице:

компьютерная сеть протокол стандарт

Модель OSI	Уровень	Модель TCP/IP	Уровень
7	Application	4	Application
6	Presentation	4	Application
5	Session	4	Application
4	Transport	3	Transport
3	Network	2	Internet
2	Data Link	1	Media Access
1	Physical	1	Media Access

Каждый протокол работает на своем уровне с данными, организованными в блоки (PDU - Protocol Data Unit). На каждом уровне для блоков данных используется свое название.

1) физический уровень

Физический уровень отвечает за передачу данных по физическому каналу и описывает среды передачи данных. Данные на физическом уровне передаются в виде сигналов. Сигнал - это физический процесс, развивающийся во времени. Для формирования и передачи сигналов используют два приема: цифровое кодирование и аналоговую модуляцию.

Физический уровень определяет такие виды среды передачи данных как оптоволокно, витая пара, коаксиальный кабель, спутниковый канал передач данных и т.п. [8]

2) канальный уровень.

Канальный уровень предназначен для обеспечения взаимодействия сетей на физическом уровне и контроля за ошибками, которые могут возникнуть.

Спецификация IEEE 802 разделяет этот уровень на два подуровня - MAC (Media Access Control) регулирует доступ к разделяемой физической среде, LLC (Logical Link Control) обеспечивает обслуживание сетевого уровня.

3) сетевой уровень.

Сетевой уровень отвечает за выбор маршрута следования и коммутацию пакетов. Основным протоколом этого уровня в стеке протоколов TCP/IP является протокол IP (Internet Protocol).

4) транспортный уровень

Транспортный уровень модели формирует сегменты данных, размер которых зависит от протокола, и преобразует их в поток, обеспечивая надёжную передачу данных.

5) сеансовый уровень

Сетевой уровень отвечает за поддержание сеанса связи, позволяет приложениям взаимодействовать между собой длительное время (в том числе в периоды неактивности приложений)

6) уровень представлений

Уровень представлений имеет дело не только с форматами и представлением данных, он также занимается структурами данных, которые используются программами.

7) п рикладной (приложений) уровень

Прикладной уровень обеспечивает взаимодействие пользовательских приложений с сетью. Этот уровень позволяет приложениям использовать сетевые службы, такие как удалённый доступ к файлам и базам данных, пересылка электронной почты. Также отвечает за передачу служебной информации, предоставляет приложениям информацию об ошибках и формирует запросы к уровню представления.

Инкапсуляци я - это процесс спуска данных с верхних уровней узла к нижним с добавлением к ним специальных заголовков, соответствующих протоколам текущего уровня. [1]

Документы, входящие в систему стандартов информационного обмена между вычислительными системами:

1) эталонная модель OSI

2) стандартизация методологии и средств тестирования комфорности (X290)

3) стандарты протоколов и сервисов сетевых технологий.

Комфорность - соответствие объекта его нормативно-технической документации.

4) Стандарты абстрактных методов тестирования сетевых протоколов.

5) Стандарты общесистемных функций (управления, безопасности, качества сервисов)

6) Вспомогательные документы (руководства, словари понятий, технические отчёты и др.) [2]

Как уже было написано, на каждом уровне эталонной модели взаимодействия двух хостов (модели OSI) работают свои устройства, обеспечивающие передачу данных, используя те или иные стандарты: технологии и протоколы. Каждый протокол также работает на своём уровне.

Рассмотрим следующую таблицу [1]: Соответствие протоколов и уровней.

Форматы данных: JPEG, GIF, ASCII. Шифрование: RSA, DES, ГОСТ89

Стандарты на схемы кодирования сигналов.

Стандарты на среды передачи данных. Витая пара: UTP CAT5, UTP CAT3, Shielded TP.

Коаксиальный кабель: Thin и Thick Ethernet. Стандарты структуриро-ванных кабельных сетей: TIA/EIA-568A,B;

Далее я посчитал целесообразным рассмотреть подробнее некототорые протоколы и технологии.

Уровень сетевого интерфейса. Стек TCP/IP на нижнем уровне (1,2 уровни модели OSI) поддерживает все популярные стандарты физического и канального уровней: для локальных сетей - это Ethernet, Token Ring, FDDI, для глобальных - протоколы работы на аналоговых коммутируемых и выделенных линиях SLIP, РРР, протоколы территориальных сетей Х.25 и ISDN

Рассмотрим Ethernet - пакетную технологию передачи данных для локальных сетей.

Спецификации: 10Base-5, 10Base-2,10Base-T, 10Base-F [4]

Для передачи сигнала используются: коаксиальный кабель (спецификации: 10base5, 10base2), витая пара (спецификации: 10baseT, 100baseT), оптоволокно (10baseFL, 1000baseSXLX). Для построения сети Ethernet на основе витой пары необходим концентратор или коммутатор Ethernet. На физическом уровне стандарта Ethernet используются манчестерские схемы кодирования. Логическая топология у технологии Ethernet - шина. Циркуляция данных в сети происходит согласно следующему алгоритму. Если одно устройство сети Ethernet хочет передать данные другому устройству, то оно вначале прослушивает канал передачи данных, ожидая его освобождения. Когда канал свободен, формируется кадр: в поле кадра DA записывается MAC-адрес (уникальный физический адрес) места назначения, в SA - собственный MAC-адрес. Кадр попадает на концентратор, который усиливает сигнал и рассылает его по всем портам. Все устройства, подключенные к концентратору, получают этот кадр, проверяют, совпадает ли их собственный адрес с адресом места назначения. Если да, то принимают кадр; если нет - отбрасывают.

При одновременной передаче двух хостов возможно возникновение коллизий. Коллизия - это наложение амплитуд двух сигналов, обнаруживаемое с помощью пороговой схемы. Коллизия приводит к искажению данных, поэтому после обнаружения коллизии формируется так называемый JAM-сигнал длиной в 32 бита и посылается в среду передачи данных. После получения JAM-сигнала все узлы сети узнают о происшествии (возникновении коллизии). Узлы прекращают передачу кадров на случайно выбранные промежутки времени. Этот механизм доступа к среде называется множественным доступом с контролем несущей и обнаружением коллизий, Carrier Sense Multiple Access with Collision Detection (CSMA/CD). Область сети, в которой происходят коллизии, называется доменом коллизий.

Далее рассмотрим протокол PPP . Протокол PPP используется в глобальных сетях. Как правило, используется для установления прямой связи между двумя узлами сети, причем он может обеспечить аутентификацию соединения, шифрование и сжатие данных. Используется на многих типах физических сетей: нуль-модемный кабель, телефонная линия, сотовая связь и. т.д. Существуют следующие виды протокола: PPPoE (используется для Ethernet, DSL), PPPoA (используется для (AAL5). PPP представляет собой целое семейство протоколов: протокол управления линией связи (LCP), протокол управления сетью (NCP), протоколы аутентификации (PAP, CHAP), многоканальный протокол PPP (MLPPP).

Итак, рассмотренные стандарты (Ethernet, PPP) работают на первом уровне модели TCP/IP и соответственно на 1 и 2-ом уровнях модели OSI.

Уровень Internet . Здесь работают такие протоколы как IP, IPx, ARP, ICMP.

Одна из задач, которая стоит перед протоколом IP, - обеспечение совместной согласованной работы в распределенной сети, состоящей из локальных сетей с разными технологиями 2-уровня. Но при этом возникает следующая проблема: "Мы знаем IP-адрес места назначения, какой физический адрес места назначения необходимо указать в заголовке кадра?". В стеке протоколов TCP/IP решением этой проблемы занимается протокол ARP.

Транспортный уровень. На этом уровне в стеке протоколов TCP/IP используются два протокола: UDP (User Datagram Protocol - протокол пользовательских датаграмм, описан в RFC 768) и TCP (Transmission Control Protocol - протокол управления передачей, описан в RFC 793).

UDP - это ненадежный протокол без установления соединения и без гарантированной доставки. UDP обеспечивает минимальные транспортные услуги для протоколов прикладного уровня. Само приложение должно контролировать пропущенные или искаженные данные, запрашивать их повторно или игнорировать пропуски и искажения.

TCP - это надежный протокол с гарантированной доставкой и установлением соединения. TCP - протокол, обеспечивающий управляемую скорость передачи. Данный протокол использует следующие механизмы:

1) монопольное соединение TCP. Означает, что при установке сеанса TCP соединение монопольно и уникально для двух хостов.

2) порядковые номера. Обеспечивают хронологию в посылке и приеме данных TCP.

Протоколы прикладных уровней.

FTP ( File Transfer Protocol) - протокол передачи файлов. Предназначен для передачи файлов между хостами. Один из хостов играет роль сервера, именно на нем размещаются файлы. Второй - клиента. Для передачи данных используют 20 порт, в качестве транспортного протокола TCP. Для передачи команд управления - 21 порт (протокол TCP).

TFTP ( Trivial File Transfer Protocol) - простой протокол передачи файлов. Предназначен для передачи файлов по надежным каналам связи. В качестве транспорта использует UDP. Сходен по назначению с FTP. Используется, в частности, для загрузки образов IOS и конфигурационных файлов в маршрутизаторы и коммутаторы.

POP3 ( Post Office Protocol) - протокол, с помощью которого клиенты забирают почту с почтового сервера, использует 110 порт.

Telnet - протокол терминальной службы, использует 23 порт. Позволяет получить доступ к консоли сервера и запускать на нем различные задачи. Протокол не обеспечивает безопасного соединения: трафик не шифруется, а пароли передаются в открытом виде. Сейчас существуют более совершенные и защищенные службы.

DHCP ( Dynamic Host Configuration Protocol) - протокол, который позволяет динамически конфигурировать хосты, работающие по протоколу IP.

SNMP ( Simple Network Management Protocol) - протокол, предназначенный для сбора информации в IP-сети и конфигурировании сетевых устройств, таких, как серверы, принтеры, концентраторы, коммутаторы и маршрутизаторы. SNMP - может быть использован для сбора статистики с сетевых устройств и направления этой информации на центральную консоль управления. Эта информация используется для наблюдения за производительностью сети и диагностики ошибок. Типичная статистическая информация может включать число пакетов или кадров, посланных или полученных за промежуток времени, а также число произошедших ошибок. SNMP может быть также использован для чтения и изменения конфигурации интерфейсов сетевых устройств, например IP-адресов.

Для правильного взаимодействия компьютеров, работающих в сетях разнообразной структуры, с использованием различного программного обеспечения необходимо наличие стандартов. Как мы и убедились, этих стандартов на данный момент существует также достаточно большое количество. Данные стандарты и протоколы строго определяют нормы и правила технической организации компьютерных сетей и программ, реализующих взаимодействие по сети.

Изучение сетевых стандартов и протоколов является на сегодняшний день обязательным для любого специалиста по информационным технологиям. Поскольку удельное количество персональных компьютеров объединенных в сети неуклонно возрастает, вопросы рассмотрения темы сетевых протоколов и стандартов приобретают особую актуальность. Важную значимость, данная тема имеет и в аспекте выбора того или иного способа построения компьютерной сети, отвечающей заданному набору требований.

[1] Д.Н. Лавров Сети и системы телекоммуникаций.

[2] З.В. Семёнова Современные стандарты в области передачи данных по сетям.

[3] С. Хелеби Принципы маршрутизации в Internet

[4] Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы. Технологии, протоколы.

В русскоязычном интернете весьма мало информации о SDMX, несмотря на то, что этот стандарт давно используется для публикации и обмена данными многими странами и международными организациями. Инициатива разработки стандарта была запущена семью международными организациями, работающими со статистическими данными, которые стали спонсорами разработки. Основной целью было упрощение обмена статистическими данными между такими организациями, создание стандарта такого обмена и описание бизнес-процесса по внедрению данного стандарта. Единый подход не только позволяет упростить доступ к статистическим данным, но и с помощью метаданных (данные о данных) делает более доступным понимание их смысла и содержания.

Стандарт не является жестким руководством к действию, организации сами выбирают, какие элементы SDMX они будут использовать и для каких целей.

Первая версия стандарта позволяла обмениваться статистическими данными и метаданными в форматах GESMES/TS (собственный SDMX формат, чем-то напоминающий CSV с разделителем, позже был переименован в SDMX-EDI) и XML формат данных SDML-ML.
Версия 1.0 была одобрена в сентябре 2004 года и принята как техническая спецификация ISO (ISO/TS 17369:2005) в апреле 2005 года.
В ноябре 2005 года была готова и одобрена версия 2.0, которая полностью совместима с версией 1.0, но добавила возможность обмена ссылочными(описательными) метаданными.
Версия 2.1 (текущая на 2018 год) была выпущена в мае 2011 года и в 2013 году была издана как международный стандарт ISO 17369.
Позднее были описаны стандарты обмена в форматах CSV и JSON.

Описание стандарта SDMX содержит следующие компоненты:

Информационная модель (Information Model)
XSD-схемы описания структуры, модели содержания и типов данных
Руководящие принципы по информационному наполнению (Content-oriented Guidelines)
Набор программ и инструментов для работы с SDMX

Информационная модель SDMX

Чем статистические данные отличаются от обычных данных? Да в общем-то ничем.

Статистические данные — совокупность упорядоченных, классифицированных данных о некотором массовом явлении или процессе. Характеризуются набором измерений (концептов, в терминах SDMX), в качестве одного из которых обычно выступает временной период. Для обработки и анализа таких данных обычно используют BI инструменты.

Статистическое наблюдение – это набор конкретных значений концептов, однозначно характеризующих каждую единицу совокупности массива данных.

В SDMX концепт является базовым объектом структуры и представляет собой качественную характеристику статистических наблюдений. Значениями концепта может быть число, строка, дата или значения из справочников кодов ( CODELIST ). Это представление может быть переопределено в структуре данных (Data Structure Definition), когда концепт будет использован как измерение или атрибут.

Принцип кодирования структурных объектов SDMX определен в стандарте: допустимы латинские символы в верхнем регистре, цифры и знак подчеркивания. Кроме того, поддерживается версионность структур.

Описание структуры данных Data Structure Definition ( DSD ) определяет соответствующий состав и порядок концептов для формирования конечного набора данных ( DATASET ). Каждому концепту, входящему в структуру, дается определение его роли в наборе данных:

Измерение ( DIMENSION ) – основной идентификатор данных. Набор значений всех измерений, кроме временного, формирует уникальный код ( CODE ) серии в рамках одной структуры данных.
Атрибут ( ATTRIBUTE ) — предоставляет дополнительное описание либо для набора данных, либо для конкретного наблюдения. Примером атрибута может быть единица измерения или статус наблюдения (предварительное, прогнозируемое, пересмотренное и т.д.).
Непосредственно значение ( MEASURE ) наблюдения.

Концепт	Роль	Тип данных
Периодичность	Измерение	Справочник
Страна	Измерение	Справочник
Функциональная категория	Измерение	Справочник
Период	Измерение времени	Дата
Единица измерения	Атрибут	Справочник
Значение	Значение	Число

Набор данных ( DATASET ) — это коллекция однородных данных, имеющих общую структуру DSD. Может содержать временные серии (time series) или же нескольких серий в определенный момент времени (перекрёстные данные – Cross-Sectional Data).

Связь CONCEPTS, CODELISTS, DSD и DATASET

Данные временной серии

Метаданные

В SDMX метаданные (Metadata) разделены на две группы:

Структурные метаданные (Structural metadata) – это набор концептов, используемых для описания и идентификации статистических данных и метаданных
Ссылочные (или поясняющие) метаданные (Reference metadata) – большой набор концептов, которые определяют и квалифицируют наборы данных и которые обычно описывают не наблюдение или серию данных, но весь набор данных или даже организацию, которая предоставляет данные. Ссылочные метаданные обычно имеют текстовый или HTML-формат и используют концепты, описывающие содержание, методологию и качество данных.

Описание структуры метаданных Metadata Structure Definition ( MSD ) включает информацию о том, как организованы наборы метаданных, содержащие ссылочные значения (аналогично DSD). В частности, MSD описывает, что входит в обмен метаданными и как концепты соотносятся друг относительно друга, как они будут показаны (в виде текста или значения из справочника) и с каким типом объекта (agency, dataflow, data provider, dataset и др.) они связаны.

Набор ссылочных метаданных ( METADATASET ) — это информация, непосредственно описывающая статистический подход, организацию, предоставляющую данные или структуру данных, календарь публикаций, качество данных и прочее, в соответствии со структурой метаданных.

Представление ссылочных метаданных на сайте Европейского центрального банка

Руководящие принципы по информационному наполнению

Руководящие принципы по информационному наполнению (Content-oriented guidelines) — это набор рекомендаций в пределах SDMX стандарта. Их цель — максимальная совместимость в обмене данными и метаданными между организациями. Их использование между статистическими организациями поощряется насколько это возможно. Основными документами являются:

Список междоменных концептов
Статистические предметно-ориентированные области
Общий словарь метаданных

Концепты могут быть использованы как для данных, так и для метаданных. Каждый концепт имеет уникальный код и описание контекста, в котором данный концепт может быть использован, а также презентацию в SDMX-стандарте.

Статистические предметно-ориентированные области (Content-Oriented Domains) — классификация верхнего уровня, основанная на работе Европейской экономической комиссии ООН (UNECE) о статистических областях. Классификация предлагает стартовую точку в организации обмена статистических данных и метаданных.

Общий словарь метаданных Metadata Common Vocabulary ( MCV ) содержит концепты и связанные с ними измерения, используемые в структурных и ссылочных метаданных международных организаций и национальных агентств. MCV — словарь который рекомендует использовать общую терминологию с целью упростить коммуникации и понимание. MCV тесно привязана к междоменным концептам и также содержит все эти концепты, указывая их определение и описание контекста.

IT-инструменты для работы с SDMX

В Fusion Registry последних версий практически полностью реализован весь функционал стандарта. Приложение также может работать как SDMX регистратор. К сожалению, отсутствует возможность формирования данных и метаданных в SDMX формате.

Data Structure Wizard — Java-приложение для создания структурных метаданных версии 2.0 и 2.1, поддерживает создание всех основных SDMX сущностей.

SDMX converter — основной инструмент для работы с SDMX данными, созданный Евростатом. Позволяет сформировать набор данных (но не метаданных) из файлов формата Excel, CSV, FLR, а также конвертировать данные между различными форматами SDMX.

Вместо заключения

Стандартизация статистической информации в рамках стандарта SDMX существенно упрощает распространение и анализ данных. Использование web-сервисов позволяет упростить процессы обработки массивов информации и обеспечить подключение смежных систем, предоставляя любому пользователю возможность получить и сравнить интересующие его макроэкономические показатели по разным странам мира. Указанные преимущества стандарта SDMX лежат в основе реализуемого в настоящее время в России межведомственного проекта по внедрению стандарта в практику распространения статистических данных как в рамках информационного обмена с международными организациями, так и в рамках предоставления данных неограниченному кругу пользователей с использованием портальных технологий.

Читайте также: