Как осуществляется хранение информации в данный момент кратко

Обновлено: 05.07.2024

Человек может хранить в уме информацию, которая требуется ему постоянно. Ты помнишь свой адрес, номер телефона, как зовут твоих родных и близких, друзей. Такую память можно назвать оперативной .

Но есть информация, которую трудно запомнить. Её человек записывает в записную книжку, ищет в справочнике, словаре, энциклопедии. Это внешняя память. Её можно назвать долговременной.

Оперативная память — предназначена для временного хранения информации, т. е. на момент, когда компьютер работает (после выключения компьютера информация удаляется из оперативной памяти).

Долговременная память (внешняя) — для долгого хранения информации (при выключении компьютера информация не удаляется).

Благодаря этим изобретениям у человечества появилась возможность сохранять для будущих поколений лица людей, явления природы, значимые исторические события и т.д.

Звуковую информацию люди научились сохранять намного раньше, чем фото и видео информацию, используя для этого ноты. С помощью нот из поколения в поколение передаются музыкальные произведения великих композиторов.

В середине прошлого столетия в Японии было налажено производство магнитофонов. До сих пор магнитофоны применяются для записи и воспроизведения звуковой информации.

Информация на компьютере может быть разной: текст, изображения, звук, видео и т.п. Для хранения этой информации используются специальные носители.

Объём перфокарты составлял \(80\) байт. Для сравнения, одна книга в \(300\) страниц и \(2000\) символов на каждой странице имеет информационный объём (600\) \(000\) байтов, или \(586\) Кб. Сейчас перфокарты практически не используются.

Ферромагнитная лента использовалась как носитель для ЭВМ первого и второго поколения. Её объём был \(500\) Кб. Появилась возможность записи звуковой и видеоинформации.

Компакт-диск (англ. Compact Disc) — оптический носитель информации в виде пластикового диска с отверстием в центре, процесс записи и считывания информации с которого осуществляется при помощи лазера.

TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.

Зачем это все?

Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.

Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.

Хранение данных

Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.

По способу подключения есть следующие варианты:

Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.

подключение дисков в сервере

Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.

дисковая полка, подключаемая по FC

По типу используемых накопителей возможно выделить:

Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.

Если рассматривать форму хранения данных, то явно выделяются следующие:

Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.

По реализации достаточно сложно провести четкие границы, однако можно отметить:

аппаратные, например RAID и HBA контроллеры, специализированные СХД.

RAID контроллер от компании Fujitsu

Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS

пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure

Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.

Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:

Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.

Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.

Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.

Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.

Unified storage

Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.

Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.

Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).

N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.

Пример SDS на основе GlusterFS

Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.

Гиперконвергентные системы

Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.

Облака и эфемерные хранилища

Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.

Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.

Заключение

Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.

Данные – это самое главное для обычных пользователей и современного бизнеса. Если в системе ПК возникнет сбой, необходимо иметь возможность восстановить личные и рабочие файлы. Поэтому важно хранить информацию вне компьютера. При этом следует убедиться, что будет легко получить доступ к этим файлам и управлять ими.

Хранение – ключевой компонент цифровых устройств, поскольку пользователи и компании привыкли полагаться на него для сохранения информации, начиная личными фотографиями и заканчивая важными для бизнеса документами.

Технология хранения со временем улучшается. Мы начали с мэйнфреймов, а теперь можно записывать все на быстрые SSD.

Как работает хранилище

Требования к емкости определяют, сколько хранилища необходимо для запуска приложения, набора приложений или наборов данных. Требования к емкости учитывают типы данных. Например, для простых документов может потребоваться емкость в килобайтах, в то время как файлы с большим количеством графики могут занимать мегабайты, а видеофайлы – гигабайты.

Локальное хранилище

Это традиционный метод. При этом компании будут сами управлять серверами и владеть ими. У предприятий достаточно денег, чтобы построить собственный центр обработки данных. Однако у большинства из них есть выделенная комната, где они могут хранить свои серверы.

Если данные хранятся на своем внутреннем сервере, необходимо создать и поддерживать свою IT-инфраструктуру. Однако также придется вложить много денег в создание этой инфраструктуры. Нужно иметь дело с расходами на содержание центра обработки данных. Если оборудование старое, то необходимо его заменить. При этом следует регулярно обновлять программное обеспечение, регулировать протоколы доступа.

Некоторые компании хотят иметь полный контроль над своими ресурсами и файлами. Таким образом, стоит подумать о создании собственного дата-центра.

Облачное хранилище

Кроме того, партнеры могут получить доступ к папкам из любой точки мира. Это очень важно, поскольку большинство людей сейчас работают удаленно.

Еще один вариант – комбинировать облачные технологии с периферийными. Это поможет собрать больше данных и управлять ими, расширить охват своей сети, не покупая новое сетевое оборудование.

Типы устройств

Когда дело доходит до физического хранилища, рекомендуется использовать различные типы устройств. Каждое устройство предлагает несколько разные преимущества и недостатки с точки зрения надежности и производительности, поэтому важно понимать, как каждое из них работает, как они могут дополнять друг друга.

HDD, или жесткие диски

Самое известное запоминающее устройство, доступное на рынке, – жесткий диск. На HDD информация будет храниться на оптическом и круглом диске. Данные считываются и записываются с помощью сенсорного рычага. Этот принцип очень похож на компакт-диск или проигрыватель. Если нужна более высокая скорость передачи данных, то можно увеличить вращение диска. Таким образом, HDD будет предлагать лучшую производительность.

Однако на самом деле эта скорость ограничена вращением диска. Большинство жестких дисков предлагают до 7000 об/мин. Если использовать дорогие HDD, скорость может достигать 15000 об/мин. Срок их службы – около 3-5 лет. Однако они дешевле по сравнению с другими устройствами.

SSD, или твердотельные накопители

Твердотельные накопители отличаются от HDD, поскольку у них нет вращающихся или движущихся частей. Эти диски используют флэш-память NAND. Твердотельные накопители почти в 4-10 раз быстрее жестких дисков. Они также более долговечны.

Однако SSD дороже по сравнению с HDD. Каждый блок памяти может хранить ограниченные данные, считаются ненадежными для резервных копий.

Ленточные накопители

Самая старая форма приводов, доступных на рынке. Ленточные накопители в основном используются компаниями, которые хранят большой объем архивных файлов, когда не нужно быстро получать к ним доступ. Жизненный цикл большинства цифровых ленточных накопителей составляет более 30 лет. Кроме того, не нужно беспокоиться о его поддержании. Это идеальное решение для резервного копирования.

Пятимерное (5D) хранилище

Представляет собой новую разработку, где используются диски из плавленого кварца, которые могут кодировать данные в трех стандартных измерениях (ширина, длина, глубина) и двух оптических измерениях. Последнее достигается изменением поляризации и интенсивности лазерного света в процессе записи. Это позволяет небольшим стеклянным дискам 5D хранить 360 ТБ. Диски 5D невероятно долговечны и теоретически могут прожить миллиарды лет при комнатной температуре.

Но в качестве экспериментальной технологии 5D по-прежнему не является рентабельным или практичным способом для хранения рабочих и личных файлов. Возникают вопросы о том, сможет ли кварцевый состав поддерживать несколько записей, не говоря уже о том, какое оборудование потребуется для чтения закодированной информации.

Тем не менее, технология является многообещающей в качестве будущего долгосрочного архивного решения для хранения данных благодаря надежности и доступной памяти.

Корпоративные сети и серверная флэш-память

Поставщики корпоративных хранилищ предоставляют интегрированные системы NAS, которые помогают собирать большие объемы информации и управлять ими. Аппаратное обеспечение включает в себя массивы или серверы хранения, оснащенные жесткими дисками, флэш-накопителями или их гибридной комбинацией, а также программное обеспечение для предоставления услуг обработки данных на основе массивов.

С 2011 года все большее число предприятий внедряют массивы all-flash, оснащенные только твердотельными накопителями на базе флэш-памяти NAND, в качестве дополнения или замены дисковых массивов.

В отличие от дисков, устройства флэш-памяти не полагаются на движущиеся механические части, что обеспечивает более быстрый доступ к информации и меньшую задержку. Флэш-память является энергонезависимой, что позволяет информации сохраняться в памяти, даже если система теряет питание. При этом для дисковых систем требуется встроенная резервная батарея или конденсаторы.

Но флэш-память еще не достигла уровня выносливости, эквивалентного диску, что привело к созданию гибридных массивов, объединяющих оба типа носителей.

Существует 3 основных варианта сетевых систем хранения. В своей простейшей конфигурации хранилище с прямым подключением (DAS) включает внутренний жесткий диск отдельного компьютера. На предприятии DAS может быть кластером дисков на сервере или группой внешних дисков, которые подключаются непосредственно к серверу через интерфейс малых компьютерных систем (SCSI), последовательный интерфейс SCSI (SAS), волоконный канал (FC) или Интернет.

NAS – это архитектура, в которой несколько файловых узлов совместно используются пользователями обычно через подключение к локальной сети (LAN) на основе Ethernet. Преимущество NAS в том, что файловым серверам не требуется полнофункциональная операционная система корпоративного хранилища. Устройства NAS управляются с помощью служебной программы на основе браузера, и каждому узлу в сети назначается уникальный IP-адрес.

С горизонтально масштабируемым NAS тесно связано хранилище объектов, которое устраняет необходимость в файловой системе. Каждый объект представлен уникальным идентификатором. Все объекты представлены в едином плоском пространстве имен.

Сеть хранения данных (SAN) может быть спроектирована для охвата нескольких местоположений дата-центров, которым требуется высокопроизводительное блочное хранилище. В среде SAN блочные устройства воспринимаются хостом как локально подключенное хранилище. Каждый сервер в сети может получить доступ к общему хранилищу, как если бы это был диск с прямым подключением.

Достижения в области флэш-памяти NAND в сочетании с падением цен в последние годы проложили путь к программно-определяемым хранилищам. Используя эту конфигурацию, предприятие устанавливает твердотельные накопители по стандартной цене на сервер на базе x86, используя стороннее ПО или собственный открытый исходный код для управления хранилищем.

Энергонезависимая память Express (NVMe) – это развивающийся отраслевой протокол для флэш-памяти. Отраслевые обозреватели ожидают, что NVMe станет стандартом для флэш-хранилищ. NVMe позволит приложениям напрямую взаимодействовать с центральным процессором (ЦП) через каналы связи PCIe, минуя наборы команд SCSI, передаваемые на сетевой адаптер главной шины. NVMe-oF предназначен для ускорения передачи данных между хост-компьютером и целевой флэш-памятью с использованием установленного сетевого подключения Ethernet, FC или InfiniBand.

Энергонезависимый двухрядный модуль памяти (NVDIMM) представляет собой гибридную память NAND и DRAM со встроенным резервным питанием, который подключается к стандартному слоту DIMM на шине памяти. Модули NVDIMM используют только флэш-память для резервного копирования, выполняя обычные вычисления в DRAM.

NVDIMM помещает флэш-память ближе к материнской плате, предполагая, что производитель компьютера модифицировал сервер и разработал базовые драйверы системы ввода-вывода (BIOS) для распознавания устройства. Модули NVDIMM – это способ расширить системную память или добавить высокопроизводительное хранилище, а не увеличить емкость. Текущие модули NVDIMM на рынке достигают максимум 32 ГБ, но плотность в форм-факторе увеличилась с 8 ГБ до 16 ГБ всего за несколько лет.

Хранение и передача информации осуществляются за счет преобразования информации в удобную форму в зависимости от условий, в которых находятся источник и потребитель информации. Передача информации может осуществляться напрямую, а также за счет усиления сигнала (рупор, локальная компьютерная сеть, письменная речь и т. д. ) или же путем преобразования сигнала и передачи его на далекие расстояния (телефон, телеграф, радио, телевидение, глобальные компьютерные сети и т. д.) .

Процедура хранения информации в ПК состоит в том, чтобы сформировать и поддерживать структуру хранения данных в памяти компьютера. Современные структуры хранения данных должны быть независимы от программ, использующих эти данные, и реализовывать принципы полноты и минимальной избыточности. Такие структуры получили название "базы данных". Процедуры создания структуры хранения (базы данных) , актуализации, извлечения и удаления данных производятся при помощи специальных программ, называемых "системы управления базами данных".

Читайте также: