Вычислительные сети как распределенные системы кратко

Обновлено: 05.07.2024

Этой теме я и хотел посвятить статью или даже серию статей. Но потом решил выложить своё учебное пособие по основам распределённых вычислений, вышедшее в свет в этом году (читай, небольшую книгу объемом 155 страниц). В итоге получился гибрид – статья со ссылкой на книгу. Книга распространяется бесплатно и доступна в электронном виде.

Должен признать, что у меня нет готового заученного ответа, который я могу выдать не задумываясь. Поэтому каждый раз приходится напрягаться извилинами, и каждый раз ответы и аргументы получаются разными. Вот и сейчас всё как впервые…

Давайте попробуем начать издалека. И чтобы было нагляднее – с медицины. Потому как, если речь заходит о врачебных ошибках, мозг начинает активно работать и генерировать сильное возмущение: ужас, ужас, могли человека угробить. Что они там, совсем что ли? Неужели не знают, чего делают?

Приведу небольшое высказывание Л. Лэмпорта на эту тему (чуть ниже я постарался перевести это высказывание на русский язык, не сильно отдаляясь от оригинала):

For quite a while, I've been disturbed by the emphasis on language in computer science. One result of that emphasis is programmers who are C++ experts but can't write programs that do what they're supposed to. The typical computer science response is that programmers need to use the right programming / specification / development language instead of / in addition to C++. The typical industrial response is to provide the programmer with better debugging tools, on the theory that we can obtain good programs by putting a monkey at a keyboard and automatically finding the errors in its code.
I believe that the best way to get better programs is to teach programmers how to think better. Thinking is not the ability to manipulate language; it's the ability to manipulate concepts. Computer science should be about concepts, not languages.

Уже довольно длительное время меня беспокоит слишком большое внимание, уделяемое компьютерному языку в ИТ. В результате переизбытка такого внимания появляются программисты, которые являются экспертами в С++, но которые не в состоянии написать программы, делающие то, что от этих программ требуется. Типичная реакция представителей ИТ на эту проблему заключается в предложении программистам использовать другой более подходящий язык (программирования, спецификаций и т.п.) вместо / вдобавок к С++. В свою очередь характерный для индустрии разработки ПО выход из ситуации видится в предоставлении программистам более совершенных инструментов отладки, видимо, основываясь на предположении, что получить хорошие программы можно просто посадив мартышку за клавиатуру и затем отыскивая и исправляя ошибки в её коде.
Моё твердое убеждение в том, что для получения качественных программ необходимо учить программистов думать лучше. Умение думать – это не способность оперировать компьютерным языком; это способность оперировать концепциями. Изучение информационных технологий должно быть сфокусировано на изучении концепций, а не языков.

Так вот оказывается, что в данном выполнении асинхронной системы процессы никак не смогут определить был ли включен красный свет одновременно с желтым. Может быть да. А может и нет… Сие останется неизвестным. Но зато будет точно известно, что красный и зеленый фонари одновременно находились во включенном состоянии. Другими словами, оказывается, нет особого смысла говорить о том, что то или иное глобальное состояние достигается по ходу выполнения распределённой системы! Равно как и очень часто нельзя сказать, выполнялось ли какое-либо условие (предикат), заданное на множестве его глобальных состояний! Опять же вопрос: почему?

Наш ответ ~~Чемберлену~~. На самом деле ответы на эти и многие другие вопросы, связанные с работой асинхронных распределённых систем, крайне сложно уложить в рамки одной статьи. Поэтому я и решил опубликовать сразу несколько статей в одной. Точнее, как указано в начале статьи, представить свою небольшую книгу по основам распределённых вычислений, доступную в электронном виде.

Из этой книги вы узнаете:

В начале я постарался в двух словах изложить, какие цели ставились при написании книги, и как она соотносится с другой литературой. Этому посвящено введение к книге. Оно занимает всего чуть более двух страниц, поэтому прочитать его стоит.

Четвертый раздел посвящен изучению основных распределённых алгоритмов взаимного исключения, построенных без применения привычных разделяемых переменных. Ключевые идеи этих алгоритмов используются и для решения многих других задач в распределённых системах. Кроме того, их изучение позволяет раскрыть такие важные вопросы, как обеспечение свойств безопасности и живучести распределённых алгоритмов. Поэтому этот раздел мне представляется весьма полезным для ознакомления.

На кого ориентирована эта книга?

Материал книги следует рассматривать в качестве введения в проблематику распределённых вычислений. Она выросла из академической вузовской среды, и будет, безусловно, полезна, если вы только начинаете работать в этой области. Если же у вас уже есть определённый опыт в разработке распределённых систем и алгоритмов, возможно, вы найдете для себя что-то новое и поделитесь своим мнением в комментариях. Если же вы имеете многолетний опыт за плечами и являетесь экспертом в этой теме, надеюсь, что вы сможете дополнить меня своими мыслями и соображениями.

Чего бы мне хотелось?

Успехов!
Михаил Косяков

Изучение

В свете последних технологических изменений и достижений распределенные системы становятся все более популярными. Многие ведущие компании создали сложные распределенные системы для обработки миллиардов запросов и обновления без простоев.

Распределенные проекты могут показаться сложными и сложными для создания, но в 2021 году они становятся все более важными для обеспечения экспоненциального масштабирования. Начиная сборку, важно оставить место для базовой, высокодоступной и масштабируемой распределенной системы.

Когда дело доходит до распределенных систем, есть много чего. Итак, сегодня мы просто познакомим вас с распределенными системами. Мы объясним различные категории, проблемы дизайна и соображения, которые необходимо учесть.

Что такое распределенная система?

На базовом уровне распределенная система — это совокупность компьютеров, которые работают вместе, образуя единый компьютер для конечного пользователя. Все эти распределенные машины имеют одно общее состояние и работают одновременно.

Они могут выходить из строя независимо, не повреждая всю систему, как и микросервисы. Эти взаимозависимые автономные компьютеры связаны сетью, чтобы легко обмениваться информацией, общаться и обмениваться информацией.

Примечание. Распределенные системы должны иметь общую сеть для подключения своих компонентов, которые могут быть подключены с помощью IP-адреса или даже физических кабелей.

В отличие от традиционных баз данных, которые хранятся на одной машине, в распределенной системе пользователь должен иметь возможность связываться с любой машиной, не зная, что это только одна машина. Большинство приложений сегодня используют ту или иную форму распределенной базы данных и должны учитывать их однородный или неоднородный характер.

В однородной распределенной базе данных каждая система использует модель данных, а также систему управления базой данных и модель данных. Как правило, ими легче управлять, добавляя узлы. С другой стороны, гетерогенные базы данных позволяют иметь несколько моделей данных или различные системы управления базами данных, использующие шлюзы для трансляции данных между узлами.

Как правило, существует три типа распределенных вычислительных систем со следующими целями:

Примечание. Важной частью распределенных систем является теорема CAP, которая утверждает, что распределенное хранилище данных не может одновременно быть согласованным, доступным и устойчивым к разделам.

Децентрализованные и распределенные

Существует довольно много споров о разнице между децентрализованными и распределенными системами. Децентрализованная система по существу распределена на техническом уровне, но обычно децентрализованная система не принадлежит одному источнику.

Управлять децентрализованной системой сложнее, поскольку вы не можете управлять всеми участниками, в отличие от распределенного единого курса, где все узлы принадлежат одной команде / компании.

Преимущества распределенной системы

Распределенные системы могут быть сложными в развертывании и обслуживании, но такая конструкция дает много преимуществ. Давайте рассмотрим некоторые из этих льгот.

Масштабирование: распределенная система позволяет масштабироваться по горизонтали, чтобы вы могли учитывать больший трафик.
Модульный рост: практически нет ограничений на масштабирование.
Отказоустойчивость: распределенные системы более отказоустойчивы, чем отдельная машина.
Рентабельность: начальная стоимость выше, чем у традиционной системы, но благодаря своей масштабируемости они быстро становятся более рентабельными.
Низкая задержка: пользователи могут иметь узел в нескольких местах, поэтому трафик попадет в узел в шкафу.
Эффективность: распределенные системы разбивают сложные данные на более мелкие части.
Параллелизм: распределенные системы могут быть разработаны для параллелизма, когда несколько процессоров разделяют сложную задачу на части.

Масштабируемость — самое большое преимущество распределенных систем. Горизонтальное масштабирование означает добавление дополнительных серверов в пул ресурсов. Вертикальное масштабирование означает масштабирование за счет увеличения мощности (ЦП, ОЗУ, хранилища и т. Д.) На ваших существующих серверах.

Горизонтальное масштабирование легче динамически масштабировать, а вертикальное масштабирование ограничено мощностью одного сервера.

Хорошими примерами горизонтального масштабирования являются Cassandra и MongoDB. Они упрощают горизонтальное масштабирование за счет добавления дополнительных машин. Примером вертикального масштабирования является MySQL, когда вы масштабируете, переключаясь с меньших компьютеров на большие.

Проблемы проектирования с распределенными системами

Несмотря на то, что распределенные системы имеют много преимуществ, важно также отметить проблемы проектирования, которые могут возникнуть. Ниже мы кратко изложили основные соображения по поводу дизайна.

Обработка сбоев: Обработка сбоев может быть затруднена в распределенных системах, потому что некоторые компоненты выходят из строя, а другие продолжают работать. Это часто может служить преимуществом для предотвращения крупномасштабных сбоев, но также приводит к усложнению устранения неполадок и отладки.
Параллелизм: распространенная проблема возникает, когда несколько клиентов одновременно пытаются получить доступ к общему ресурсу. Вы должны убедиться, что все ресурсы безопасны в параллельной среде.
Проблемы безопасности: безопасность данных и совместное использование увеличивают риски в распределенных компьютерных системах. Сеть должна быть защищена, и пользователи должны иметь возможность безопасно получать доступ к реплицированным данным в нескольких местах.
Более высокие начальные затраты на инфраструктуру: начальные затраты на развертывание распределенной системы могут быть выше, чем для одиночной системы. Эта цена включает основные проблемы настройки сети, такие как передача, высокая нагрузка и потеря информации.

Точно так же ошибки труднее обнаружить в системах, которые разбросаны по разным местам.

Облако против распределенных систем

Облачные вычисления и распределенные системы разные, но в них используются похожие концепции. Распределенные вычисления используют распределенные системы, распределяя задачи по множеству машин. С другой стороны, облачные вычисления используют серверы, размещенные в сети, для хранения, обработки и управления данными.

Распределенные вычисления направлены на создание совместного использования ресурсов и обеспечение размера и географической масштабируемости. Облачные вычисления — это предоставление среды по запросу с использованием прозрачности, мониторинга и безопасности.

По сравнению с распределенными системами облачные вычисления имеют следующие преимущества:

Экономически эффективным
Доступ к мировому рынку
Инкапсулированное управление изменениями
Доступ к хранилищу, серверам и базам данных в Интернете

Однако облачные вычисления, возможно, менее гибки, чем распределенные вычисления, поскольку для построения системы вы полагаетесь на другие сервисы и технологии. Это дает вам меньше контроля.

Такие приоритеты, как балансировка нагрузки, репликация, автоматическое масштабирование и автоматическое резервное копирование. Могут быть упрощены с помощью облачных вычислений. Инструменты создания облака, такие как Docker, Amazon Web Services (AWS), Google Cloud Services или Azure, позволяют быстро создавать такие системы, и многие команды предпочитают создавать распределенные системы вместе с этими технологиями.

Примеры распределенных систем

Распределенные системы используются во всех сферах, от электронных банковских систем до сенсорных сетей и многопользовательских онлайн-игр. Многие организации используют распределенные системы для поддержки сетевых служб доставки контента.

В сфере здравоохранения распределенные системы используются для хранения и доступа, а также для телемедицины. В сфере финансов и торговли многие сайты онлайн-покупок используют распределенные системы для онлайн-платежей или системы распространения информации в финансовой торговле.

Распределенные системы также используются для транспорта в таких технологиях, как GPS, системы поиска маршрутов и системы управления дорожным движением. Сотовые сети также являются примерами распределенных сетевых систем из-за их базовой станции.

Google использует сложную и изощренную инфраструктуру распределенной системы для своих возможностей поиска. Некоторые говорят, что это самая сложная распределенная система на сегодняшний день.

Компьютерные сети относятся к распределенным (или децентрализованным) вычислительным системам. Поскольку основным признаком распределенной вычислительной системы является наличие нескольких центров обработки данных, то наряду с компьютерными сетями к распределенным системам относят также мультипроцессорные компьютеры и многомашинные вычислительные комплексы.

Помимо повышения отказоустойчивости, многомашинные системы позволяют достичь высокой производительности за счет организации параллельных вычислений. По сравнению с мультипроцессорными системами возможности параллельной обработки в многомашинных системах ограничены: эффективность распараллеливания резко снижается, если параллельно выполняемые задачи тесно связаны между собой по данным. Это объясняется тем, что связь между компьютерами многомашинной системы менее тесная, чем между процессорами в мультипроцессорной системе, так как основной обмен данными осуществляется через общие многовходовые периферийные устройства. Говорят, что в отличие от мультипроцессоров, где используются сильные программные и аппаратные связи, в многомашинных системах аппаратные и программные связи между обрабатывающими устройствами являются более слабыми.

Сеть распределенных вычислений состоит из компьютеров, которые взаимодействуют друг с другом. Машины работают близко друг к другу и соединены. Блокчейн использует сети, в которых работают компьютеры, распределенные географически.

Компьютеры, используемые в распределенных сетях, не обязательно должны быть специально отформатированы или настроены каким-либо образом. Для этой работы можно использовать даже ноутбуки, компьютеры или мейнфреймы. С помощью блокчейнов можно использовать компьютеры с процессорами или общей сетью, или специализированное оборудование, например, ASIC.

Тип машины, используемой в сети, не имеет значения, так как они должны работать как один компьютер. Конечный пользователь не должен быть в состоянии определить разницу между использованием интерфейса, который имеет распределенную вычислительную сеть или только один компьютер.

Для чего используются распределенные вычисления?

Сеть с большим количеством пользователей требует больше вычислительных ресурсов для поддержания своей платформы в рабочем состоянии.

Сначала сеть может обновить свою серверную инфраструктуру, введя дополнительную память и пропускную способность, что называется вертикальным масштабированием. Но этот метод непрактичен с физической и экономической точки зрения, когда речь идет о более высоких цифрах.

Распределенные вычисления представляют собой тип расширения, называемый горизонтальным масштабированием, которое лучше всего применять на критических уровнях. Вместо обновления текущей инфраструктуры в систему добавляется больше компьютеров для уменьшения рабочей нагрузки.

Блокчейн отличается от типичной распределенной системы тем, что является одноранговой сетью. В остальной части нашей статьи мы рассмотрим плюсы и минусы распределенных вычислений в контексте блокчейна.

Плюсы распределенных вычислений

Работоспособность и избыточность

Наиболее важным преимуществом распределенных вычислений является то, что простой одной или двух машин в сети не влияет на производительность сети, поскольку остальные машины обрабатывают рабочую нагрузку.

Это означает, что сеть никогда не отключается и может работать без остановки. Такой тип платформы полезен в торговле криптовалютами, однако он также дает больше преимуществ для использования блокчейна. Системы цепочек поставок также могут извлечь выгоду из использования блокчейна, поскольку они не испытывают простоев.

Рентабельность и эффективность

Распределенные системы более эффективны и стоят дешевле, чем централизованные. Вторые эффективны до определенного размера, после чего масштабирование должно производиться горизонтально, а не вертикально. Увеличивая количество машин в сети, вы увеличиваете эффективность как с технологической, так и с экономической точки зрения.

Масштабируемость

С точки зрения вычислительной мощности распределенные вычисления позволяют масштабировать системы проще, чем с помощью централизованных вычислений. Не сложно добавить больше компьютеров, чтобы увеличить вычислительную производительность сети и убрать их, когда вам требуется меньше энергии.

Тем не менее блокчейн имеет некоторые проблемы с масштабируемостью. В блокчейне транзакции обрабатываются с фиксированными временными интервалами, называемыми скоростью транзакций. Этот недостаток масштабируемости вытекает из необходимости узлов в блокчейне достижения консенсуса по совершаемым транзакциям. Таким образом, в то время как распределенные вычисления имеют большую масштабируемость, время, необходимое для достижения консенсуса по блокчейну, является причиной того, что масштабируемость затруднена на скорости транзакций.

Минусы распределенных вычислений

Сложность

По сравнению с централизованной системой, распределенные системы имеют более сложный процесс устранения неполадок. Трудно управлять сообществом разработчиков, операторов узлов и инвесторов, не имея централизации. Следовательно, большая часть сложности запуска блокчейна связана с необходимостью применения децентрализованного управления в большем масштабе.

Безопасность

Компании, которые используют распределенные системы, должны убедиться, что все устройства в сети безопасны, а также гарантировать надежность данных среди всех компьютеров.

Блокчейн использует консенсусные протоколы для защиты своей сети. Этот протокол заставляет всех участников сети договариваться об одном источнике, а также предотвращать любые злонамеренные действия. При условии, что 51% сети продолжает действовать в интересах сети, безопасность сохраняется.

Проблема заключается в том, что, если бы больше майнинг-пулов имели кумулятивную мощность хэширования, они могли бы начать атаку 51%. Вот почему сообщество выступает за полную децентрализацию, чтобы ни одна организация не доминировала в сети.

Стоимость

Организация, решившая внедрить распределенную вычислительную систему, должна будет заплатить более высокую цену за первоначальную настройку по сравнению с централизованной системой. Стоимость выше, потому что распределенные системы предполагают использование большего количества оборудования.

Децентрализованные блокчейны должны сначала создать предварительную базу рабочих узлов, которая запускает программное обеспечение на их оборудовании. Несмотря на то, что блокчейн не покупает никакого оборудования, им нужно заинтересовать и убедить операторов узлов запускать только свое программное обеспечение блокчейна на своих компьютерах. Именно поэтому многие ICO резервируют сумму первоначальных средств, собранных на маркетинг, для привлечения пользовательской базы узловых операторов для своей сети.

Выводы

Мы надеемся, что теперь вы лучше понимаете то, что такое распределенные вычисления, точнее – ключевая особенность блокчейн-системы.

О нас
ФФ - Главный криптодайджест! Все самые интересные и важные события сразу на русском.

Читайте также: