Дайте кибернетическое определение информации кратко

Обновлено: 08.07.2024

Аннотация: Теория информации – дочерняя наука кибернетики. В связи с этим рассматриваются кибернетические системы, управление – основная категория кибернетики. Характеристики непрерывной и дискретной информации являются важными составляющими дальнейшего изучения теории информации. Обозначаются принципы хранения, измерения, обработки и передачи информации. Схема передачи информации позволяет понять принципы и важность кодирования. Описывается сущность работы ЦВМ и АВМ и их применение на практике

Теория информации рассматривается как существенная часть кибернетики.

Кибернетика - это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования - это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум. Часто кибернетику связывают с методами искусственного интеллекта, т.к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Основными разделами (они фактически абсолютно самостоятельны и независимы) современной кибернетики считаются: теория информации , теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.

Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) считаются американские ученые Норберт Винер (Wiener, он - прежде всего) и Клод Шеннон ( Shannon , он же основоположник теории информации).

Винер ввел основную категорию кибернетики - управление (основная категория кибернетики), показал существенные отличия этой категории от других, например, энергии, описал несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин, считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации, положив в основу кибернетики изучение законов передачи и преобразования информации.

Сущность принципа управления заключается в том, что движение и действие больших масс или передача и преобразование больших количеств энергии направляется и контролируется при помощи небольших количеств энергии, несущих информацию. Этот принцип управления лежит в основе организации и действия любых управляемых систем: автоматических устройств, живых организмов и т.п. Подобно тому, как введение понятия энергии позволило рассматривать все явления природы с единой точки зрения и отбросило целый ряд ложных теорий, так и введение понятия информации позволяет подойти с единой точки зрения к изучению самых различных процессов взаимодействия в природе.

В СССР значительный вклад в развитие кибернетики внесли академики Берг А.И. и Глушков В.М.

В нашей стране в 50-е годы кибернетика была объявлена лженаукой и была практически запрещена, что не мешало, однако, развиваться всем ее важным разделам (в том числе и теории информации) вне связи с обобщающим словом "кибернетика". Это было связано с тем, что сама по себе кибернетика представляет собой род философии, в кое-чем конфликтной с тогдашней официальной доктриной (марксистско-ленинской диалектикой).

Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика , а также прикладная алгебра , которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Таким образом, предмет " Теория информации " весьма узок, т.к. зажат между "чистой" математикой и прикладными (техническими) аспектами теории связи.

Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, "размеров" канала связи и т.п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.

Формальное представление знаний

При формальном представлении знаний каждому описываемому объекту или понятию ставится в соответствие некоторый числовой код. Связи между кодируемыми сущностями также представляются кодами (адресами и указателями). Для такого перевода неформальных данных в формальный, цифровой вид должны использоваться специальные таблицы, сопоставляющие кодируемым сущностям их коды и называемые таблицами кодировки . Простейший пример такой таблицы - это ASCII (American Standard Code for Information Interchange ), используемая повсеместно с вычислительной техникой. Она сопоставляет печатным и управляющим символам (управляющими являются, например, символы, отмечающие конец строки или страницы) числа от 0 до 127. Следующая программа на языке Паскаль выведет на экран все печатные символы этой таблицы и их коды:

\setbox\bzero=\vbox<\hsize=120pt<\prg var i: byte; begin \ for i := 32 to 126 do \ write(i:6, chr(i):2); \ writeln end\rm.></p> <p>> \centerline

На практике обычно используют не сам исходный ASCII , а так называемый расширенный ASCII ( ASCII +), описывающий коды 256 символов (от 0 до 255). Первые 128 позиций расширенного ASCII совпадают со стандартом, а дополнительные 128 позиций определяются производителем оборудования или системного программного обеспечения. Кроме того, некоторым управляющим символам ASCII иногда назначают другое значение .

Хотя таблицы кодировки используются для формализации информации, сами они имеют неформальную природу, являясь мостом между реальными и формальными данными. Например, коду 65 в ASCII соответствует заглавная латинская буква A, но не конкретная, а любая. Этому коду будет соответствовать буква A, набранная жирным прямым шрифтом, и буква , набранная нежирным с наклоном вправо на шрифтом, и даже буква готического шрифта. Задача сопоставления реальной букве ее кода в выбранной таблице кодировки очень сложна и частично решается программами распознания символов (например, Fine Reader ).

Информация (в кибернетике) Информация в кибернетике. Естественнонаучное понимание И. основано на двух определениях этого понятия, предназначенных для различных целей (для информации теории , иначе называемой статистической теорией связи, и теории статистических оценок ). К ним можно присоединить и третье (находящееся в стадии изучения), связанное с понятием сложности алгоритмов.

Пример 1. В классической механике знание положения и скорости частицы, движущейся в силовом поле, в данный момент времени даёт И. о её положении в любой будущий момент времени, притом полную в том смысле, что это положение может быть предсказано точно. Знание энергии частицы даёт И., но, очевидно, неполную.

Пример 2. Равенство

даёт И. относительно вещественных переменных a и b. Равенство

даёт меньшую И. [так как из (1) следует (2), но эти равенства не равносильны]. Наконец, равенство

равносильное (1), даёт ту же И., то есть (1) и (3) ‒ это различные формы задания одной и той же И.

Пример 3. Результаты произведённых с ошибками независимых измерений какой-либо физической величины дают И. о её точном значении. Увеличение числа наблюдений увеличивает эту И.

Пример 3 а. Среднее арифметическое результатов наблюдений также содержит некоторую И. относительно рассматриваемой величины. Как показывает математическая статистика, в случае нормального распределения вероятностей ошибок с известной дисперсией среднее арифметическое содержит всю И.

В каждом из приведённых примеров данные сравнивались по большей или меньшей полноте содержащейся в них И. В примерах 1‒3 смысл такого сравнения ясен и сводится к анализу равносильности или неравносильности некоторых соотношений. В примерах 3 а и 4 этот смысл требует уточнения. Это уточнение даётся, соответственно, математической статистикой и теорией И. (для которых эти примеры являются типичными).

В основе теории информации лежит предложенный в 1948 американским учёным К. Шенноном способ измерения количества И., содержащейся в одном случайном объекте (событии, величине, функции и т. п.) относительно другого случайного объекта. Этот способ приводит к выражению количества И. числом. Положение можно лучше объяснить в простейшей обстановке, когда рассматриваемые случайные объекты являются случайными величинами, принимающими лишь конечное число значений. Пусть X ‒ случайная величина, принимающая значения x 1 , x 2 . x n с вероятностями p 1 , p 2 . p n , а Y ‒ случайная величина, принимающая значения y 1 , y 2 . y m с вероятностями q 1 , q 2 . q m . Тогда И. I ( X , Y ) относительно Y , содержащаяся в X , определяется формулой

где p ij ‒ вероятность совмещения событий X = x i и Y = y j и логарифмы берутся по основанию 2. И. I ( X , Y ) обладает рядом свойств, которые естественно требовать от меры количества И. Так, всегда I ( X , Y ) ³ 0 и равенство I ( X , Y ) = 0 возможно тогда и только тогда, когда p ij = p i q j при всех i и j, т. е. когда случайные величины X и Y независимы. Далее, всегда I ( X , Y ) £ I ( Y , Y ) и равенство возможно только в случае, когда Y есть функция от X (например, Y = X 2 и т. д.). Кроме того, имеет место равенство I ( X , Y ) = I ( Y , X ).

носит название энтропии случайной величины X . Понятие энтропии относится к числу основных понятий теории И. Количество И. и энтропия связаны соотношением

I ( X , Y ) = H ( X ) + H ( Y ) ‒ H ( X , Y ),

где H ( X , Y ) ‒ энтропия пары ( X , Y ), т. е.

H ( X , Y ) = H ( X ) + H ( Y ) ‒ I ( X , Y ).

Если X и Y имеют совместную плотность p ( x , y ), то

где буквами р и q обозначены плотности вероятности Х и Y соответственно. При этом энтропии Н ( X ) и Н ( Y ) не существуют, но имеет место формула, аналогичная (5),

I ( X , Y ) = h ( X ) + h ( Y ) ‒ h ( X , Y ),

дифференциальная энтропия X [ h ( Y ) и h ( X , Y ) определяется подобным же образом].

Пример 5. Пусть в условиях примера 4 случайные величины X и q имеют нормальное распределение вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно s 2 х и s 2 q . Тогда, как можно подсчитать по формулам (6) или (7):

В задачах математической статистики также пользуются понятием И. (сравни примеры 3 и 3а). Однако как по своему формальному определению, так и по своему назначению оно отличается от вышеприведённого (из теории И.). Статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием некоторых сводных характеристик. Иногда при такой замене происходит потеря И., но при некоторых условиях сводные характеристики содержат всю И., содержащуюся в полных данных (разъяснение смысла этого высказывания даётся в конце примера 6). Понятие И. в статистике было введено английским статистиком Р. Фишером в 1921.

Пример 6. Пусть X 1 , X 2 , . X n , ‒ результаты n независимых наблюдений некоторой величины, распределённые по нормальному закону с плотностью вероятности

где параметры a и s 2 (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (т. е. функциями от результатов наблюдении, содержащими всю И. о неизвестных параметрах) в этом примере являются среднее арифметическое

и так называемая эмпирическая дисперсия

Если параметр s 2 известен, то достаточной статистикой будет только X (сравни пример 3 а выше).

j* = j*( X 1 , X 2 , . X n )

‒ какая-либо её оценка, лишённая систематической ошибки. Пусть качество оценки (её точность) измеряется (как это обычно делается в задачах математической статистики) дисперсией разности j* ‒ j. Тогда существует другая оценка j**, зависящая не от отдельных величин X i , а только от сводных характеристик X и s 2 , не худшая (в смысле упомянутого критерия), чем j*. Р. Фишером была предложена также мера (среднего) количества И. относительно неизвестного параметра, содержащейся в одном наблюдении. Смысл этого понятия раскрывается в теории статистических оценок.

Лит.: Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Ван-дер-Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; Кульбак С., Теория информации и статистика, пер. с англ., М., 1967.

Большая советская энциклопедия. — М.: Советская энциклопедия . 1969—1978 .

Информация в кибернетике. Естественнонаучное понимание И. основано на двух определениях этого понятия, предназначенных для различных целей (для информации теории , иначе называемой статистической теорией связи, и теории статистических оценок ). К ним можно присоединить и третье (находящееся в стадии изучения), связанное с понятием сложности алгоритмов.

Пример 1. В классической механике знание положения и скорости частицы, движущейся в силовом поле, в данный момент времени даёт И. о её положении в любой будущий момент времени, притом полную в том смысле, что это положение может быть предсказано точно.Знание энергии частицы даёт И., но, очевидно, неполную.

Пример 2. Равенство

даёт И. относительно вещественных переменных a и b. Равенство

даёт меньшую И. [так как из (1) следует (2), но эти равенства не равносильны]. Наконец, равенство

равносильное (1), даёт ту же И., то есть (1) и (3) ‒ это различные формы задания одной и той же И.

Пример 3. Результаты произведённых с ошибками независимых измерений какой-либо физической величины дают И. о её точном значении. Увеличение числа наблюдений увеличивает эту И.

Пример 3 а. Среднее арифметическое результатов наблюдений также содержит некоторую И. относительно рассматриваемой величины. Как показывает математическая статистика, в случае нормального распределения вероятностей ошибок с известной дисперсией среднее арифметическое содержит всю И.

В каждом из приведённых примеров данные сравнивались по большей или меньшей полноте содержащейся в них И. В примерах 1‒3 смысл такого сравнения ясен и сводится к анализу равносильности или неравносильности некоторых соотношений. В примерах 3 а и 4 этот смысл требует уточнения. Это уточнение даётся, соответственно, математической статистикой и теорией И. (для которых эти примеры являются типичными).

В основе теории информации лежит предложенный в 1948 американским учёным К. Шенноном способ измерения количества И., содержащейся в одном случайном объекте (событии, величине, функции и т. п.) относительно другого случайного объекта. Этот способ приводит к выражению количества И. числом. Положение можно лучше объяснить в простейшей обстановке, когда рассматриваемые случайные объекты являются случайными величинами, принимающими лишь конечное число значений. Пусть X ‒ случайная величина, принимающая значения x 1 , x 2 . x n с вероятностями p 1 , p 2 . p n , а Y ‒ случайная величина, принимающая значения y 1 , y 2 . y m с вероятностями q 1 , q 2 . q m . Тогда И. I ( X , Y ) относительно Y , содержащаяся в X , определяется формулой

где p ij ‒ вероятность совмещения событий X = x i и Y = y j и логарифмы берутся по основанию 2. И. I ( X , Y ) обладает рядом свойств, которые естественно требовать от меры количества И. Так, всегда I ( X , Y ) ³ 0 и равенство I ( X , Y ) = 0 возможно тогда и только тогда, когда p ij = p i q j при всех i и j, т. е. когда случайные величины X и Y независимы. Далее, всегда I ( X , Y ) £ I ( Y , Y ) и равенство возможно только в случае, когда Y есть функция от X (например, Y = X 2 и т. д.). Кроме того, имеет место равенство I ( X , Y ) = I ( Y , X ).

носит название энтропии случайной величины X . Понятие энтропии относится к числу основных понятий теории И. Количество И. и энтропия связаны соотношением

I ( X , Y ) = H ( X ) + H ( Y ) ‒ H ( X , Y ),

где H ( X , Y ) ‒ энтропия пары ( X , Y ), т. е.

H ( X , Y ) = H ( X ) + H ( Y ) ‒ I ( X , Y ).

Если X и Y имеют совместную плотность p ( x , y ), то

где буквами р и q обозначены плотности вероятности Х и Y соответственно. При этом энтропии Н ( X ) и Н ( Y ) не существуют, но имеет место формула, аналогичная (5),

I ( X , Y ) = h ( X ) + h ( Y ) ‒ h ( X , Y ),

дифференциальная энтропия X [ h ( Y ) и h ( X , Y ) определяется подобным же образом].

Пример 5. Пусть в условиях примера 4 случайные величины X и q имеют нормальное распределение вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно s 2 х и s 2 q . Тогда, как можно подсчитать по формулам (6) или (7):

В задачах математической статистики также пользуются понятием И. (сравни примеры 3 и 3а). Однако как по своему формальному определению, так и по своему назначению оно отличается от вышеприведённого (из теории И.). Статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием некоторых сводных характеристик. Иногда при такой замене происходит потеря И., но при некоторых условиях сводные характеристики содержат всю И., содержащуюся в полных данных (разъяснение смысла этого высказывания даётся в конце примера 6). Понятие И. в статистике было введено английским статистиком Р. Фишером в 1921.

Пример 6. Пусть X 1 , X 2 , . X n , ‒ результаты n независимых наблюдений некоторой величины, распределённые по нормальному закону с плотностью вероятности

где параметры a и s 2 (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (т. е. функциями от результатов наблюдении, содержащими всю И. о неизвестных параметрах) в этом примере являются среднее арифметическое

и так называемая эмпирическая дисперсия

Если параметр s 2 известен, то достаточной статистикой будет только X (сравни пример 3 а выше).

j* = j*( X 1 , X 2 , . X n )

‒ какая-либо её оценка, лишённая систематической ошибки. Пусть качество оценки (её точность) измеряется (как это обычно делается в задачах математической статистики) дисперсией разности j* ‒ j. Тогда существует другая оценка j**, зависящая не от отдельных величин X i , а только от сводных характеристик X и s 2 , не худшая (в смысле упомянутого критерия), чем j*. Р. Фишером была предложена также мера (среднего) количества И. относительно неизвестного параметра, содержащейся в одном наблюдении. Смысл этого понятия раскрывается в теории статистических оценок.

Лит.: Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Ван-дер-Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; Кульбак С., Теория информации и статистика, пер. с англ., М., 1967.

Кибернетика — это наука об общих чертах процессов и систем управления в техниче­ских устройствах, живых организмах и обще­ственных организациях. В отличие от устройств, преобразующих энергию или ве­щество, для кибернетических систем харак­терны процессы переработки информации, т. е. процессы извлечения, преобразования, собственно передачи, хранения и восприятия информации.

Основные разделы кибернетики: теория информации систем автоматизированного управления, теория методов управления (программирования), теория систем управле­ния (структур и связей).

Кибернетика включает в себя или исполь­зует различные научные дисциплины, а ее положения и методы, в свою очередь, нахо­дят применение в различных разделах науки. Важной особенностью кибернетики является принципиально новый метол изучения объек­тов и явлений — математический экспери­мент (машинная модель, в отличие от моде­ли физической).

Информация систем автоматизированного управления - основное понятие кибер­нетики (подобно понятию энергии и материи кибер­нетики (подобно понятию энергии и материи в физике). При любом процессе управления происходят передача информации и перера­ботка управляющей системой входной ин­формации в выходную. Кибернетика изучает управляющие системы с точки зрения их способности воспринимать информацию, хранить ее в памяти, передавать по каналам связи и перерабатывать в выходные сигналы, направляющие действие системы в соответ­ствующую сторону. При этом необходимы контроль и регулирование, ’ заключающиеся в сравнении информации о результатах пред­шествующего этапа деятельности с инфор­мацией, соответствующей условиям достиже­ния цели, в оценке рассогласования между ними и выработке корректирующего выход­ного сигнала. Рассогласование вызывается внутренними и внешними возмущающими воздействиями, главным образом случайного характера.

В широком смысле под информацией систем автоматизированного управления по­нимают те сведения об окружающем мире, которые получены в результате взаимодей­ствия с ним, приспособления к нему и изменения его в процессе этого приспособ­ления.

Передача информации от одного объекта к другому возможна благодаря тому, что вся материя обладает свойством отражения. Конкретизация этого положения в кибернетике приводит к выводу, что отражение о) (как фундаментальное свойство материи, обеспечивающее возможность передачи ин­формации) включает в себя два аспекта; физическое взаимодействие (его факт) и то значение, которое по соглашению приписывается результату взаимодействия.

Каждому аспекту соответствует некоторая информация: Ивз — информация, содержащаяся в факте наличия взаимодействия, факте получения в какой-то момент времени сигнала определенной организации, формы, длительности и т. п.; Изн — информация о значении, присвоенном по некоторому виду данному результату взаимодействия.

Поскольку наблюдатель может иметь некоторую начальную информацию Инач о состоянии объекта — источника информации, то после получения сигнала он располагает информацией.

Составляющие информации систем автоматизированного управления могут быть условными и безусловными:

  • Ивз, как следствие факта взаимодействия, не является безусловной составляющей информации, независимой от получателя и его состояния;
  • Изн, как следствие соглашения, является зависимой (условной) составляющей информации; она предполагает наличие у получателя возможности использования правил co­глашения, т. е. наличие интеллекта нужного уровня (человеческого, машинного) для co­знательного, рефлекторного или автоматического действия;
  • Инач, как следствие предварительной подготовки получателя (обучения, тезауруса сведений), — также условная составляющая.

Общий состав информации в зависимо­сти от уровня восприятия (отражения) меняется.

Для каждой из составляющих следует различать их состояние до и после процесса и отражения систем автоматизированного управления.

Информация является одним из свойств д материи порождать многообразие состояний и явлений у одного объекта, передавать его другим материальным объектам посред­ством отражения и порождать многообразие состояний приемника информации (его структуры и организации) при восприятии информации. Степень соответствия состоя­ний приемника состояниям источника зави­сит от влияния среды и внутренних возмущений. Получение информации дает новые или дополнительные сведения о состоянии источника информации и ведет к снятию или уменьшению существовавшей в отношении него неопределенности. Поэтому информация является мерой определенности ситуации. Сопряженное с ней противоположное понятие — меру неопределенности — в кибер­нетике называют энтропией. Информация и энтропия равны, но имеют противоположный смысл (знак).

Для определения масштаба единицы ис­пользуется формула Хартли-Шеннона для количества информации.

Байт — наименьшая адресуемая группа битов. Обычно байт содержит восемь битов, что соответствует необходимому объему па­мяти для записи одного десятичного числа или буквы слова в двоичной системе; в ми­кропроцессорах могут адресоваться от­дельные биты информации.

Дибит (от dibit — двойной бит) — группа из двух битов. Четырьмя возможными состояниями дибита являются 00, 01, 10 и 11.

Условные единицы количества информа­ции систем автоматизированного управления. В практике широко используют единицы измерения информации, имеющие конкретное значение только в границах некото­рого объекта (АСУ, ЭВМ, приемно-передаю­щей аппаратуры).

Слово (машинное) — упорядоченная последовательность информации (сигналов, символов) с ограничителями в начале и конце слова. Обычно слово имеет фиксирован­ную длину, но в разных случаях различную.

Для конкретного объекта при фиксирован­ной длине слова обусловливается число разрядов (например, 32 двоичных разряда, т. е. бита).

Фраза, слогу элемент данных, агрегат, данных, набор данных, запись, блок записей, пакет затеей, сегмент, экстент, массив, файл, том, поле, пространство — это области местонахождения (физические или логиче­ские) обрабатываемой или хранимой инфор­мации, а также количество информации, со­ответствующее этой области, выражаемое обычно оговоренным числом бит, байт и т. п.

Следует учитывать существующее наложение и пересечение названных понятий, вызванное отсутствием общепринятого их толкования.

Натуральные единицы измерения объема информации. Часто нет необходимости рас­считывать количество информации в битах (байтах). В таких случаях определяется объем информации в единицах измерения количества носителя информации или язы­ковых средств записи информации.

В первом случае используются единицы измерения: число листов документа, число перфокарт, шт.; длина перфоленты и магнит­ной ленты, м; число дисков, цилиндров, дорожек, шт. и т. п.

Единицы измерения скорости движения информации систем автоматизированного управления. Скорость движения информации (передачи, приема, обработки) определяется числом единиц информации, отнесенным к единице времени: бит/с, карт/мин, знаков и операций/мкс и т. д. В телеграфии приме­няется единица скорости передачи бод (bond), равная числу элементарных посылок тока (тактов), передаваемых за 1 с (т. е. числу дискретных состояний сигналов в секунду).

наука об управлении, связи и переработке информации. Основной объект исследования - т. н. кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем - автоматические регуляторы в технике, ЭВМ, человеческий мозг, биологические популяции, человеческое общество. Каждая такая система представляет собой множество взаимосвязанных объектов (элементов системы) , способных воспринимать, запоминать и перерабатывать информацию.

КИБЕРНЕТИКА (с греч. искусство управления) - наука об общих законах получения, хранения, передачи и переработки информации.

Читайте также: