Нейросетевое моделирование систем управления реферат

Обновлено: 05.07.2024

2. ЧТО ТАКОЕ ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ 5
2.1 Как работает нейронная сеть 5
2.2 Задачи, решаемые на основе нейронных сетей 6
2.3 Как построить нейронную сеть 8
2.4 Обучение нейронных сетей 8
2.5 Применение нейронной сети 10
2.6 Примеры готовых нейронных сетей 10

3. ОБЛАСТИ ПРИМЕНЕНИЯ НЕЙРОННЫХСЕТЕЙ 13
3.1 Нейросетевая классификация 13
3.2 Кластеризация с помощью нейронных сетей и поиск зависимостей 14
3.3 Применение нейронных сетей в задачах прогнозирования 14

4. МОДЕЛИ НЕЙРОННЫХ СЕТЕЙ 17
4.1 Модель Маккалоха 17
4.2 Модель Розенблата 17
4.3 Модель Хопфилда 19
4.4 Модель сети с обратным распространением 21

5. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ В ФИНАНСОВОЙ СФЕРЕ 22

6.МОДЕЛЬ НЕЙРОННОЙ СЕТИ ДЛЯ ПРЕДСКАЗАНИЯ ФИНАНСОВОЙ НЕСОСТОЯТЕЛЬНОСТИ ОРГАНИЗАЦИИ 26

7. НЕЙРОННЫЕ СЕТИ И ИХ ПРЕИМУЩЕСТВА ДЛЯ РЕШЕНИЯ ЗАДАЧ ОЦЕНКИ РИСКОВ 31

8. СОСТОЯНИЕ В РОССИИ 34

СПИСОК ЛИТЕРАТУРЫ 36

Изучение закономерностей и прогнозирование динамики финансового рынка – сложная многогранная задача. При этом классические методы фундаментального и техническогоанализа не всегда дают адекватные результаты в ее решении. Одним из эффективных и наиболее перспективных инструментариев, используемых в финансовом анализе, являются искусственные нейронные сети. В докладе описывается идея применения самоорганизующихся карт Кохонена при построении аналитической торговой системы на базе суперкомпьютера.

1. КАК РАБОТАЕТ БИОЛОГИЧЕСКАЯ НЕЙРОННАЯ СЕТЬ

Нервнаясистема и мозг человека состоят из нейронов, соединенных между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Все процессы передачи раздражений от нашей кожи, ушей и глаз к мозгу, процессы мышления и управления действиями - все это реализовано в живом организме как передача электрических импульсов между нейронами.
Рассмотрим строениебиологического нейрона. Каждый нейрон имеет отростки нервных волокон двух типов - дендриты, по которым принимаются импульсы, и единственный аксон, по которому нейрон может передавать импульс. Аксон контактирует с дендритами других нейронов через специальные образования - синапсы, которые влияют на силу импульса.

рис. 1 Биологическое строение нейрона
Можно считать, что при прохождении синапсасила импульса меняется в определенное число раз, которое мы будем называть весом синапса. Импульсы, поступившие к нейрону одновременно по нескольким дендритам, суммируются. Если суммарный импульс превышает некоторый порог, нейрон возбуждается, формирует собственный импульс и передает его далее по аксону. Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведениесоответствующего нейрона.
Нетрудно построить математическую модель описанного процесса.
[pic]
рис. 2 Математическое строение нейрона
На рисунке изображена модель нейрона с тремя входами (дендритами), причем синапсы этих дендритов имеют веса w1, w2, w3. Пусть к синапсам поступают импульсы силы x1, x2, x3 соответственно, тогда после прохождения синапсов и дендритов к нейрону поступаютимпульсы w1x1, w2x2, w3x3. Нейрон преобразует полученный суммарный импульс x=w1x1+ w2x2+ w3x3 в соответствии с некоторой передаточной функцией f(x). Сила выходного импульса равна y=f(x)=f(w1x1+ w2x2+ w3x3).
Таким образом, нейрон полностью описывается своими весами wk и передаточной функцией f(x). Получив набор чисел (вектор) xk в качестве входов, нейрон выдает некоторое число y на выходе.2. ЧТО ТАКОЕ ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ

2.1 Как работает нейронная сеть

Искусственная нейронная сеть (ИНС, нейронная сеть) - это набор нейронов, соединенных между собой. Как правило, передаточные функции всех нейронов в нейронной сети фиксированы, а веса являются параметрами нейронной сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы.

Рассмотрим систему, состоящую из некоторого числа компонент. Для определенности будем иметь в виду, скажем, терминал крупного океанского порта, обслуживающий разгрузку судов портовыми кранами, и отправку грузов автомобильным и железнодорожным транспортом. Нашей конечной целью будет построение модели системы, описывающей ее поведение, и обладающей предсказательными свойствами. Модель способна во многих приложениях заменить собой исследуемую систему.

Каждая из компонент системы имеет свои свойства и характер поведения в зависимости от собственного состояния и внешних условий. Если все возможные проявления системы сводятся к сумме проявлений ее компонент, то такая система является простой, несмотря на то, что число ее компонент может быть велико. Для описания простых систем традиционно применяются методы анализа , состоящие в последовательном расчленении системы на компоненты и построении моделей все более простых элементов. Таковым в своей основе является метод математического моделирования[1], в котором модели описываются в форме уравнений, а предсказание поведения системы основывается на их решении.

Современные технические системы (например, упомянутый выше порт, инженерные сооружения, приборные комплексы, транспортные средства и др.) приближаются к такому уровню сложности, когда их наблюдаемое поведение и свойства не сводятся к простой сумме свойств отдельных компонент. При объединении компонент в систему возникают качественно новые свойства, которые не могут быть установлены посредством анализа свойств компонент.

В случае терминала порта небольшие отклонения в производительности работы кранов, малые изменения или сбои графика движения железнодорожных составов, отклонения в степени загрузки и в графике прибытия судов могут вызвать качественно новый режим поведения порта, как системы, а именно затор. Образование затора вызывает обратное воздействие на режимы работы компонент, что может привести к серьезным авариям и т.д. Состояние затора не может быть в полной мере получено на основе отдельного анализа, например, свойств одного крана. Однако в рамках системы обычный режим работы этого крана может приводить к состоянию затора.

Такие системы, в которых при вычленении компонент могут быть потеряны принципиальные свойства, а при добавлении компонент возникают качественно новые свойства, будем называть сложными . Модель сложной системы, основанная на принципах анализа, будет неустранимо неадекватной изучаемой системе, поскольку при разбиении системы на составляющие ее компоненты теряются ее качественные особенности.

Возможным выходом из положения является построение модели на основе синтеза компонент. Синтетические модели являются практически единственной альтернативой в социологии, долгосрочных прогнозах погоды, в макроэкономике, медицине. В последнее время синтетические информационные модели широко используются и при изучении технических и инженерных систем. В ряде приложений информационные и математические компоненты могут составлять единую модель (например, внешние условия описываются решениями уравнений математической физики, а отклик системы - информационной моделью).

1. НЕЙРОННЫЕ СЕТИ В ИНФОРМАЦИОННОМ МОДЕЛИРОВАНИИ

Искусственные нейронные сети (ИНС) являются удобным и естественным базисом для представления информационных моделей. Нейросеть может быть достаточно формально определена [3], как совокупность простых процессорных элементов (часто называемых нейронами ), обладающих полностью локальным функционированием, и объединенных однонаправленными связями (называемыми синапсами ). Сеть принимает некоторый входной сигнал из внешнего мира, и пропускает его сквозь себя с преобразованиями в каждом процессорном элементе. Таким образом, в процессе прохождения сигнала по связям сети происходит его обработка, результатом которой является определенный выходной сигнал. В укрупненном виде ИНС выполняет функциональное соответствие между входом и выходом, и может служить информационной моделью G системы F .

Определяемая нейросетью функция может быть произвольной при легко выполнимых требованиях к структурной сложности сети и наличии нелинейности в переходных функциях нейронов [4]. Возможность представления любой системной функции F с наперед заданной точностью определяет нейросеть, как компьютер общего назначения . Этот компьютер, в сравнении с машиной фон Неймана, имеет принципиально другой способ организации вычислительного процесса - он не программируется с использованием явных правил и кодов в соответствии с заданным алгоритмом, а обучается посредством целевой адаптации синаптических связей (и, реже, их структурной модификацией и изменением переходных функций нейронов) для представления требуемой функции.

В гипотетической ситуации, когда функция системы F известна или известен алгоритм ее вычисления при произвольных значениях аргументов, машина фон Неймана наилучшим средством для моделирования (состоящего в вычислении F ), и необходимость в информационных моделях отпадает.

При моделировании реальных сложных технических систем значения системной функции F получаются на основе экспериментов или наблюдений, которые проводятся лишь для конечного параметров X . При этом значения как Y так и Х измеряются приближенно, и подвержены ошибкам различной природы (см. ниже). Целью моделирования является получение значений системных откликов при произвольном изменении X. В этой ситуации может быть успешно применена информационная (статистическая) модель G исследуемой системы F .

Информационные модели могут строиться на основе традиционных методов непараметрической статистики Данная наука позволяет строить обоснованные модели систем в случае большого набора экспериментальных данных (достаточного для доказательства статистических гипотез о характере распределения) и при относительно равномерном их распределении в пространстве параметров. Однако при высокой стоимости экспериментальных данных, или невозможности получения достаточного их количества (как, например, при построении моделей тяжелых производственных аварий, пожаров и т.п.), их высокой зашумленности, неполноте и противоречивости, нейронные модели оказываются более предпочтительными. Нейронная сеть оказывается избирательно чувствительной в областях скопления данных, и дает гладкую интерполяцию в остальных областях.

Эта особенность нейросетевых моделей основывается на более общем принципе - адаптивной кластеризации данных. Одной из первых сетей, обладающих свойствами адаптивной кластеризации была карта самоорганизации Т. Кохонена [5,6]. Задачей нейросети Кохонена является автоматизированное построение отображения набора входных векторов высокой размерности в карту кластеров меньшей размерности, причем, таким образом что близким кластерам на карте отвечают близкие друг к другу входные вектора в исходном пространстве. Таким образом, при значительном уменьшении размерности пространства сохраняется топологический порядок расположения данных. При замене всех векторов каждого кластера его центроидом достигается высокая степень сжатия информации при сохранении ее структуры в целом.

Вторая группа технических применений связана с предобработкой данных. Карта Кохонена группирует близкие входные сигналы X , а требуемая функция Y=G(X) строится на основе применения обычной нейросети прямого распространения (например, многослойного персептрона или линейной звезды Гроссберга) к выходам нейронов Кохонена. Такая гибридная архитектура была предложена Р. Хехт-Нильсеном [7,8], она получила название сети встречного распространения . Нейроны слоя Кохонена обучаются без учителя, на основе самоорганизации, а нейроны распознающих слоев адаптируются с учителем итерационными методами. При использовании линейных выходных нейронов значения их весов могут быть получены безитерационно, непосредственным вычислением псевдо-обратной матрицы по Муру-Пенроузу.

Сеть встречного распространения дает кусочно-постоянное представление модели Y=G(X) , поскольку при вариации вектора X в пределах одного кластера на слое соревнующихся нейронов Кохонена возбуждается один и тот же нейрон-победитель. В случае сильно зашумленных данных, такое представление обладает хорошими регуляризирующими свойствами. При этом процедура обучения сети встречного распространения заметно быстрее, чем, например, обучение многослойного персептрона стандартным методом обратного распространения ошибок [9].

Другой альтернативой традиционным многослойным моделям является переход к нейросетям простой структуры, но с усложненными процессорными элементами. В частности, можно рассмотреть нейроны высоких порядков, активирующим сигналом для которых является взвешенная сумма входов, их попарных произведений, произведений троек и т.д., вплоть до порядка k .

Каждый процессорный элемент k -го порядка способен выполнить не только линейное разделение областей в пространстве входов, но также и произвольное разделение, задаваемое поли-линейной функцией нескольких аргументов. Семейство решающих правил, определяемых нелинейным нейроном значительно богаче, чем множество линейно разделимых функций. На Рис. 1 приведен пример решающего правила, задаваемого одним нейроном второго порядка, для классической линейно неразделимой задачи "исключающее ИЛИ ".

Рис.1 Решающее правило для задачи "исключающее ИЛИ".

Важным достоинством нейронов высокого порядка является возможность строить нейросетевые модели без скрытых слоев, воспроизводящие широкий класс функций. Такие нейроархитектуры не требуют длительного итерационного обучения, оптимальные веса даются решением уравнений регрессии. Другой отличительной чертой является возможность эффективной аппаратной (электронной или оптической) реализации корреляций высокого порядка. Так, например, существуют нелинейные среды, оптические свойства которых определяются полиномиальной зависимостью от амплитуды электрического поля световой волны. Потенциально, устройства, основанные на таких средах, могут обеспечить высокие скорости вычислений со свойственной оптическим компьютерам супер-параллельностью вычислений.

2. РЕГУЛЯРИЗАЦИЯ В НЕЙРОСЕТЕВЫХ МОДЕЛЯХ

Классическим методом решения некорректных задач является метод регуляризации А.Н.Тихонова [10]. Суть метода состоит в использовании дополнительных априорных предположений о характере решения. Обычно в качестве таковых используются требования максимальной гладкости функции, представляющей решение задачи. Данный принцип полностью соответствует идее бритвы Оккама , согласно которой следует предпочесть простейшее из возможных решений, если нет указаний на необходимость использования более сложного варианта.

В приложении к нейросетевые моделям, регуляризирующие методы сводятся к оптимизации функционала ошибки (в простейшем случае - суммы квадратов уклонений модели от экспериментальных значений) с аддитивной добавкой, исчезающей по мере улучшения свойств гладкости функции:

Здесь j - регуляризирующий функционал, l - неотрицательная константа регуляризации.

Замечательной особенностью нейросетевых моделей (аппроксимаций системной функции на основе конечного набора наблюдений) являются их внутренние регуляризирующие свойства, позволяющие получать малые ошибки обобщения. Полезность регуляризирующих свойств нейронных сетей проявляется в ситуациях, когда экспериментальные данные о системе содержат внутреннюю избыточность. Избыточность позволяет представить совокупность данных моделью, содержащей меньшее число параметров, чем имеется данных. Таким образом, нейросетевая модель сжимает экспериментальную информацию, устраняя шумовые компоненты и подчеркивая непрерывные, гладкие зависимости.

Следует отметить, что в случае полностью случайных отображений построение модели с малой ошибкой обобщения не возможно . Достаточно рассмотреть простой пример, в котором аппроксимируется отображение фамилий абонентов телефонной сети (вектор входов X ) в номера их телефонов (вектор выходов Y ). При любой схеме построения обобщающей модели предсказание номера телефона нового абонента по его фамилии представляется абсурдным.

Имеется обширная научная библиография, посвященная обоснованию оптимального выбора нейроархитектур и переходных функций нейронов исходя из различных видов регуляризирующих функционалов j (см., например [11] и цитируемую там литературу). Практическая направленность данной главы не позволяет изложить математические детали. Одним из продуктивных подходов к построению нейросетей с хорошими обобщающими свойствами является требование убывания высоких гармоник Фурье переходных функций. Различные законы убывания приводят к локальным сплайн-методам и нейросетям с радиальными базисными функциями.

В случае сигмоидальной переходной функции абсолютная величина коэффициентов Фурье[1] асимптотически быстро убывает. Это свойство отчасти объясняет регуляризирующие свойства популярных многослойных сетей с такими переходными функциями.

Рассмотрим особенности регуляризированных решений обратных задач моделирования описанных систем A, B и C. Обучающая выборка в расчетах содержала 200 пар x-y , в которых величина x случайно равномерно распределена на отрезке [0,1], а значение y определяется моделируемой функцией. Расчеты проведены для нейросети с обратным распространением ошибки и нейросети встречного распространения. Еще 500 случайных примеров служили для оценки ошибки обобщения. В трех сериях расчетов величины y из обучающей выборки нагружались внешней шумовой компонентой с амплитудой 0%, 10% и 50% соответственно. Обучение проводилось на обратной зависимости x (y ), т.е. величины y использовались в качестве входов, а x - выходов нейросети.

Проведенные расчеты преследовали следующие основные цели:

· выяснение возможности получения оценки некорректности задачи из наблюдений за ошибкой обучения и обобщения,

· изучение роли шума и его влияния на точность оценки степени некорректности,

Результаты моделирования приведены на Рис. 3 - 7.

Рис. 3 Зависимость ошибки обучения EL (кружки) и ошибки обобщения EG (точки) от степени некорректности h обратной задачи при различных уровнях шума

На Рис. 3 представлено изменение ошибки обучения (и практически совпадающей с ней ошибки обобщения) при росте скачка моделируемой функции. Ошибка при различных уровнях шума прямо пропорциональна величине скачка, определяемого параметром некорректности h . Для сильно некорректной задачи (h=1 ) результаты полностью не зависят от шума в данных. Теоретически, для неограниченного обучающего набора для моделируемых систем имеется точное (линейное) решение, минимизирующее среднеквадратичное уклонение, которое в предельном случае (h =1) дает значение ошибки 0.25. Расчетное значение на Рис.3 в этом наихудшем случае близко к данной теоретической величине.

Таким образом, скейлинг ошибки обучения выявляет степень некорректности задачи независимо от присутствия аддитивного шума в обучающих данных. Данные шум может быть вызван как неточностью измерений, так и эффектом "скрытых" параметров, неучтенных в модели.

На следующем рисунке приведено регуляризованное решение предельно некорректной задачи (h =1), даваемое нейронной сетью с обратным распространением, обученной на зашумленных данных.

Рис. 4. Регуляризованное решение (точки) предельно некорректной обратной задачи, полученное при помощи нейросети с обратным распространением ошибки на зашумленных данных (кружки).

Решение отвечает минимуму среднеквадратичного уклонения от обучающих данных, что является типичным для сетей с сигмоидальными функциями.

Укажем явно, в чем состоит характер априорных предположений, принимаемых при построении нейросетевых моделей. Единственное предположение (которого оказывается достаточно для регуляризации) состоит в указании базисной архитектуры нейросети с ограничением ее структурной сложности . Последнее существенно, т.к., например, при неограниченном увеличении числа нейронов на скрытом слое, сеть способна достаточно точно запомнить дискретный обучающий набор. При этом вместо гладкого решения (Рис.4) будет получено "пилообразное" решение, колеблющееся между двумя ветвями обратной функции, проходя через все обучающие точки.

Нейронные сети являются естественным инструментом для построения эффективных и гибких информационных моделей инженерных систем. Различные нейроархитектуры отвечают различным практическим требованиям.

Сети двойственного функционирования с обратным распространением ошибки и сети встречного распространения обладают хорошими обобщающими свойствами и дают количественные решения для прямых информационных задач.

Внутренние регуляризирующие особенности нейронных сетей позволяют решать также обратные и комбинированные задачи с локальной оценкой точности . Для некорректно поставленных задач моделирования предложена нейросетевая информационная технология построения гибридной нейроархитектуры, содержащей кластеризующую карту Кохонена и семейство сетей с обратным распространением, обучаемых на данных индивидуальных кластеров. В этой технологии выявляются области частичной корректности задачи, в которых дается решение с высокой локальной точностью. Для остальных областей признакового пространства нейросеть автоматически корректно отвергает пользовательские запросы.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

2. А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин и др. Нейроинформатика - Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с.

[1] Имеется в виду интеграл Фурье в смысле главного значения (интеграл от квадрата сигмоидальной функции, очевидно, расходится).

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

· этап разработки концепции построения СУ;

· этап моделирования СУ, в соответствии с предлагаемой концепцией построения;

· этап анализа получаемых результатов;

· этап доработки (модернизации) концепции построения СУ.

На протяжении всех этих этапов не прекращаются теоретические ис­следования, которые позволяют выбирать основные направления совер­шенствования первоначально сформулированной концепции построения СУ и распространять ее основные идеи на ряд смежных областей.

По аналогичной схеме происходит развитие СУ, использующих искус­ственные НС. Однако следует заметить, что большое количество разрабо­танных аппаратных и программных моделей нейросетевых СУ часто опе­режают теоретическое понимание происходящих при этом процессов и имеющихся проблем.

Необходимым этапом решения задач управления нелинейными дина­мическими системами является получение их адекватных математических моделей, базирующееся, как правило, на теоретическом и эксперимен­тальном анализе свойств этих систем. Теоретический анализ процессов, происходящих в системе, позволяет получить математическое описание в виде, например, дифференциальных уравнений. При экспериментальном анализе на основе наблюдений входных и выходных сигналов системы получают либо ее параметрическую, либо непараметрическую модель. Наиболее широкое распространение получили параметрические модели, требующие решения задач структурной и параметрической идентифика­ции и использующие ограниченное число параметров. Несмотря на ог­ромное количество работ, многообразие видов нелинейностей не позволя­ет создать единую теорию идентификации нелинейных систем. Приме­няемый чаще всего классический подход основан на аппроксимации не­линейностей, например рядами Вольтера, Гаммерштейна, Винера, поли­номами Колмогорова-Габора и др. Однако область применения таких мо­делей ограничена. Кроме того, дополнительные трудности получения аде­кватного математического описания обусловлено наличием в реальных сигналах помех.

Одной из классических моделей СУ является модель с обратной свя­зью с регулируемыми в реальном масштабе времени коэффициентами, например самонастраивающийся регулятор Астрома. Коэффициенты такого контроллера регулируются в течении каждого цикла управления в соответствии с оценкой параметров системы. Блок-схема управления с обратной связью и регулируемыми в реальном масштабе времени коэф­фициентами приведена на рис. 1.


Рис. 1. Блок-схема управления с обратной связью и регулируемыми коэффициентами

Другой хорошо известной моделью СУ является модель Ляпунова. Системы адаптивного управления, использующие эталонную модель Ля­пунова проектируются таким образом, чтобы выходной сигнал управляе­мой модели в конце концов соответствовал выходному сигналу предвари­тельно определенной модели, которая имеет желаемые характеристики. Такая система должна быть асимптотически устойчивой, то есть управляемая система в итоге отслеживает эталонную модель с нулевой ошибкой. Более того, переходные процессы на этапе адаптивного управ­ления или обучающего управления имеют гарантированные пределы. Блок-схема адаптивного управления с эталонной моделью представлена на рис. 2.

Системы управления, так или иначе использующие искусственные НС являются одной из возможных альтернатив классическим методам управ­ления. Возможность использования НС для решения задач управления во многом основывается на том, что НС, состоящая из двух слоев и имеющая в скрытом слое произвольное большое количество узлов, может аппрок­симировать любую функцию действительных чисел с заданной степенью точности. Доказательство этого положения, основанное на известной теореме Вейерштрасса. Таким образом, для решения задач идентификации и управления могут быть использованы НС даже с одним скрытым слоем.


Рис. 2. Блок-схема адаптивного управления с эталонной моделью

Одним из первых используемых методов построения нейросетевых СУ был метод, основанный на "копированиии" существующего контроллера. Применив этот метод в 1964 Уидроу назвал его методом построения экс­пертной системы за счет получения знаний от уже существующего экс­перта. Архитектура такой СУ представлена на рис. 3.


Рис. 3. Нейросетевая СУ, основанная на "копировании" существующего контроллера

Глядя на этот рисунок можно усомниться в полезности этого метода. Зачем нужно использовать еще один управляющий контроллер (в виде НС), если один уже существует? Однако, во-первых, существующий кон­троллер может быть неудобен при использовании (например, в роли тако­го контроллера может выступать человек), а во-вторых, для выработки эффективного управления НС может использовать отличную, от сущест­вующего контроллера, по способу представления (легче измерить, форма­лизовать и т. д.) информацию о состоянии объекта управления.

В настоящее время достаточно хорошо разработан и широко использу­ется целый ряд других возможных архитектур построения нейросетевых СУ. Во всех из них, назначением нейросетевого контроллера яв­ляется выработка адекватного управляющего сигнала для управления ди­намикой состояний объекта управления от начального состояния до же­лаемого итогового состояния. Причем смена состояний должна происхо­дить по оптимальной траектории. Организация контроля за состоянием объекта управления и реализация нейросетевого контроллера в значи­тельной степени зависят от выбранного алгоритма обучения и используе­мой структуры управления. Наиболее широко используемыми являются схема прямого (непосредственного) управления и схема косвенного управления. При этом чаще всего в качестве алгоритма обучения исполь­зуется алгоритм обратного распространения ошибки.

В схеме косвенного управления параметры объекта управления опре­деляются в каждый момент времени и затем используются для оценки параметров контроллера (рис. 4). Таким образом, имеет место явно выраженный процесс идентификации.


Рис. 4. Схема косвенного управления

Недостатком такой схемы является то, что идентификация и управле­ние основываются исключительно на ошибке eu, и, следовательно, мини­мизацию ошибки на выходе системы ey гарантировать нельзя.

В схеме прямого управления параметры нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода ey (см. рис. 5).


Рис. 5. Схема прямого управления

В качестве целевой функции, которая должна быть минимизирова­на контроллером используется среднеквадратическая ошибка на выходе объекта управления

Одной из областей теоретических исследований, рассматривающих проблемы использования НС в системах управления, является сравнение таких методов управления с другими известными типами СУ, выявление присущих нейросетевым методам особенностей и их анализ. Хотя каждый из рассмотренных методов имеет как хорошие, так и плохие характеристики следует заметить, что метод ней­росетевого управления имеет такие полезные свойства, которые плохо реализуются в двух других методах.

Основные результаты, полученные при сравнении, приведены в табл. 1.

Обзор характеристик методов управления

Критерий Управление с обратной связью и регулируемыми коэффициентами Адаптивное управ­ление с эталонной мо­делью Ляпунова Нейросетевое управление
Устойчивость обратной связи Наихудшая Наилучшая Средняя
Скорость сходимости Наилучшая Средняя Наихудшая
Работа в реаль­ном времени Средняя Средняя Наилучшая
Сложность программы управления Наихудшая Средняя Средняя
Ошибка слежения Средняя Наилучшая Средняя
Подавление помех Наилучшая Наихудшая Средняя
Робастность рассогласования модели Наихудшая Средняя Наилучшая

В методе с использованием НС отсутствуют ограничения на линей­ность системы, он эффективен в условиях шумов и после окончания обу­чения обеспечивает управление в реальном масштабе времени. Нейросетевые СУ более гибко настраиваются на реальные условия, образуя моде­ли полностью адекватные поставленной задаче, не содержащие ограниче­ний, связанных с построением формальных систем. Кроме того, нейросетевые СУ не только реализуют стандартные адаптивные методы управле­ния, но и предлагают свои алгоритмические подходы к ряду задач, реше­ние которых вызывает затруднение вследствие неформализованное™. Так, появляется возможность обработки в рамках одной модели данных одной природы - для НС важна лишь их коррелированность.

Таким образом, напрашивается следующий вывод. Будущее интеллек­туального управления лежит в сочетании традиционного управления с потенциальными возможностями и перспективами использования систем, основанных на использовании искусственных НС.

Нейросетевая модель компьютерного распознавания людей по изображениям лиц с видеокамеры

Научный руководитель: доцент, к.т.н. Федяев Олег Иванович

Содержание

Введение

Искусственные нейронные сети в настоящее время становятся эффективным инструментом для решения сложных задач распознавания образов, управления, прогнозирования и т. п. Среди множества различных нейросетевых архитектур сейчас большие надежды возлагают на многослойную нейросеть типа неокогнитрон. В основу архитектуры неокогнитрона положена организация зрительной системы человека. Первая модель неокогнитрона была разработана в 1980 г. японским учёным К.Фукушимой [1] специально для решения задач распознавания образов, подверженных различным искажениям. Эта модель являлась последующим развитием нейросети когнитрон [2].

Архитектура нейросети типа неокогнитрон значительно сложнее, чем архитектура традиционной нейросети обратного распространения ошибки. Поэтому модель неокогнитрона требует всесторонней настройки на конкретную задачу. Качество нейросетевого решения задачи распознавания во многом зависит от понимания принципов функционирования многопараметрической архитектуры неокогнитрона. Примеры решения задач распознавания образов и исследование влияния архитектурных особенностей неокогнитрона на качество распознавания рассмотрены в работах [3, 4, 5]. К нерешённым вопросам можно отнести отсутствие точной формулировки и решения задачи оптимизации многочисленных параметров неокогнитрона, адекватных природе распознаваемых графических и зрительных образов.

Как известно, эффективным способом познания сложных процессов является моделирование. В нашем случае необходимо построить такую программную модель неокогнитрона, которая позволит исследовать влияние многочисленных его параметров на качество распознавания. Поэтому цель статьи – разработка программного эмулятора многослойной нейронной сети с архитектурой неокогнитрона.

1. Актуальность темы

Задача компьютерного распознавания лиц человека имеет большую практическую значимость, т.к. используется в реальных системах автоматического контроля и безопасности. В теоретическом плане, предложенные методы распознавания не обеспечивают требуемого качества. Большие перспективы в улучшении качества распознавания связывают с использованием нейронных сетей (в частности неокогнитрона), которые недостаточно исследованы и опробированны.

2. Цель и задачи исследования, планируемые результаты

Целью работы является разработка системы нейросетевого распознавания человека по изображениям лица с видеокамеры.

Основные задачи исследования:

  1. Анализ существующих нейросетевых моделей распознавания образов.
  2. Разработка алгоритмов обучения и распознавания на базе нейросети типа "Нейрокогнитрон".
  3. Определение архитектуры неокогнитрона, ориентированной на распознавания изображения лиц человека.
  4. Разработка программной модели нейросетевого распознавателя.
  5. Оценка эффективности нейросетевого распознавания изображения лиц, поступающих с видеокамеры в реальном времени.
  1. Параметрическая модель многослойной нейросети типа неокогнитрон.
  2. Структурная модель нейрокогнитрона.
  3. Программная модель неокогнитрона в объектно-ориентированном представлении.
  4. Оценка качества нейросетевого распознавания лиц человека.
  5. Соединяющие блоки ввода изображения с видеокамеры, выделения и распознавания лиц.
  6. Анализ эффективности процесса распознавания лиц в реальном времени.

3. Обзор исследований и разработок

Тема распознавания лиц является актуальной во всем мире, поэтому этой темой занимаются различные ученые по всему миру. Одним из многообещающих подходов по распознаванию лиц является использование многослойных нейросетей. Неокогнитрон является одной из самых перспективных многослойных нейронных сетей. Большое число научных статей по этой нейросети опубликовано в Японии, но также существуют публикации и в других странах.

3.1 Обзор международных источников

Неокогнитрон разработан японским ученым К. Фукушимой [6] и далее совершенствуется им же и его коллегами [1, 7-18]. Чаще всего неокогнитрон применяют для распознавания рукописного текста [8, 10, 13, 16], но также есть и попытки использовать его для распознавания автомобильных номеров [20]. Есть реализации параллельные системы распознавания лиц с помощью неокогнитрона [21].

В статье [20] предлагается дальнейшая разработка улучшенной версии алгоритма неокогнитрона, предложенного Фукушимой, а именно: регулировка размерности слоя, пороговая функция и подключение гауссового ожидания. Приведены сравнения с другими методами распознавания символов основанных на нейросети типа неокогнитрон. Предложенная модифицированная версия неокогнитрона применена в задаче распознавания символов на автомобильных номерах.

Статья [21] примечательна тем, что в ней реализован алгоритм неокогнитрона для распозавания лиц на базе высокопроизводительной архитектуры графических процессоров с использованием технологии CUDA.

3.2 Обзор национальных источников

В Украине проблемами распознавания образов занимаются во многих университетах: в Харьковском национальном университете радиоэлектроники [22, 23, 24], Национальном техническом университете ХПИ [25], Харьковском университете воздушных сил [26], Винницком национальном техническом университете [27], а также в Черниговском государственном технологическом университете [28] и др.

3.3 Обзор локальных источников

В Донецком национальном техническом университете проблемами распознавания образов занимаются на Кафедре прикладной математики и информатики. В частности нейросетевыми подходами к решению данной проблемы занимается доцент Федяев О.И. 30. Распределенные системы распознавания лиц рассматриваются в статьях доцента Ладыженского Ю.В. [35, 36].

4. Модель нейронной сети типа неокогнитрон

Неокогнитрон является иерархической нейронной сетью, состоящей из достаточно большого числа идущих друг за другом слоёв и имеющих неполные (можно сказать достаточно редкие) связи между слоями. На рис.1 представлена упрощенная структура неокогнитрона. На нём изображены три модуля нейросети, в каждом из которых имеются два типа слоёв: простые (S-слои, от слова simple) и комплексные (C-слои, от слова complex), которые состоят соответственно из простых плоскостей (распознают входную информацию) и комплексных плоскостей (обобщают распознанную информацию). С целью простоты рисунка на нём не показаны плоскости с тормозящими нейронами.

Из приведенной структуры видно, что размер первого слоя совпадает с размером входного образа (U0) и к последнему слою размеры плоскостей уменьшаются. В последнем слое в каждой плоскости находится только по одному нейрону.


Рисунок 1 – Структура многослойной нейросети типа неокогнитрон

Для вычисления выходных сигналов нейронов S-плоскости используется следующая формула:

В этой формуле учитываются выходные сигналы тормозящей плоскости , которые вычисляются по следующей формуле:

На теоретико-множественном уровне параметрическую модель многослойного неокогнитрона NC (NeoCognitron) можно представить в виде кортежа:


где L – количество модулей в неокогнитроне; l – номер модуля, 1≤ l ≤L; – количество плоскостей в одном слое (S или C) l-го модуля; Х, Y – соответственно входы (выходы) неокогнитрона для приёма (снятия) входных (выходных) сигналов; – весовой коэффициент связи m-го входа (ij) нейрона р-й плоскости S-го слоя модуля l с выходом ν-го нейрона ( – координаты нейрона в области связи); – область связи на p-й плоскости С слоя (l-1)-го модуля; – весовой коэффициент связи n-го входа (ij) нейрона р-й плоскости слоя С модуля l с выходом ν-го нейрона из его рецептивной области (); – область связи для (ij) нейрона, расположенная на р-й плоскости S-го слоя модуля l.

В слоях S и C каждого модуля неокогнитрона имеются тормозящие нейроны, которые в кортеже описываются параметрами , . Это постоянные коэффициенты тормозящего входа для всех нейронов соответственно слоёв S и С модуля l. Функции активации базовых нейронов обозначены как и , а функции активации тормозящих нейронов – и .

Параметрическая модель и многослойная структура неокогнитрона с последовательными связями позволяет в явном виде получить функциональную зависимость выходных сигналов Y нейросети от её входных сигналов Х:


Для обучения данной нейросети используется стратегия обучения без учителя . Для этого используется сложная схема выбора представителя – нейрона, показавшего наибольший выходной сигнал. Эта схема подробно описана в статье [1] в разделе 4.2.

В результате обучения весовые коэффициенты настраиваются таким образом, чтобы выделять характерные признаки входного образа. Процесс распознавания можно продемонстрировать на примере распознавания простейших графических примитивов (вертикаль, горизонталь, диагональ).

Рисунок 2 – Процесс распознавания входных образов
(анимация: 15 кадров, 7 циклов повторения, 120 килобайт)

На рисунке 2 представлена упрощенная модель неокогнитрона: – входной слой, – плоскость с тормозящими нейронами, – S-слой, состоящий из плоскостей S-нейронов, – C-слой, состоящий из плоскостей C-нейронов. На вход нейросети поочередно подаются образы, на которые реагируют разные плоскости нейронов.

Выводы

В ходе проведенных исследований выявлено, что для эффективного обучения и распознавания неокогнитрон требует точной настройки параметров нейросети. Необходимо проводить тщательный анализ для конкретной задачи, чтобы определить оптимальные значения таких параметров как: количество модулей, размерность области связи нейронов, скорость обучения каждого слоя, а также количество плоскостей в модулях.

В рамках проведенных исследований выполнено:

  1. Разработана параметрическая модель нейросети типа неокогнитрон
  2. Построена структурная модель неокогнитрона
  3. Разработана программная модель неокогнитрона

Дальнейшие исследования направлены на следующие аспекты:

  1. Оценка качества нейросетевого распознавания лиц человека
  2. Соединяющие блоки ввода изображения с видеокамеры, выделения и распознавания лиц
  3. Анализ эффективности процесса распознавания лиц в реальном времени

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2013 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Читайте также: