Нейронные сети реферат с презентацией
Обновлено: 02.07.2024
Презентация на тему: " Нейронные сети. Лекция 2 базовая искусственная модель; применение нейронных сетей; сбор данных для нейронной сети; пре/пост процессирование; многослойный." — Транскрипт:
1 Нейронные сети. Лекция 2 базовая искусственная модель; применение нейронных сетей; сбор данных для нейронной сети; пре/пост процессирование; многослойный персептрон; радиальная базисная функция; линейная сеть; сеть Кохонена; *примеры.
2 Базовая искусственная модель Нейронную сеть можно представить себе в виде черного ящика, у которого имеется n входов и m выходов. Кроме этого, имеется набор (матрица) весовых коэффициентов, общее количество которых равно произведению n на m. Элементы, обозначенные цифрами от 1 до m представляют собой слой нейронов. Первый слой сети, на который подаются входные сигналы X1…Xn, играет роль распределительного слоя нейронной сети имеет связи со всем нейронами следующего слоя, называемого обрабатывающим слоем. Ключевой вопрос – наличие обратной связи. Простейшая сеть имеет структуру прямой передачи сигнала: сигналы проходят от входов через скрытые элементы и в конце концов приходят на выходные элементы. Такая структура имеет устойчивое поведение. Если же сеть рекуррентная (т.е. содержит связи, ведущие назад от более дальних к более ближним нейронам), то она может быть неустойчива и иметь очень сложную динамику поведения.
3 Базовая искусственная модель Активационная функция ФормулаВид Единичного скачка Линейного порога Линейная Гиперболическ ий тангенс Логистическая Гаусса Алгоритм 1.получить входные значения; 2.вычислить значение активации (взвешенная сумма входа – пороговое значение); 3.преобразовать значение активации с помощью функции активации;
4 Применение нейронных сетей Примеры задач, решаемых с помощью нейронных сетей Прогнозирование на фондовом рынке. Прогнозирование на фондовом рынке. Зная цены акций за последнюю неделю и сегодняшнее значение индекса FTSE, спрогнозировать завтрашнюю цену акций. Предоставление кредита. Предоставление кредита. Требуется определить, высок ли риск предоставления кредита частному лицу, обратившемуся с такой просьбой. В результате разговора с ним известен его доход, предыдущая кредитная история и т.д. Управление. Управление. Нужно определить что должен делать робот (повернуться направо или налево, двигаться вперед и т.д.), чтобы достичь цели; известно изображение, которое передает установленная на роботе видеокамера. Особенности применения нейронных сетей для решения задач сеть можно применять в ситуации, когда у Вас имеется определенная известная информация, и Вы хотите из нее получить некоторую пока неизвестную информацию; Вы должны знать (или хотя бы иметь серьезные подозрения), что между известными входными значениями и неизвестными выходами имеется связь.
5 Процесс обучения нейронной сети
6 Алгоритмы обучения нейронной сети Обучение с учителем 1.Подготавливается набор обучающих данных. Эти данные представляют собой примеры входных данных и соответствующих им выходов. Сеть учится устанавливать связь между первыми и вторыми; 2.Нейронная сеть обучается с помощью того или иного алгоритма управляемого обучения, при котором имеющиеся данные используются для корректировки весов и пороговых значений сети таким образом, чтобы минимизировать ошибку прогноза на обучающем множестве. Обучение без учителя 1.Обучающие данные содержат только значения входных переменных. 2.Сеть учится распознавать внутреннюю структуру данных.
7 Сбор данных для нейронной сети Требования к обучающему множеству: Множество не должно содержать всплесков – элементы, свойства которых отличаются от ожидаемых значений; Элементы множества должны быть репрезентативны; Обучающая выборка должна быть в несколько раз больше общего количества весовых связей в сети; Частные требования*.
8 Сбор данных для нейронной сети Основные вопросы: Какие свойства и признаки объекта исследования брать в качестве входных значений? Проводить ли перевод из одной шкалы в другую? Проводить ли нормировку (масштабирование) значений? Сколько наблюдений необходимо иметь для обучения сети? Что делать с недостоверными данными (шумы, аномалии, пропуски)?
9 Сбор данных для нейронной сети Выводы: Выбирайте такие переменные, которые, как Вы предполагаете, влияют на результат. С числовыми и номинальными переменными можно работать непосредственно*. Переменные других типов следует преобразовать в указанные типы или объявить незначащими. Чем больше в задаче переменных, тем больше нужно иметь наблюдений. В случае необходимости можно работать с наблюдениями, содержащими пропущенные значения. Если возможно, удалите выбросы. Если данных достаточное количество, уберите из рассмотрения наблюдения с пропущенными значениями.
10 Пре/пост процессирование Функция активации для каждого элемента сети обычно выбирается таким образом, чтобы ее входной аргумент мог принимать произвольные значения, а выходные лежали бы в строго ограниченном диапазоне значений ("сплющивание"). При этом, возникает эффект насыщения, когда элемент оказывается чувствительным лишь к входным значениям, лежащим в некоторой ограниченной области. На рисунке выходное значение всегда будет лежать в интервале (0,1), а область чувствительности для входов чуть шире интервала (-1,+1). Данная функция является гладкой, а ее производная легко вычисляется - это обстоятельство весьма существенно для работы алгоритма обучения сети.
11 Пре/пост процессирование Масштабирование Числовые значения должны быть приведены в масштаб, подходящий для сети. Обычно исходные данные масштабируются по линейной шкале*. Номинальные переменные Номинальная переменная числовая переменная (Пол = Муж = 0, Жен = 1) Кодирование 1-из-N: (Животное = Собака = , Овца = , Кошка = )
12 Линейная сеть Линейная модель сети – это сеть без промежуточных слоев, которая в выходном слое содержит только линейные элементы. Во время работы сеть фактически умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения (вектор пороговых значений). Линейная сеть является хорошей точкой отсчета для оценки качества построенных Вами нейронных сетей. Может оказаться так, что задачу, считавшуюся очень сложной, можно успешно не только нейронной сетью, но и простым линейным методом. Если же в задаче не так много обучающих данных, то, вероятно, просто нет оснований использовать более сложные модели.
13 Многослойных персептрон Обучение многослойного персептрона Целью обучения является поиск таких значений весов и порогов сети, которые бы минимизировали ошибку прогноза, выдаваемого сетью. Функции ошибок: сумма квадратов ошибок; среднеквадратическая ошибка. Поверхности ошибок: параболоид; сложная форма (с множеством глобальных минимумов).
17 Сеть Кохонена Сеть рассчитана на неуправляемое обучение. Возможности применения: Распознавать кластеры в данных; Устанавливать близость классов; Выявлять новизну данных. В процессе обучения и функционирования сеть выполняет 3 процесса: конкуренция; объединение; подстройка весов.
18 Сеть Кохонена Обучение сети Кохонена: - коэффициент скорости обучения. Процесс обучения сети можно разделить на две фазы: фаза грубой подстройки; фаза точной подстройки. После того, как сеть обучена распознаванию структуры данных, ее можно использовать как средство визуализации при анализе данных, при котором можно определить разбивается ли карта на отдельные кластеры. Далее, как только кластеры выявлены, нейроны топологической карты помечаются содержательными по смыслу метками (в некоторых случаях помечены могут быть и отдельные наблюдения).
20 Пример работы персептрона Розенблата Применяется для распознавания образов и состоит из трех слоев Слой S1…Sn - входной сенсорный слой. Служит для принятия сигналов. Слой A1…Am - ассоциативный слой. Служит для обработки информации. Слой R1…Rm – эффекторный слой. Служит для передачи выходных воздействий. Особенностью этого слоя является использование в нейронах пороговой функции активации.
21 Пример реализации нейронных сетей в Matlab
Что же такое нейронные сети? Искусственная нейронная сеть - математическая модель, а также ее программное и аппаратное воплощение, построенная по принципу организации и функционирования биологический нейронных сетей – сетей нервных клеток животного организма.
Сама нейросеть представляет собой систему из множества нейронов (процессоров). По отдельности эти процессоры достаточно просты (намного проще, чем процессор персонального компьютера), но будучи соединенными в большую систему нейроны способны выполнять очень сложные задачи. Сама нейросеть представляет собой систему из множества нейронов (процессоров). По отдельности эти процессоры достаточно просты (намного проще, чем процессор персонального компьютера), но будучи соединенными в большую систему нейроны способны выполнять очень сложные задачи.
Особенности нейронных сетей Основным преимуществом нейросетей над обычными алгоритмами вычисления является их возможность обучения. Это обучение заключается в нахождении верных коэффициентов связи между нейронами, а также в обобщении данных и выявлении сложных зависимостей между входными и выходными сигналами.
Удачное обучение нейросети означает, что система будет способна выявить верный результат на основании определенных данных. Удачное обучение нейросети означает, что система будет способна выявить верный результат на основании определенных данных.
Где используются нейронные сети? Нейронные сети используются для решения разнообразных задач. Если рассмотреть операции по степени сложности, то для решения простейших задач подойдёт обычная компьютерная программа. А вот задачи более сложного уровня требуют совсем иного подхода. В частности, это относится к распознаванию образов, речи или сложному прогнозированию. В голове человека подобные процессы происходят неосознанно, то есть, распознавая и запоминая образы, человек не осознаёт, как происходит этот процесс, а соответственно не может его контролировать. Именно такие задачи помогают решить нейронные сети, то есть то есть они созданы чтобы выполнять процессы, алгоритмы которых неизвестны.
Таким образом, нейронные сети находят широкое применение в следующих областях: распознавание, причём это направление в настоящее время самое широкое; предсказание следующего шага, эта особенность применима на торгах и фондовых рынках; классификация входных данных по параметрам, такую функцию выполняют кредитные роботы, которые способны принять решение в одобрении займа человеку, полагаясь на входной набор разных параметров. Таким образом, нейронные сети находят широкое применение в следующих областях: распознавание, причём это направление в настоящее время самое широкое; предсказание следующего шага, эта особенность применима на торгах и фондовых рынках; классификация входных данных по параметрам, такую функцию выполняют кредитные роботы, которые способны принять решение в одобрении займа человеку, полагаясь на входной набор разных параметров.
Способности нейросетей делают их очень популярными. Их можно научить многому, например, играть в игры, узнавать определённый голос и так далее. Исходя из того, что искусственные сети строятся по принципу биологических сетей, их можно обучить всем процессам, которые человек выполняет неосознанно. Способности нейросетей делают их очень популярными. Их можно научить многому, например, играть в игры, узнавать определённый голос и так далее. Исходя из того, что искусственные сети строятся по принципу биологических сетей, их можно обучить всем процессам, которые человек выполняет неосознанно.
№ слайда 1
НЕЙРОИНФОРМАТИКА Нейрон Математический нейрон Мак-Каллока – Питтса Персептрон Розенблатта Многослойный персептрон Задачи, решаемые с помощью нейросетей Невербальность и "шестое чувство" нейросетей Методы обучения нейросетей Подготовка входных параметров Рекуррентные сети
№ слайда 2
1. Нейрон Нейронные сети и нейрокомпьютеры – это одно из направлений компьютерной индустрии, в основе которого лежит идея создания искусственных интеллектуальных устройств по образу и подобию человеческого мозга.
№ слайда 3
Нейроны человеческого мозга Аксон Дендриты Синапсы
№ слайда 4
простейший нейрон может иметь до 10 000 дендритов человеческий мозг содержит примерно 1011 нейронов каждый нейрон связан с 103-104 другими нейронами мозг человека содержит 1014-1015 взаимосвязей
№ слайда 5
2. Математический нейрон Мак-Каллока – Питтса 1943 г. Уоррен Мак-Каллок и Вальтер Питтс выдвинули гипотезу математического нейрона математический нейрон имеет несколько входов и один выход через входы (j) математический нейрон принимает входные сигналы (xj) входные сигналы умножаются на весовой коэффициент (wj) и суммируются выходной сигнал нейрона у является нелинейная функция f(S), которая называется активационной
№ слайда 6
Активационная функция а) функция единого скачка ( – порог чувствительности нейрона); б) линейный порог (гистерезис); в) и г) сигмоид (логистическая функция). S y 0 1 S y 0 1 а) б) S y 0 1 y 1 в) г) S 0
№ слайда 7
Математические нейроны, реализующие логические функции математический нейрон изображают кружочком возбуждающий вход – стрелкой тормозящий вход – маленьким кружочком рядом может записываться число, показывающее значение порога x1 x2 y = 2 "И" x1 x2 y = 1 "ИЛИ" x y = 0 "НЕТ"
№ слайда 8
3. Персептрон Розенблатта Идея Мак-Каллока – Питтса была реализована Фрэнком Розенблаттом: 1958 г. в виде компьютерной программы 1960 г. в виде электронного устройства, моделирующего человеческий глаз
№ слайда 9
№ слайда 10
Итерационный алгоритм корректировки весовых коэффициентов Шаг 1. Подать входной образ и вычислить выход персептрона у Шаг 2, а. Если выход правильный, то перейти на шаг 1 Шаг 2, б. Если выход неправильный и равен нулю, то увеличить веса активных входов, например: wj(t + 1) = wj(t) + хj Шаг 2, в. Если выход неправильный и равен единице, то уменьшить веса активных входов, например: wj(t + 1) = wj(t) - хj Шаг 3. Перейти на шаг 1 или завершить процесс обучения.
№ слайда 11
4. Многослойный персептрон М. Минский и С. Пайперт в своей книге "Персептроны" строго математически доказали, что однослойные персептроны в принципе не способны решать многие простые задачи Многие понимали, что надо усложнять структуру персептронов
№ слайда 12
Двухслойный персептрон, реализующий функцию "Исключающее ИЛИ" № 1 № 2 № 3 w = 0,5 w = 0,5 w = 1 w = 1 w = - 0,5 w = - 0,5 x1 y1 x2
№ слайда 13
№ слайда 14
Алгоритм обратного распространения ошибки Шаг 1. Инициализация синаптических весов и смещений Шаг 2. Представление из обучающей выборки входного вектора Xq = (х1, х2, . xN)q и соответствующего ему выходного вектора Dq = (d1, d2, …, dM)q Шаг 3. Прямой проход Шаг 4. Обратный проход Шаг 5. Повторение шагов 2–4 необходимое число раз
№ слайда 15
на 5 шаге алгоритма вычисляется среднеквадратичная ошибка, усредненная по всем обучающим примерам: также вычисляется максимальная разность между желаемым и фактическим выходами персептрона: итерационный процесс заканчивается после того, как погрешность , достигнет заданной величины, либо при достижении предельного числа эпох обучения.
№ слайда 16
Задачи, решаемые с помощью нейросетей если есть математическая модель какого-то процесса, то изучая влияние входных параметров на выходные, можно решить задачу оптимизации моделируемого процесса если математическая модель является нестационарной, то её можно использовать для решения задач прогнозирования если математическая модель работает в реальном режиме времени, то результаты математического моделирования могут быть оперативно переданы оператору, управляющему объектом, или могут быть непосредственно введены в приборы, что позволяет решать задачи управления моделируемым объектом или процессом нейронные сети могут решать задачи распознавания и классификации образов, причем под образами понимаются зрительные изображения, символы, тексты, запахи, звуки, шумы
№ слайда 17
Невербальность и "шестое чувство" нейросетей Как и человеческий мозг, нейросеть способна выводить закономерности, делать догадки, открывать законы природы. Но, так же, как и человек, нейросеть не способна к чёткой формулировке алгоритма, позволившего сделать то или иное умозаключение. Известны случаи, когда нейросети демонстрируют феномен, называемый в жизни шестым чувством. Они с успехом извлекают знания из анализа информации, из которой, казалось бы, эти знания извлечь невозможно.
№ слайда 18
Методы обучения нейросетей детерминистские стохастические подстройка весов представляет собой жёсткую последовательность действий подстройка весов производится на основе действий, подчиняющихся некоторому случайному процессу
№ слайда 19
основная проблема обучения персептронов состоит в том, что поверхность функции ошибок обычно имеет очень сложную форму со множеством локальных минимумов. актуальным является развитие методов глобальной оптимизации, которые позволяют найти глобальный минимум многоэкстремальной целевой функции
№ слайда 20
Генетический алгоритм предложен Дж. Холландом в 1970-х годах имитирует природный оптимизационный процесс, происходящий при эволюции живых организмов основные идеи теории Чарльза Дарвина: естественный отбор и генетическое наследование мутация – изменение генов
№ слайда 21
Операция скрещивания, применяемая в генетических алгоритмах a1 a2 Хромосома отца b1 b2 Хромосома матери a1 b2 Хромосома 1-го потомка b1 a2 Хромосома 2-го потомка
№ слайда 22
Подготовка входных параметров успех создания нейронной сети во многом зависит от удачного подбора обучающих примеров следует учитывать, что не все параметры предметной области влияют на выходной вектор Y незначимые параметры не следует включать в список параметров входного вектора X на первом этапе в вектор X включают как можно больше параметров
№ слайда 23
Определение незначимых параметров анализа значений весовых коэффициентов входных нейронов. Если у какого-либо входного нейрона синаптические веса значительно меньше, чем у других нейронов, то этот входной нейрон скорее всего соответствует незначимому параметру вектора X возмущения значений входных параметров и анализа реакции сети на эти возмущения. Если сеть не реагирует или слабо реагирует на изменения значения какого-либо входного параметра, то этот параметр не является значимым
№ слайда 24
Рекуррентные сети z-1 z-1 x1 x2 y1 y2 x1 x2 y1(t) y2(t) y1(t+1) y2(t+1)
№ слайда 25
- Для учеников 1-11 классов и дошкольников
- Бесплатные сертификаты учителям и участникам
Описание презентации по отдельным слайдам:
Нейронные сети: типы, принцип работы и области применения.
Биологический нейрон Из биологических нейронных сетей состоит наш мозг. Органы чувств передают информацию о раздражителе нейронным сетям, а те в свою очередь обрабатывают ее, благодаря чему мы чувствуем тепло и холод, ветер, влагу, можем распознать людей, вещи, запомнить информацию и так до бесконечности. Вот так выглядит нейрон - очень сложная биологическая система.
Структура искусственного нейрона Принцип работы НС в точности повторяет алгоритм работы биологических нейронов. Нейрон является составной частью нейронной сети. Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, увеличивают или уменьшают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора.
Типы нейронных сетей
Типы нейронных сетей Однослойная нейронная сеть (Single-layer neural network) — сеть, в которой сигналы от входного слоя сразу подаются на выходной слой, который и преобразует сигнал и сразу же выдает ответ.
Типы нейронных сетей Многослойная нейронная сеть (Multilayer neural network) — нейронная сеть, состоящая из входного, выходного и расположенного(ых) между ними одного (нескольких) скрытых слоев нейронов.
Типы нейронных сетей Сети прямого распространения (Feedforward neural network) (feedforward сети) — искусственные нейронные сети, в которых сигнал распространяется строго от входного слоя к выходному. В обратном направлении сигнал не распространяется.
Типы нейронных сетей Сети с обратными связями (Recurrent neural network) — искусственные нейронные сети, в которых выход нейрона может вновь подаваться на его вход. В более общем случае это означает возможность распространения сигнала от выходов к входам.
Читайте также: