Доклад на тему машинное обучение

Обновлено: 04.05.2024

Машинное обучение – это направление в науке, а с недавних пор и в технологиях, которое решает задачу обучения компьютера. Важно заметить, что не предполагается никакого полноценного обучения, которое можно было бы сравнить с обучением человека. Машинное знание, которое сформировалось в процессе обучения не может принимать по-настоящему интеллектуальных решений, как это может сделать человек. И, несмотря на это, в последнее время потребность в машинном обучении резко выросла. Машинное обучение выходит из сферы только математиков и алгоритмистов, и все глубже проникает в мир IT бизнеса, а затем и в мир простых обывателей. Технологии машинного обучения приносят человеку огромную пользу, и в скором времени каждый человек так или иначе будет ими пользоваться.
Машинной обучение активно применяется в таких сферах, как:
1. IT-сфера: разработка приложений (распознавание речи, обнаружение спама).
2. Рекламные компании (предсказание увеличения или уменьшения аудитории).
3. Маркетинговые исследования.
4. Медицинская диагностика (анализируя истории болезней пациентов, можно обнаруживать незаметные для человека связи и устанавливать неизвестные ранее симптомы опасных заболеваний).
Целью данной работы является изучение машинного обучения.
Для достижения поставленной цели, требуется решить следующие задачи:
1. Описать машинное обучение, выделить методы и алгоритмы.
2. Определить для чего используется машинное обучение.
3. Изучить применение прикладной статистики в машинном обучении.
4. Изучить спецификации в машинном обучении.

Рисунок SEQ Рисунок \* ARABIC 2 – Линейная регрессия
Например: Y = B0+ B1 * XЗная X, необходимо найти Y, и цель линейной регрессии заключается в поиске значений коэффициентов B0 и B1.
Для оценки регрессионной модели используются различные методы вроде линейной алгебры или метода наименьших квадратов.
2.2 Логистическая регрессияЛогистическая регрессия – ещё один алгоритм, пришедший в машинное обучение прямиком из статистики. Её хорошо использовать для задач бинарной классификации (это задачи, в которых на выходе мы получаем один из двух классов).
Логистическая регрессия похожа на линейную тем, что в ней тоже требуется найти значения коэффициентов для входных переменных. Разница заключается в том, что выходное значение преобразуется с помощью нелинейной или логистической функции.
Логистическая функция выглядит как большая буква S и преобразовывает любое значение в число в пределах от 0 до 1. Это весьма полезно, так как можно применить правило к выходу логистической функции для привязки к 0 и 1 (например, если результат функции меньше 0.5, то на выходе получаем 1) и предсказания класса. Пример логистической функции представлен на рисунке 3.
Рисунок SEQ Рисунок \* ARABIC 3 – Логистическая регрессия
Благодаря тому, как обучается модель, предсказания логистической регрессии можно использовать для отображения вероятности принадлежности образца к классу 0 или 1. Это полезно в тех случаях, когда нужно иметь больше обоснований для прогнозирования.
2.3 Линейный дискриминантный анализ (LDA)Логистическая регрессия используется, когда нужно отнести образец к одному из двух классов. Если классов больше, чем два, то лучше использовать алгоритм LDA (Linear discriminant analysis).
Представление LDA довольно простое. Оно состоит из статистических свойств данных, рассчитанных для каждого класса. Для каждой входной переменной это включает:
1. Среднее значение для каждого класса;
2. Дисперсию, рассчитанную по всем классам.
Рисунок SEQ Рисунок \* ARABIC 4 – Линейный дискриминантный анализ
Предсказания производятся путём вычисления дискриминантного значения для каждого класса и выбора класса с наибольшим значением. Предполагается, что данные имеют нормальное распределение, поэтому перед началом работы рекомендуется удалить из данных аномальные значения. Это простой и эффективный алгоритм для задач классификации.
2.4 Деревья принятия решенийДерево решений можно представить в виде двоичного дерева, знакомого многим по алгоритмам и структурам данных. Каждый узел представляет собой входную переменную и точку разделения для этой переменной (при условии, что переменная – число).

Рисунок SEQ Рисунок \* ARABIC 5 – Деревья принятия решений
2.5 Наивный Байесовский классификаторНаивный Байес – простой, но удивительно эффективный алгоритм.
Модель состоит из двух типов вероятностей, которые рассчитываются с помощью тренировочных данных:
1. Вероятность каждого класса.
2. Условная вероятность для каждого класса при каждом значении x.
После расчёта вероятностной модели её можно использовать для предсказания с новыми данными при помощи теоремы Байеса. Если в наличии вещественные данные, то, предполагая нормальное распределение, рассчитать эти вероятности не составляет особой сложности.
Рисунок SEQ Рисунок \* ARABIC 6 – Наивный Байесовский классификатор
Наивный Байес называется наивным, потому что алгоритм предполагает, что каждая входная переменная независимая. Это сильное предположение, которое не соответствует реальным данным. Тем не менее данный алгоритм весьма эффективен для целого ряда сложных задач вроде классификации спама или распознавания рукописных цифр.
2.6 K-ближайших соседей (KNN)К-ближайших соседей – очень простой и весьма эффективный алгоритм. Модель KNN (K-nearest neighbors) представлена всем набором тренировочных данных.
Предсказание для новой точки делается путём поиска K ближайших соседей в наборе данных и суммирования выходной переменной для этих K экземпляров.
Вопрос лишь в том, как определить сходство между экземплярами данных. Если все признаки имеют один и тот же масштаб (например, сантиметры), то самый простой способ заключается в использовании евклидова расстояния – числа, которое можно рассчитать на основе различий с каждой входной переменной.

Основы машинного обучения начинающих: поговорим о методах machine learning, типах, видах и задачах машинного обучения. Расскажем об инструментах машинного обучения обработки данных.

Что такое машинное обучение?

Машинное обучение — это специализированный способ, позволяющий обучать компьютеры, не прибегая к программированию. Отчасти это похоже на процесс обучения младенца, который учится самостоятельно классифицировать объекты и события, определять взаимосвязи между ними.

ML открывает новые возможности для компьютеров в решении задач, ранее выполняемых человеком, и обучает компьютерную систему составлению точных прогнозов при вводе данных. Оно стимулирует рост потенциала искусственного интеллекта, являясь его незаменимым помощником, а в представлении многих даже синонимом.

Наконец, машинное обучение — одна из наиболее распространенных форм применения искусственного интеллекта современным бизнесом. Если компания еще не использует ML, то в ближайшее время наверняка оценит его потенциал, а ИИ станет основным двигателем IT-стратегии многих предприятий. Ведь искусственный интеллект уже сегодня играет огромную роль в трансформации развития ИТ-индустрии: клиенты больше внимания уделяют интеллектуальным приложениям, чтобы развивать свой бизнес с помощью ИИ. Он применим к любому рабочему процессу, реализованному в программном обеспечении, — не только в рамках традиционной деловой части предприятий, но также в исследованиях, производственных процессах и, во все большей степени, самих продуктах.

Примечание
На международной конференции по искусственному интеллекту и анализу данных Artificial Intelligence Journey (AI Journey) президент по глобальным продажам, маркетингу и операциям Microsoft Жан-Филипп Куртуа сообщил , что пандемия COVID-19 форсировала интерес к использованию машинного обучения: 80% компаний уже внедряют его в свою деятельность, а 56% планируют увеличить объем инвестиций в эту сферу.

Необычайный успех machine learning привел к тому, что исследователи и эксперты в области ИИ сегодня по умолчанию выбирают этот метод для решения задач.

Machine Learning: принципы и задачи

В основе машинного обучения лежат три одинаково важных компонента:

Данные. Собираются всевозможными способами. Чем больше данных, тем эффективней машинное обучение и точнее будущий результат.
Признаки. Определяют, на каких параметрах строится машинное обучение.
Алгоритм. Выбор метода машинного обучения (при условии наличия хороших данных) будет влиять на точность, скорость работы и размер готовой модели.

Примечание
Доверие к результатам машинного обучения должно строиться на понимании: они хороши настолько, насколько хороши данные, на которых обучается алгоритм.

В основу существования и развития машинного обучения легли три основных принципа:

Инновационность: возможности ML открывают новые перспективы развития и роста практически всех отраслей экономики.
Специфичность: машинное обучение применяется для внедрения и разработки новых продуктов исключительно людьми, которые разбираются в IT-технологиях.
Простота: продукты, реализуемые с использованием технологий машинного обучения, становятся понятны даже школьникам и людям преклонного возраста.

Задачи, которые способно решить машинное обучение, напрямую определяют выгоды для бизнеса и возможности решения социальных проблем государствами разных стран. К основным задачам относятся:

Как видим, спектр задач машинного обучения широк, что подтверждает его перспективность в использовании как коммерческими предприятиями, так и в социальных проектах.

Как это работает: типы машинного обучения

Для простоты восприятия типы машинного обучения принято разделять на три категории:

обучение с учителем (supervised learning);
обучение без учителя (unsupervised learning);
обучение с подкреплением (reinforcement learning).

Типы машинного обучения

Обучение с учителем

Обучение без учителя

Для данного типа обучения ключевым понятием является паттерн — обрабатывая значительные массивы данных, алгоритм должен сперва самостоятельно выявлять закономерности. На следующем этапе на основе выявленных закономерностей машина интерпретирует и систематизирует данные.

Обучение с подкреплением

Принципы обучения с подкреплением заимствованы из психологических экспериментов: машина пытается найти оптимальные действия, которые будет предпринимать, находясь в наборе различных сценариев. Эти действия могут иметь как краткосрочные, так и долгосрочные последствия, а от алгоритма требуется обнаружить эти связи.

Инструменты machine learning

Инструменты машинного обучения используют на следующих этапах:

сбор и подготовка данных;
построение модели;
обучение и развертывание приложений.

Для выполнения каждого из этих этапов применяются специализированные платформы. Они различаются по языку программирования (Python, Cython, C, C++, CUDA, Java), операционным системам (Linux, Mac OS, Windows) и тому, какие задачи можно решить с их помощью.

Сегодня на рынке представлено несколько десятков программных инструментов:

Практическое применение ML-технологий

Машинное обучение уже применяется во всех сферах деятельности человека. Еще в 2017 году под управлением Стэнфордского университета был запущен новый индекс AI100 для отслеживания динамики в сфере ИИ. Согласно данным, полученным университетом, количество стартапов с 2000 по 2018 год выросло в 14 раз. Рассмотрим, в каких областях нас ждут технологические прорывы благодаря ML.

Робототехника

В будущем роботы станут самообучаться ранее поставленным перед ними задачам. К примеру, смогут работать над добычей полезных ископаемых — нефти, газа и других. Они смогут, например, изучать морские глубины, тушить пожары. Программисты могут самостоятельно не писать массивные и сложные программы, опасаясь допустить ошибку в коде. ИИ повлияет и на повышение качества частной жизни человека: у нас уже есть беспилотные автомобили, роботы-пылесосы, трекеры сна, физической активности и здоровья и прочие продукты интернета поведения.

Маркетинг

Самый наглядный пример использования машинного обучения в маркетинге — поисковые системы Google и Яндекс, которые с его помощью контролируют релевантность рекламных объявлений.Социальные сети FaceBook, ВКонтакте, Instagram и другие применяют собственные аналитические машины для исследования интересов пользователей и совершенствования персонализации новостной ленты.Маркетинговые исследования, предваряющие разработку и релиз продуктов компании, станут проще с точки зрения реализации, а итоговые данные будут более точными. Выделение кластеров в группах со схожими параметрами превратит кастомизированные предложения в реальность — можно будет решать задачи не групп потребителей, а каждого в отдельности.

Безопасность

Современную сферу обеспечения безопасности невозможно представить без машинного обучения. Системы распознавания лиц в метро и использование камер, сканирующих лица и номера машин при движении по автодорогам, стали неотъемлемой частью человеческой жизни и незаменимыми помощниками для полиции в поиске преступников и потерявшихся людей.

Финансовый сектор и страхование

Более точные биржевые прогнозы и оценка капитализации брендов, решения о выдаче кредитных продуктов частным лицам и предприятиям, определение стоимости и целесообразности страховки и даже снижение очередей в офисах при параллельном сокращении издержек на персонал — только часть возможностей, которые станут доступны в этой сфере.

Общественное питание

На основе Big Data разрабатываются специальные предложения для гостей с учетом загрузки посадочных мест в ресторанах и кафе, функционируют сервисы по планированию закупок для поваров.

Медицина

В медицинских учреждениях машинное обучение позволяет быстро обрабатывать данные пациента, производить предварительную диагностику и подобрать индивидуальное лечение, опираясь на сведения о заболеваниях пациента из базы данных. ML также позволяет автоматически выделять группы риска при появлении новых штаммов вирусных заболеваний.

Добыча полезных ископаемых

Анализ почвы доказывает или опровергает наличие полезных ископаемых, помогает очертить площадь будущей разработки.

Примечание
Серьезным препятствием для повсеместного использования технологий машинного обучения был недостаток у значительного количества компаний финансовых ресурсов и инфраструктуры. Специалисты SberCloud разработал ML Space — платформу для ML-разработки полного цикла и совместной работы Data Science-команд над созданием и развертыванием моделей машинного обучения. Сервис предоставляет уникальную возможность эффективного внедрения машинного обучения в бизнес-процессы.

Резюме

Технологии машинного обучения уже стали частью повседневной жизни, при этом количество стартапов и продуктов на основе машинного обучения активно растет. Будучи причиной технологических революций в некоторых сферах экономики, ML способно быть драйвером в масштабах бизнеса и государств. Сегодня самое время задуматься об интеграции машинного обучения в бизнес-процессы, чтобы не утратить конкурентоспособность.

Технологии искусственного интеллекта и машинного обучения уже определяют экономический успех предприятий. По данным консалтинговой компании Gartner порядка 50% процессов в сфере обработки и анализа данных будут автоматизированы с помощью ИИ к 2025 году, что снизит острую нехватку высококвалифицированных специалистов. Компания SberCloud следует самым современным трендам. ИИ является неотъемлемой частью разработки наших продуктов и услуг. SberCloud располагает достаточными материальными ресурсами: это и самый мощный в России суперкомпьютер “Кристофари”, облачная инфраструктура и платформа ML Space. Платформа позволяет ускорить, оптимизировать и упростить процесс обучения моделей, препроцессинга данных и развертывания моделей на высокопроизводительной инфраструктуре с целью последующего обращения к этим моделям для распознавания или прогнозирования по новым данным. Сегодня ML Space — это единственная в мире облачная платформа, позволяющая обучать модели более чем на 1000 графических процессоров (GPU) Мария Рябенко Старший технический писатель направления AI Cloud

Разработчик ПО (системы PDM/PLM) с 1993 года, компания "ИНТЕРМЕХ" (www.intermech.ru). В 2020-м успешно закончил курсы "Основы Data Science" (минская IT Academy) Референт-переводчик технической литературы с английского языка.

Читайте в нашем обзоре детальное описание основных принципов, понятий и разновидностей машинного обучения.

Машинное обучение позволяет компьютерам справляться с задачами, которые до недавнего времени могли решать только люди: водить автомобили, распознавать речь и переводить ее, играть в шахматы, и многое другое. Но что же именно понимается под словами "машинное обучение", и что сделало возможным современный бум машинного обучения?

Что такое машинное обучение?

Для решения каждой задачи создается модель, теоретически способная приблизиться к человеческому уровню решения данной задачи при правильных значениях параметров. Обучение этой модели – это постоянное изменение ее параметров, чтобы модель выдавала все лучшие и лучшие результаты.

Разумеется, это лишь общее описание. Как правило, вы не придумываете модель с нуля, а пользуетесь результатами многолетних исследований в этой области, поскольку создание новой модели, превосходящей существующие хотя бы на одном виде задач – это настоящее научное достижение. Методы задания целевой функции, определяющей, насколько хороши выдаваемые моделью результаты (функции потерь), также занимают целые тома исследований. То же самое относится к методам изменения параметров модели, ускорения обучения и многим другим. Даже начальная инициализация этих параметров может иметь большое значение!

В процессе обучения модель усваивает признаки, которые могут оказаться важными для решения задачи. Например, модель, отличающая изображения кошек и собак, может усвоить признак "шерсть на ушах", наличие которого скорее свойственно собакам, чем кошкам. Большинство таких признаков нельзя описать словами: вы же не сможете объяснить, как вы отличаете кошку от собаки, правда? Выделение таких признаков зачастую не менее, а иногда намного более ценно, чем решение основной задачи.

Чем машинное обучение отличается от искусственного интеллекта?

Термин "искусственный интеллект" был введен еще в 50-е годы прошлого века. К нему относится любая машина или программа, выполняющая задачи, "обычно требующие интеллекта человека". Со временем компьютеры справлялись все с новыми и новыми задачами, которые прежде требовали интеллекта человека, то есть то, что прежде считалось "искусственным интеллектом" постепенно перестало с ним ассоциироваться.

Машинное обучение – один из методов реализации приложений искусственного интеллекта, и с его помощью искусственный интеллект значительно продвинулся вперед. Но, хотя этот метод действительно очень важен, это далеко не первый значительный шаг в истории искусственного интеллекта: когда-то не менее важными казались экспертные системы, логический вывод и многое другое. Несомненно, в будущем появятся и новые технологии искусственного интеллекта, которые не будут относиться к машинному обучению.

Модели, виды и параметры машинного обучения

Самая простая модель имеет всего два параметра. Если нужно предсказать результат, линейно зависящий от входного признака, достаточно найти параметры a и b в уравнении прямой линии y=ax+b. Такая модель строится с помощью линейной регрессии. На следующем рисунке показана модель, предсказывающая "уровень счастья" человека по его собственной оценке в зависимости от уровня его дохода (красная линия):

Модель, предсказывающая уровень счастья человека по уровню его дохода

К сожалению, в реальной жизни простые линейные зависимости встречаются крайне редко. Даже на этом графике видно, что высокий уровень дохода выбивается из линейной зависимости – одних денег для счастья все-таки недостаточно. Даже полиномиальные модели, имеющие количество параметров, равное степени полинома, пригодны лишь для очень простых задач.

Современная революция в машинном обучении связана с нейронными сетями, обычно имеющими тысячи или даже миллионы параметров. Такие сети могут усваивать очень сложные признаки, необходимые для решения сложных задач. На следующем рисунке приведен пример архитектуры нейронной сети с двумя скрытыми слоями.

Архитектура нейронной сети

Хотя алгоритм обратного распространения ошибки (backropagation) был придуман довольно давно, до недавнего времени не было технических возможностей для реализации глубоких нейронных сетей, содержащих большое количество слоев. Быстрое развитие микроэлектроники привело к появлению высокопроизводительных GPU и TPU, способных обучать глубокие нейронные сети без суперкомпьютеров. Именно широкое распространение глубокого обучения стоит за тем бумом искусственного интеллекта, о котором вы слышите отовсюду.

Типы машинного обучения

Машинное обучение требует много данных. В идеале, тренировочные данные должны описывать все возможные ситуации, чтобы модель могла подготовиться ко всему. Конечно, на практике добиться этого невозможно, но нужно стараться, чтобы тренировочный набор был достаточно разнообразным.

Стратегия обучения выбирается в зависимости от поставленной задачи и имеющихся данных для обучения. Выделяют обучение с учителем (supervised learning), обучение без учителя (unsupervised learning) и обучение с подкреплением (reinforcement learning).

Обучение с учителем

Это обучение на примерах, при котором "учителем" называются правильные ответы, которые, в идеале, должна выдавать модель для каждого случая. Эти ответы называются метками (название происходит из задач классификации, модели которых практически всегда обучаются с учителем – там эти ответы являются метками классов), а данные с метками – размеченными.

Обучение с учителем – это обучение на примерах. Представьте, что школьнику показали несколько методов решения задач, а потом заставили решить огромное количество таких задач, предоставив правильные ответы для каждой. Если школьник решит все эти задачи, и в каждой получит правильный ответ, то можно считать, что он усвоил методы решения таких задач.

Переобученная модель классификации (зеленая линия) выдает верные результаты на всем тренировочном наборе, но правильно обученная модель (черная линия), скорее всего, будет не так сильно ошибаться на новых данных

Обучение без учителя

Некоторые задачи можно решить и без размеченных тренировочных данных – например, задачи кластеризации. Модель сама решает, как надо сгруппировать данные в кластеры, чтобы похожие экземпляры данных попадали в один кластер, а непохожие – не попадали.

Частичное привлечение учителя

Как и предполагает название, обучение с частичным привлечение учителя (semi-supervised learning) – это смесь обучения с учителем и без него. Этот метод использует небольшое количество размеченных данных и множество данных без меток. Сначала модель обучается на размеченных данных, а затем эта частично обученная модель используется для разметки остальных данных (псевдо-разметка). Затем вся модель обучается на смеси размеченных и псевдо-размеченных данных.

Популярность такого подхода резко выросла в последнее время в связи с широким распространением генеративных состязательных сетей (GAN), использующих размеченные данные для генерации совершенно новых данных, на которых продолжается обучение модели. Если частичное привлечение учителя когда-нибудь станет не менее эффективным, чем обучение с учителем, то огромные вычислительные мощности станут более важными, чем большое количество размеченных данных.

Обучение с подкреплением

Это обучение методом проб и ошибок. Каждый раз, когда модель достигает поставленной цели, она получает "поощрение", а если не получает – "наказание". Эта стратегия обычно используется для обучения моделей, непосредственно взаимодействующих с реальным миром: моделей автоматического вождения автомобилей, игры в различные игры и т.д.

Отличный пример модели, обученной с подкреплением – нейронная сеть Deep Q от Google, победившая людей во множестве старых видеоигр. После длительного обучения модель усваивает правильную стратегию поведения, приводящую к победе.

Лучшие курсы для изучения машинного обучения

Самый популярный курс основ машинного обучения для новичков – бесплатная серия лекций Стэнфордского университета на Coursera от легендарного эксперта в ИИ и основателя Google Brain Эндрю Ына (Andrew Ng). Недавно Эндрю Ын выпустил курс специализации в глубоком обучении, который рассматривает различные архитектуры нейронных сетей и прочие темы машинного обучения.

Если вы предпочитаете подход "сверху вниз", при котором вы сначала запускаете обученные модели машинного обучения, и только потом углубляетесь в их внутренности, обратите внимание на курс "Практическое глубокое обучение для кодировщиков" от fast.ai. Этот курс особенно рекомендуется программистам, имеющим не менее года опыта работы на Python. Курс Эндрю Ына предоставляет обзор теоретических основ машинного обучения, а курс fast.ai построен вокруг Python'а – языка программирования, широко используемого в машинном обучении.
Еще один курс, высоко оцениваемый не только за уровень преподавания, но и за широкий обзор рассматриваемых тем – "Введение в машинное обучение" от EdX и Колумбийского университета, хотя он и требует знания математики на университетском уровне.
На русском языке, пожалуй, лучший курс машинного обучения предлагает факультет искусственного интеллекта GeekBrains. Этот курс занимает целых полтора года и при успешном освоении выведет вас на довольно высокий уровень, достаточный для трудоустройства.

Сферы применения машинного обучения

Машинное обучение имеет огромное количество применений, но особенно выделяются два крупных и важных направления: машинное зрение (computer vision, CV) и обработка естественного языка (natural language processing, NLP), каждое из которых объединяет множество различных задач.

Машинное зрение

Машинное зрение – это все приложения, включающие обработку изображений и видео. В частности, современные модели способны решать следующие задачи машинного зрения:

Выделение сущностей определенных классов в изображении. Например, модель YOLO помечает рамками найденные объекты и выводит метки их классов.
Распознавание людей по их лицам (служит для обнаружения преступников, идентификации для безопасного доступа к охраняемым объектам, введения ограничений по возрасту и т.п.)
Медицинская диагностика. Современные модели способны распознавать многие виды заболеваний по фотографиям пациентов, особенно если к ним добавляются снимки рентгенографии и МРТ.
Автоматическое вождение автомобиля. Эта задача состоит из многих подзадач: идентификация других автомобилей, пешеходов и прочих объектов на дороге, определение скорости и направления движения других объектов, принятие правильных решений в различных ситуациях, и так далее.
Воздушная разведка. Современные дроны могут намного больше, чем подчиняться командам человека, передаваемым по радио. Они могут не только распознавать военную технику и направление ее передвижения, но и ее маркировку.
Автоматическая генерация изображений – в том числе, человеческих лиц и тел.

Обработка естественного языка

Обработка естественного языка – это революция в области интерфейса между человеком и компьютером. Она включает в себя следующие задачи:

Если вы хотите освоить востребованную профессию, стоит обратить внимание на курс факультета искусственного интеллекта образовательной онлайн-платформы GeekBrains. Одна из самых объемных и содержательных на рынке учебных программ включает основательную математическую подготовку, изучение программирования и статистического анализа, а также работу с базами данных, нейронные сети и машинное обучение. Курс построен на основе практической работы с ведущими специалистами технологических компаний и личным помощником-куратором. Выпускники получат диплом о профессиональной подготовке и помощь в трудоустройстве, а также смогут добавить в портфолио реализованные проекты.

Для учеников 1-11 классов и дошкольников
Бесплатные сертификаты учителям и участникам

V районная научно-исследовательская конференция

Обучающихся общеобразовательных организаций

Октябрьского муниципального района

Тема работы

Машинное обучение

Автор: Сагатдинов Эмиль Эдуардович

Руководитель: Сычёва Ольга Ивановна,

Что такое машинное обучение ………………………..……..4

Алгоритмы машинного обучения ………………………. 5-7

История машинного обучения …………………………. 7-10

Применение машинного обучения в социальной сфере.10-11

Применение машинного обучения для исследования…..11-12

Перспективы машинного обучения ……………………. 12-13

Проблемы машинного обучения …………………………13-14

Список литературы и других источников…………..……. 18

(Michel, 1996)

В окружающем нас мире происходит невероятный технологический прорыв. И название ему – машинное обучение.

Мы живём в эпоху алгоритмов. Сегодня алгоритмы проникли во все уголки нашей жизни. Технология машинного обучения открывает широкие возможности для автоматизации, компьютеры учатся видеть текст, обрабатывают огромные массивы данных, упрощая жизнь людям. Алгоритмы нашли себе место в мобильных телефонах и ноутбуках, в автомобилях, квартирах, бытовой технике, игрушках и многом другом.

Я заинтересовался машинным обучением, так как это самая востребованная технология настоящего и близкого обозримого будущего.

Многие люди опасаются данной технологии, утверждая, что машинное обучение опасно и из-за него в будущем может произойти повторения сюжета некоторой научной фантастики – захват человечества искусственным интеллектом.

Цель исследования - изучение возможностей машинного обучения как метода превращения данных в знания, истории его возникновения и знакомство с передовыми технологиями в этой области.

Определение основных подходов к пониманию, что такое машинное обучение.

Изучение алгоритмов машинного обучения.

Знакомство с историей машинного обучения.

Изучение применение машинного обучения.

Изучение перспектив машинного обучения.

Анализ проблем машинного обучения.

Гипотеза работы: Очевидно, машинное обучение не станет причиной порабощения человечества искусственным интеллектом.

Анализ, синтез, обобщение справочной и научной литературы, представленной в различных источниках.

Составление и проведение социологического опроса.

Обработка полученных результатов и формулировка выводов.

Продукт моего исследования - брошюра с рассказом о том, что же такое машинное обучение.

Что такое машинное обучение

В связи с тем, что в России, как и во всем остальном мире, чрезвычайно востребовано машинное обучение, знание принципов машинного обучения и программирования для выбора будущей профессии является актуальным.

По опубликованным данным, в США в 2018 году имелся дефицит специалистов по машинному обучению в 140 -190 тысяч человек. О нашей стране такие сведения не публиковались.

Машинное обучение – подраздел искусственного интеллекта, изучающий создание алгоритмов, способных к самообучению. Существует два типа машинного обучения: индуктивное обучение, которое основано на анализе данных и выявлению общих закономерностей, и дедуктивное обучение, при котором знания экспертов переносится в компьютер в виде базы данных. Для машинного обучения требуется две вещи: данные, на которых будет обучаться алгоритм, и цель, которой требуется достичь .

При обучении без учителя у нас есть только данные, закономерности в которых мы и хотим найти.

В отличии от обычных алгоритмов, которые используя данные, поступающие в него, выдает определенный результат, машинное обучение используя данные и желаемый результат, создает алгоритмы, которые используя полученные данные приходят к желаемому результату, а после полученный алгоритм можно использовать для подобных задач и получения нового результата.

Благодаря этому, у программистов отпадает необходимость, каждый раз писать подобные алгоритмы, ведь можно написать программу, которая решит за него поставленную задачу. Не зря говорят, что если вы ленивый и не слишком сообразительный компьютерщик, то машинное обучение для вас - идеальная специальность.

Таким образом,в рамках рассматриваемой гипотезы, можно сделать вывод машинное обучение – это самосовершенствующийся алгоритм, который создаётся для решения конкретной задачи по обработке данных и не может быть равным интеллекту человека.

Алгоритмы машинного обучения

В машинном обучении применяются методы, созданные задолго до его появления, каждый из которых предназначен для узкого спектра задач, к примеру, задачи классификации, регрессии или кластеризации. И целью программиста, использующего эти алгоритмы, является обучение алгоритма под его нужды.

Наиболее простым и понятным алгоритмом машинного обучения является линейная регрессия. Математически данный алгоритм можно представить в виде уравнения прямой, наиболее точно отражающей взаимосвязь между входными переменными (х) и выходными переменными ( y ), для составления данного уравнения необходимо найти некие коэффициенты b . К примеру: y=* x +. Зная х нам нужно найти y , и цель данного алгоритма заключается в поиске значений и . Для оценки используются методы вроде линейной алгебры и метода наименьших квадратов[1].

Деревья принятия решений можно представить в виде двоичного дерева. Каждый узел этого дерева представляет собой входную переменную, а также точку разделения для этой переменной. Листовые узлы данного дерева – это выходные переменные, которые используются для предсказания. Предсказания осуществляются проходом по дереву от корневого узла к листовым и выводом значений на данном узле. Деревья легко обучаются и делают прогнозы, они точны для большого спектра задач и не нуждаются в особой подготовке данных.

Нейронные сети - алгоритм машинного обучения, созданный на основе организации и функционирования биологических нейронных сетей, данное понятие возникло при изучении процессов, происходящих в головном мозге. Первой попыткой были нейронные сети Питтса и Маккалока.[2] Искусственная нейронная сеть является системой соединенных и взаимодействующий между собой искусственных нейронов. Этот вид алгоритмов используется для прогнозирования, распознавания образов, управления и т. д.

Локально-зависимое хеширование – алгоритм понижения размерности многомерных данных. Суть этого алгоритма заключается в том, чтобы сгенерировать хеш-функцию для некоторых векторов так, чтобы подобные точки с наивысшей вероятностью оказывались в одной группе. Применяется данный метод в задачах кластеризации и поиске ближайшего соседа.

Наивная байесовская классификация – это простые вероятностные классификаторы, которые берут начало из теоремы Байеса, которая в данном случая рассматривает данные как независимые друг от друга.

Это лишь первый основной список существующих алгоритмов, на практике же их применяется гораздо больше, более того, регулярно появляются новые алгоритмы, созданные под специфические задачи. Отсюда следует вывод, что машинное обучение направлено на решение специфических, а не универсальных задач. Основная цель машинного обучения – освободить человека от выполнения рутинных функций по сравнению, подбору, контролю данных. Решение универсальных задач – это область деятельности человеческого мозга. Машина, какой бы совершенной она не была, не может генерировать идеи.

История машинного обучения

Попытки создания искусственного интеллекта и управления им активно предпринимались в 40-х годах прошлого века:

В 1943 году Уоррен Мак-Калок и Уолтер Питтс формализовали понятие нейронной сети и представили его в виде электрической цепи.

В 1948 году Норберт Винер опубликовал книгу о кибернетике, основной идеей которой было представление сложных биологических процессов математическими моделями.

В 1949 Дональд Хебб предложил первый алгоритм обучения.

Первопроходцами машинного обучения были Артур Сэмюэль, Джозеф Вейцбаум и Фрэнк Розенблатт, в 1958 году создавший однослойный перцептрон, первую искусственную нейронную сеть, его разработка обрела известность в распознавании образов и прогнозирования погоды. Первый получил широкую известность созданием в 1952 году самообучающейся программы Checkers-playing, умевшей, как следует из названия, играть в шашки.

Значимым оказалось его участие вместе с Дональдом Кнутом в проекте TeX, результатом которого стала система компьютерной верстки, вот уже почти 40 лет не имеющая себе равных для подготовки математических текстов. Второй в 1966 году написал виртуального собеседника ELIZA, способного имитировать (а скорее, пародировать) диалог с психотерапевтом; очевидно, что своим названием программа обязана героине из пьесы Бернарда Шоу. А дальше всех пошел Розенблатт, он в конце 50-х в Корнельском университете построил систему Mark I Perceptron, которую можно признать первым нейрокомпьютером.

В 1969 М. Минский опубликовал формальное доказательство ограниченности перцептрона, показав, что некоторые задачи, связанные с инвариативностью представлений, он решить не способен, после этого интерес к нейронным сетям падает.

За последующие 30-40 лет усилиями академически ориентированных ученых машинное обучение было превращено в самостоятельную математическую дисциплину.

Начало первого десятилетия XXI века оказалось поворотной точкой в истории машинного обучения, и объясняется это тремя синхронными тенденциями, давшими в совокупности заметный синергетический эффект.

Первая — Большие Данные. Данных стало так много, что новые подходы были вызваны к жизни не любознательностью ученых, а практической необходимостью.

Вторая — снижение стоимости параллельных вычислений и памяти. Эта тенденция обнаружилась в 2004 году, когда компания Google раскрыла свою технологию MapReduce, за которой последовал ее открытый аналог Hadoop (2006), и совместно они дали возможность распределить обработку огромных объемов данных между простыми процессорами. Тогда же Nvidia совершила прорыв на рынке GPU: если раньше в игровом сегменте ей могла составить конкуренцию AMD/ATI, то в сегменте графических процессоров, которые можно использовать для целей машинного обучения, она оказалась монополистом. И в то же время заметно уменьшилась стоимость оперативной памяти, что открыло возможность для работы с большими объемами данных в памяти и, как следствие, появились многочисленные новые типы баз данных, в том числе NoSQL. И, наконец, в 2014 году появился программный каркас Apache Spark для распределенной обработки неструктурированных и слабоструктурированных данных, он оказался удобен для реализации алгоритмов машинного обучения.

Последующие годы отмечены интенсивной работой многих ученых в области глубинных нейронных сетей (Deep Neural Network, DNN), однако детальный и желательно объективный анализ событий этого периода еще ждет своего исследователя. Считается, что собственно термин deep learning был предложен в 1986 году Риной Дехтер, хотя история его появления, видимо, сложнее .

В 2017 году компания Яндекс открыла для использования в свободном доступе свою систему машинного обучения – CatBoost . На сегодняшний день ей может воспользоваться любой желающий, на данный момент ее применяют внутри самой компании для ранжирования поисковой выдачи. Также данную систему используют в анализе данных Большого Адронного Коллайдера.

Вся история машинного обучения и уровень современных достижений в этой области подтверждает справедливость рассматриваемой гипотезы о том, что машинное обучение не станет причиной порабощения человечества искусственным интеллектом.

Применение машинного обучения в социальной сфере

ГОСТ

Общие сведения о машинном обучении

Искусственный интеллект – это совокупность различных технологических и научных решений и методов, позволяющих разрабатывать программы, действующие подобно человеческому интеллекту.

Машинное обучение – это набор методов в области искусственного интеллекта, предоставляющих алгоритмы для создания машин, обучающихся на собственном опыте. То есть это наука о том, как научить искусственный интеллект действовать подобно человеку, а также сделать так, чтобы он сам постоянно улучшал свои способности и принципы собственного обучения на основе предоставленных ему известных данных о реальном мире.

В качестве обучения машина обрабатывает огромные массивы входных данных в поиске определённых закономерностей. То есть, машина может находить различные закономерности в сложных и многопараметрических задачах (которые мозг человека не способен решить), отыскивая в результате более точные ответы на поставленные задачи.

С помощью применения методов машинного обучения можно научить компьютеры решать задачи, для которых не был предварительно построен человеком алгоритм их решения.

Иерархическая структура технологий искусственного интеллекта представлена на следующем рисунке:

Рисунок 1. Иерархическая структура технологий искусственного интеллекта. Автор24 — интернет-биржа студенческих работ

Глубокое обучение – это направление в области искусственного интеллекта (и, в частности, машинного обучения), которое основано на применении нейронных сетей, а также включает в себя исследование и разработку алгоритмов для машинного обучения.

Готовые работы на аналогичную тему

Методы глубокого обучения позволяют правильно организовывать представление данных на нескольких уровнях абстракции. Системы глубокого обучения за последние десять лет добились особых успехов в таких областях, как обнаружение и распознавание объектов, преобразование текста в речь и поиск информации.

Нейронная сеть позволяет при помощи искусственных нейронов моделировать работу человеческого мозга (нейронов), решающего конкретную задачу, а также самообучаться с учётом предыдущего опыта, с каждым разом совершая всё меньше ошибок.

Основные этапы исторического развития машинного обучения

В 1960-х годах проводились исследования, связанные с применением компьютерного зрения и использованием простых шаблонов распознавания.

Далее машинное обучение продолжало своё развитие и в 1997 году был создан компьютер Deep Blue, который сумел обыграть в шахматы чемпиона мира Гарри Каспарова.

В 21 веке появилось такое понятие, как глубокое обучение, а также было разработано много алгоритмов для распознавания содержимого на фотографиях и в видеороликах.

В 2016 году появилась программа AlphaGo, разработанная компанией DeepMind от Google, которая смогла победить чемпиона мира по игре в го Ли Седоля.

Также изучались вопросы, связанные с применением машинного обучения для анализа неструктурированных данных.

Современные результаты в области машинного обучения

Итак, с помощью машинного обучения искусственный интеллект может выполнять такие задачи, как:

анализ данных,
запоминание информации,
составление различных прогнозов,
воспроизведение готовых моделей,
выбор наиболее подходящих вариантов из предложенных.

Искусственный интеллект по многим параметрам превосходит возможности человека, но по-прежнему не способен сам ставить себе новые задачи и решать их, подбирая нужные данные и условия.

В настоящее время машинное обучение постоянно развивается, позволяя создавать компьютеры, которые могут обучаться, т. е. они могут делать то, на что не были изначально запрограммированы. Это поможет эффективно использовать компьютеры при решении рутинных и затратных операций.

Таким образом, машинное обучение – это эффективная технология будущего, которая будет полезной в различных сферах нашей жизни, таких как образование, здравоохранение, бизнес, экономика и др.

Получи деньги за свои студенческие работы

Курсовые, рефераты или другие работы

Автор этой статьи Дата написания статьи: 01 09 2021

Сергей Андреевич Дремук

Автор24 - это сообщество учителей и преподавателей, к которым можно обратиться за помощью с выполнением учебных работ.

Читайте также: