Этика искусственного интеллекта реферат

Обновлено: 19.05.2024

Технологии машинного обучения уже давно и успешно применяются в самых разных сферах нашей жизни. Системы искусственного интеллекта ранжируют новостные ленты в соцсетях, прогнозируют погоду и даже управляют транспортными средствами. Эти и другие задачи они зачастую решают наравне с человеком или даже лучше него.

Медицину прогресс тоже не обошёл стороной. Уже сегодня существуют сервисы на базе технологий ИИ, которые способны решать различные медицинские задачи — от прогноза возникновения заболеваний до назначения лечения. К примеру, ИИ-сервис Цельс, разработанный нашей компанией, анализирует цифровые медицинские снимки и выявляет на них признаки различных патологий, в том числе онкологии на ранних стадиях.

Но несмотря на всю перспективность использования технологий ИИ в здравоохранении, их внедрение в реальную клиническую практику происходит очень медленно и осторожно. И это связано с тем, что медицина всегда была и остаётся крайне ответственной и консервативной отраслью, где цена ошибки слишком высока. Кроме того, применение искусственного интеллекта в медицине поднимает целый ряд новых этических вопросов, на которые человечеству только предстоит ответить.

Ошибки совершают все люди без исключения. Неудивительно, что созданный людьми искусственный интеллект тоже иногда их совершает. И если с врачебной ошибкой всё более или менее ясно — ответственность за неё всегда несёт тот, кто принял решение, — то с искусственным интеллектом зона ответственности всё ещё выглядит довольно размыто.

Представим такую ситуацию: врач в своей работе использовал систему искусственного интеллекта и не заметил неточность в сделанных ею выводах (а может, и вовсе не проверял их). В итоге произошла ошибка, которая имела негативные последствия для здоровья пациента — например, несвоевременно или неверно был поставлен диагноз. Кто в таком случае несёт ответственность? Разработчик системы? Или врач, который слепо доверился её выводам?

Связанная с этим проблема — так называемая предвзятость искусственного интеллекта. Её суть заключается в том, что машинное обучение постоянно ищет закономерности в данных, но не всегда находит верные паттерны, поскольку не видит общей картины.

Потенциал искусственного интеллекта велик, но заменить живое человеческое общение технологии не могут. Систему нельзя обучить состраданию и искренней моральной поддержке. А ведь доверительные отношения врача и пациента были и всегда будут залогом наилучшего результата лечения.

Но человеческое общение важно не только в таких тяжёлых с этической точки зрения ситуациях. Часто оно помогает решить настоящие медицинские загадки и в результате сохранить жизнь и здоровье пациента. Ава Рейзис — педиатр, инфекционист и гепатолог со стажем более 60 лет — рассказала несколько историй из своей врачебной практики, которые служат отличной демонстрацией того, какую важную роль играет в медицине доверительное человеческое общение.

Среди них — история о 15-летней девушке, которая лежала в больнице с тяжёлым гепатитом, от которого там же чуть не скончалась. Девушку тщательно обследовали, но так и не смогли выяснить причину возникновения заболевания. На консультации Ава Рейзис подробно расспрашивала пациентку и её маму о том, не принимала ли девушка какие-либо лекарства до того, как заболела. Врач перебрала все возможные варианты, от лечебных препаратов до травок для похудения, но девушка и её мама неизменно качали головой: нет, ничем не болела, никаких лекарств не принимала.

Уже потом, при доверительной беседе наедине с девушкой Ава выяснила, что у неё есть бойфренд и что для предохранения она использует оральные контрацептивы. А девушке просто-напросто не приходило в голову, что это тоже лекарство. Лишь тогда все пазлы в картине болезни сложились, поскольку причина развития заболевания была найдена — и это позволило врачам помочь пациентке и не допустить тяжёлых осложнений в будущем.

Мы убеждены, что в результате общественных дискуссий, совместных усилий исследователей, разработчиков и врачей острые углы в вопросах этики использования медицинского ИИ будут сглажены. В результате будут очерчены чёткие этические рамки, в которых искусственный интеллект будет применяться в медицине, помогая врачам повысить эффективность и результативность своей работы. Очевидно, что в будущем роль врача как куратора, психолога и просто Человека не только не потеряет свою актуальность, но и будет становиться ещё более важной.

Это наука и технология создания интеллектуальных машин и систем, особенно интеллектуальных компьютерных программ. Это связано с задачей использования компьютеров, чтобы понять человеческий интеллект, но при этом используемые методы не обязательно биологически правдоподобны. Но проблема состоит в том, что неизвестно какие вычислительные процедуры мы хотим называть интеллектуальными, а так же мы понимаем только некоторые механизмы интеллекта. Поэтому под интеллектом в пределах этой науки понимается только вычислительная часть способности достигать целей в мире

Происхождение и понимание термина „Искусственный интеллект“

Различные виды и степени интеллекта существуют у многих людей, животных и некоторых машин, интеллектуальных информационных систем и различных моделей экспертных систем с различными базами знаний. При этом, как видим, такое определение интеллекта не связано с пониманием интеллекта у человека — это разные вещи. Более того, эта наука моделирует человеческий интеллект, так как с одной стороны, можно изучить кое-что о том, как заставить машины решить проблемы, наблюдая других людей, а с другой стороны, большинство работ в ИИ касаются изучения проблем, которые требуется решать человечеству в промышленном и технологическом смысле. Поэтому ИИ-исследователи вольны использовать методы, которые не наблюдаются у людей, если это необходимо для решения конкретных проблем.

Именно в таком смысле термин ввел Джон Маккарти в 1956 году на конференции в Дартмутском университете, и до сих пор несмотря на критику тех, кто считает, что интеллект — это только биологический феномен, в научной среде термин сохранил свой первоначальный смысл, несмотря на явные противоречия с точки зрения человеческого интеллекта.

- нисходящий (англ. Top-Down AI ), семиотический — создание экспертных систем, баз знаний и систем логического вывода, имитирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д.;

- восходящий (англ. Bottom-Up AI ), биологический — изучение нейронных сетей и эволюционных вычислений, моделирующих интеллектуальное поведение на основе биологических элементов, а так же создание соответствующих вычислительных систем, таких как нейрокомпьютер или биокомпьютер.

Последний подход, строго говоря, не относится к науке о ИИ в смысле данном Джоном Маккарти — их объединяет только общая конечная цель.

Предпосылки развития науки искусственного интеллекта

История искусственного интеллекта как нового научного направления начинается в середине XX века. К этому времени уже было сформировано множество предпосылок его зарождения: среди философов давно шли споры о природе человека и процессе познания мира, нейрофизиологи и психологи разработали ряд теорий относительно работы человеческого мозга и мышления, экономисты и математики задавались вопросами оптимальных расчётов и представления знаний о мире в формализованном виде; наконец, зародился фундамент математической теории вычислений — теории алгоритмов — и были созданы первые компьютеры.

Подходы и направления

Подходы к пониманию проблемы

Единого ответа на вопрос чем занимается искусственный интеллект, не существует. Почти каждый автор, пишущий книгу об ИИ, отталкивается в ней от какого-либо определения, рассматривая в его свете достижения этой науки.

Тест Тьюринга и интуитивный подход

- Самый общий подход предполагает, что ИИ будет способен проявлять поведение, не отличающееся от человеческого, причём, в нормальных ситуациях. Эта идея является обобщением подхода теста Тьюринга, который утверждает, что машина станет разумной тогда, когда будет способна поддерживать разговор с обычным человеком, и тот не сможет понять, что говорит с машиной (разговор идёт по переписке).

Символьный подход

Исторически символьный подход был первым в эпоху цифровых машин, так как именно после создания Лисп, первого языка символьных вычислений, у его автора возникла уверенность в возможности практически приступить к реализации этим средствами интеллекта. Символьный подход позволяет оперировать слабоформализованными представлениями и их смыслами. От умения выделить только существенную информацию зависит эффективность и результативность решения задачи.

Но широта классов задач, эффективно решаемых человеческим разумом, требует невероятной гибкости в методах абстрагирования. А это недоступно при любом инженерном подходе, в котором исследователь выбирает методы решения, основываясь на способность быстро дать эффективное решение какой-то наиболее близкой этому исследователю задачи. То есть уже за реализованную в виде правил единственную модель абстрагирования и конструирования сущностей. Это выливается в значительные затраты ресурсов для непрофильных задач, то есть система от интеллекта возвращается к грубой силе на большинстве задач и сама суть интеллекта исчезает из проекта.

Основное применение символьной логики - это решение задач по выработке правил. Большинство исследований останавливается как раз на невозможности хотя бы обозначить новые возникшие трудности средствами выбранных на предыдущих этапах символьных системах. Тем более решить их и тем более обучить компьютер решать их или хотя бы идентифицировать и выходить из таких ситуаций.

Логический подход

Логический подход к созданию систем искусственного интеллекта направлен на создание экспертных систем с логическими моделями баз знаний с использованием языка предикатов.

Учебной моделью систем искусственного интеллекта в 1980-х годах был принят язык и система логического программирования Пролог. Базы знаний, записанные на языке Пролог, представляют наборы фактов и правил логического вывода, записанных на языке логических предикатов.

Логическая модель баз знаний позволяет записывать не только конкретные сведения и данные в форме фактов на языке Пролог, но и обобщенные сведения с помощью правил и процедур логического вывода и в том числе логических правил определения понятий, выражающих определённые знания как конкретные и обобщенные сведения.

В целом исследования проблем искусственного интеллекта в рамках логического подхода к проектированию баз знаний и экспертных систем направлено на создание, развитие и эксплуатацию интеллектуальных информационных систем, включая вопросы обучения студентов и школьников, а также подготовки пользователей и разработчиков таких интеллектуальных информационных систем.

Агентно-ориентированный подход

Последний подход, развиваемый с начала 1990-х годов называется агентно-ориентированным подходом , или подходом, основанным на использовании интеллектуальных (рациональных) агентов . Согласно этому подходу, интеллект — это вычислительная часть (грубо говоря, планирование) способности достигать поставленных перед интеллектуальной машиной целей. Сама такая машина будет интеллектуальным агентом, воспринимающим окружающий его мир с помощью датчиков, и способной воздействовать на объекты в окружающей среде с помощью исполнительных механизмов.

Этот подход акцентирует внимание на тех методах и алгоритмах, которые помогут интеллектуальному агенту выживать в окружающей среде при выполнении его задачи. Так, здесь значительно сильнее изучаются алгоритмы поиска пути и принятия решений.

Гибридный подход

Гибридный подход предполагает, что только синергетическая комбинация нейронных и символьных моделей достигает полного спектра когнитивных и вычислительных возможностей. Например, экспертные правила умозаключений могут генерироваться нейронными сетями, а порождающие правила получают с помощью статистического обучения. Сторонники данного подхода считают, что гибридные информационные системы будут значительно более сильными, чем сумма различных концепций по отдельности.

Модели и методы исследований

Символьное моделирование мыслительных процессов

Анализируя историю ИИ, можно выделить такое обширное направление как моделирование рассуждений . Долгие годы развитие этой науки двигалось именно по этому пути, и теперь это одна из самых развитых областей в современном ИИ. Моделирование рассуждений подразумевает создание символьных систем, на входе которых поставлена некая задача, а на выходе требуется её решение. Как правило, предлагаемая задача уже формализована, то есть переведена в математическую форму, но либо не имеет алгоритма решения, либо он слишком сложен, трудоёмок и т. п. В это направление входят: доказательство теорем, принятие решений и теория игр , планирование и диспетчеризация, прогнозирование.

Работа с естественными языками

Накопление и использование знаний

Согласно мнению многих учёных, важным свойством интеллекта является способность к обучению. Таким образом, на первый план выходит инженерия знаний , объединяющая задачи получения знаний из простой информации, их систематизации и использования. Достижения в этой области затрагивают почти все остальные направления исследований ИИ. Здесь также нельзя не отметить две важные подобласти. Первая из них — машинное обучение — касается процесса самостоятельного получения знаний интеллектуальной системой в процессе её работы. Второе связано с созданием экспертных систем — программ, использующих специализированные базы знаний для получения достоверных заключений по какой-либо проблеме.

К области машинного обучения относится большой класс задач на распознавание образов . Например, это распознавание символов, рукописного текста, речи, анализ текстов. Многие задачи успешно решаются с помощью биологического моделирования Особо стоит упомянуть компьютерное зрение , которое связано ещё и с робототехникой.

Биологическое моделирование искусственного интеллекта

Отличается от понимания искусственного интеллекта по Джону Маккарти, когда исходят из положения о том, что искусственные системы не обязаны повторять в своей структуре и функционировании структуру и протекающие в ней процессы, присущие биологическим системам, сторонники данного подхода считают, что феномены человеческого поведения, его способность к обучению и адаптации, есть следствие именно биологической структуры и особенностей ее функционирования.

Робототехника

Вообще, робототехника и искусственный интеллект часто ассоциируется друг с другом. Интегрирование этих двух наук, создание интеллектуальных роботов, можно считать ещё одним направлением ИИ. Примером интеллектуальной робототехники могут служить игрушки-роботы Pleo, AIBO, QRIO.

Машинное творчество

Природа человеческого творчества ещё менее изучена, чем природа интеллекта. Тем не менее, эта область существует, и здесь поставлены проблемы написания компьютером музыки,литературных произведений (часто — стихов или сказок), художественное творчество. Создание реалистичных образов широко используется в кино и индустрии игр.

Добавление данной возможности к любой интеллектуальной системе позволяет весьма наглядно продемонстрировать что именно система воспринимает и как это понимает. Добавлением шума вместо недостающей информации или фильтрация шума имеющимися в системе знаниями производит из абстрактных знаний конкретные образы, легко воспринимаемые человеком, особенно это полезно для интуитивных и малоценных знаний, проверка которых в формальном виде требует значительных умственных усилий.

Другие области исследований

Наконец, существует масса приложений искусственного интеллекта, каждое из которых образует почти самостоятельное направление. В качестве примеров можно привести программирование интеллекта в компьютерных играх, нелинейное управление, интеллектуальные системы информационной безопасности.

Можно заметить, что многие области исследований пересекаются. Это свойственно для любой науки. Но в искусственном интеллекте взаимосвязь между, казалось бы, различными направлениями выражена особенно сильно, и это связано с философским спором о сильном и слабом ИИ.

Современный искусственный интеллект

Положение дел

В настоящий момент в создании искусственного интеллект наблюдается вовлечение многих предметных областей, имеющих хоть какое-то отношение к ИИ. Многие подходы были опробованы, но к возникновению искусственного разума ни одна исследовательская группа так и не подошла.

Исследования ИИ влились в общий поток технологий сингулярности (видового скачка, экспоненциального развития человека), таких как информатика, экспертные системы, нанотехнология, молекулярная биоэлектроника, теоретическая биология, квантовая теория.

Применение

Некоторые из самых известных ИИ-систем:

- Deep Blue — победил чемпиона мира по шахматам. Матч Каспаров против суперЭВМ не принёс удовлетворения ни компьютерщикам, ни шахматистам, и система не была признана Каспаровым. Затем линия суперкомпьютеров IBM проявилась в проектах brute force BluGene (молекулярное моделирование) и моделирование системы пирамидальных клеток в швейцарском центре Blue Brain.

- MYCIN — одна из ранних экспертных систем, которая могла диагностировать небольшой набор заболеваний, причем часто так же точно, как и доктора.

- Распознавание речи. Системы такие как ViaVoice способны обслуживать потребителей.

- Роботы в ежегодном турнире RoboCup соревнуются в упрощённой форме футбола.

Банки применяют системы искусственного интеллекта (СИИ) в страховой деятельности (актуарная математика) при игре на бирже и управлении собственностью. Методы распознавания образов (включая, как более сложные и специализированные, так и нейронные сети) широко используют при оптическом и акустическом распознавании (в том числе текста и речи), медицинской диагностике, спам-фильтрах, в системах ПВО (определение целей), а также для обеспечения ряда других задач национальной безопасности.

Перспективы

Можно выделить два направления развития ИИ:

1. решение проблем, связанных с приближением специализированных систем ИИ к возможностям человека, и их интеграции, которая реализована природой человека.

2. создание искусственного разума, представляющего интеграцию уже созданных систем ИИ в единую систему, способную решать проблемы человечества.

Связь с другими науками

Искусственный интеллект вместе с нейрофизиологией , эпистемологией и когнитивной психологией образует более общую науку, называемую когнитология . Отдельную роль в искусственном интеллекте играет философия .

Также, с проблемами искусственного интеллекта тесно связана эпистемология — наука о знании в рамках философии. Философы, занимающиеся данной проблематикой, решают вопросы, схожие с теми, которые решаются инженерами ИИ о том, как лучше представлять и использовать знания и информацию.

Производство знаний из данных — одна из базовых проблем интеллектуального анализа данных. Существуют различные подходы к решению этой проблемы, в том числе — на основе нейросетевой технологии, использующие процедуры вербализации нейронных сетей.

Компьютерные технологии и кибернетика

В компьютерных науках проблемы искусственного интеллекта рассматриваются с позиций проектирования экспертных систем и баз знаний. Под базами знаний понимается совокупность данных и правил вывода, допускающих логический вывод и осмысленную обработку информации. В целом исследования проблем искусственного интеллекта в компьютерных науках направлено на создание, развитие и эксплуатацию интеллектуальных информационных систем, а вопросы подготовки пользователей и разработчиков таких систем решаются специалистами информационных технологий.

Психология и когнитология

Методология когнитивного моделирования предназначена для анализа и принятия решений в плохо определенных ситуациях. Была предложена Аксельродом.

Основана на моделировании субъективных представлений экспертов о ситуации и включает: методологию структуризации ситуации: модель представления знаний эксперта в виде знакового орграфа (когнитивной карты) (F, W), где F — множество факторов ситуации, W — множество причинно-следственных отношений между факторами ситуации; методы анализа ситуации. В настоящее время методология когнитивного моделирования развивается в направлении совершенствования аппарата анализа и моделирования ситуации. Здесь предложены модели прогноза развития ситуации; методы решения обратных задач.

Философия

Течение трансгуманизма считает создание ИИ одной из важнейших задач человечества.

Вопросы создания ИИ

Среди исследователей ИИ до сих пор не существует какой-либо доминирующей точки зрения на критерии интеллектуальности, систематизацию решаемых целей и задач, нет даже строгого определения науки. Существуют разные точки зрения на вопрос, что считать интеллектом. Аналитический подход предполагает анализ высшей нервной деятельности человека до низшего, неделимого уровня (функция высшей нервной деятельности, элементарная реакция на внешние раздражители (стимулы), раздражение синапсов совокупности связанных функцией нейронов) и последующее воспроизведение этих функций.

Более того, такая программа будет не просто моделью разума; она в буквальном смысле слова сама и будет разумом, в том же смысле, в котором человеческий разум — это разум

Напротив, сторонники слабого ИИ предпочитают рассматривать программы лишь как инструмент, позволяющий решать те или иные задачи, которые не требуют полного спектра человеческих познавательных способностей.

Мышление есть процесс обработки находящейся в памяти информации: анализ, синтез и самопрограммирование.

Существует разумный критерий отбора наиболее вероятных гипотез будущего развития (в том числе появления ИИ) — внимательное изучение развития в прошлом. В данном случае, имеет смысл обратиться к истории появления первых нервных клеток в многоклеточных организмах:

Первые нейроноподобные клетки появились из обычных клеток наружных слоёв первобытных многоклеточных организмов. Постепенно они мигрировали внутрь организма.

ИИ (точнее электронную личность) создадут на основе человеческой личности, что будет сходно с процессом появления нервной клетки в результате трансформации обычной клетки.

Этика

- Если в будущем машины смогут рассуждать, осознавать себя и иметь чувства, то что тогда делает человека человеком, а машину — машиной?

ИИ и общество

Религия

По мнению многих буддистов ИИ возможен. Так, духовный лидер далай-лама XIV не исключает возможности существования сознания на компьютерной основе.

Раэлиты активно поддерживают разработки в области искусственного интеллекта.

Научная фантастика

Некоторые научные фантасты, например Вернор Виндж, также размышляли над последствиями появления ИИ, которое, по-видимому, вызовет резкие драматические изменения в обществе. Такой период называют технологической сингулярностью.

Одни из самых глубоких исследований проблематики ИИ проявляются в творчестве фантаста и философа Станислава Лема.

Искусственный интеллект врывается в нашу жизнь. В будущем, наверное, все будет классно, но пока возникают кое-какие вопросы, и все чаще эти вопросы затрагивают аспекты морали и этики. Можно ли издеваться над мыслящим ИИ? Когда он будет изобретен? Что мешает нам уже сейчас написать законы робототехники, вложив в них мораль? Какие сюрпризы преподносит нам машинное обучение уже сейчас? Можно ли обмануть машинное обучение, и насколько это сложно?

Есть две разных вещи: Сильный и Слабый ИИ.
Сильный ИИ (true, general, настоящий) — это гипотетическая машина, способная мыслить и осознавать себя, решать не только узкоспециализированные задачи, но и еще и учиться чему-то новому.

Про Сильный ИИ еще неизвестно, будет ли он вообще когда-нибудь изобретен. С одной стороны, до сих пор технологии развивались с ускорением, и если так пойдет и дальше, то осталось лет пять.

С другой стороны, мало какие процессы в природе в действительности протекают по экспоненте. Гораздо чаще все-таки мы видим логистическую кривую.

Когда экспертов опрашивают, выясняется, что в среднем ждать еще лет 45.

Что любопытно, североамериканские ученые считают, что ИИ превзойдет человека через 74 года, а азиатские — что всего через 30. Возможно в Азии они что-то такое знают…

Эти же ученые предсказывали, что машина будет переводить лучше человека к 2024 году, писать школьные сочинения — к 2026-му, водить грузовики — к 2027-му, играть в Го — тоже к 2027-му. С Го уже промашка вышла, ведь этот момент наступил в 2017-м, всего через 2 года после прогноза.

Хоть Сильный ИИ ждать долго, но мы точно знаем, что этических проблем будет хватать. Первый класс проблем — мы можем обидеть ИИ. Например:

Второй класс этических проблем — ИИ может обидеть нас. Сотни таких примеров можно найти в фильмах и книгах. Как объяснить ИИ, чего же мы от него хотим? Люди для ИИ — как муравьи для рабочих, строящих плотину: ради великой цели можно и раздавить парочку.

Научная фантастика играет с нами злую шутку. Мы привыкли думать, что Скайнет и Терминаторов пока нет, и будут они нескоро, а пока можно расслабиться. ИИ в фильмах часто вредоносный, и мы надеемся, что в жизни такого не будет: ведь нас же предупредили, и мы не такие глупые, как герои фильмов. При этом в мыслях о будущем мы забываем хорошо подумать о настоящем.

Так как мы учим машину решать конкретную задачу, то полученная математическая модель (так называется алгоритм) не может внезапно захотеть поработить/спасти человечество. Нормально делай — нормально будет. Что же может пойти не так?

Во-первых, сама решаемая задача может быть недостаточно этичной. Например, если мы при помощи машинного обучения учим дронов убивать людей.

Как раз недавно по этому поводу разгорелся небольшой скандал. Компания Google разрабатывает программное обеспечение, используемое для пилотного военного проекта Project Maven по управлению дронами. Предположительно, в будущем это может привести к созданию полностью автономного оружия.

Источник

Так вот, минимум 12 сотрудников Google уволились в знак протеста, еще 4000 подписали петицию с просьбой отказаться от контракта с военными. Более 1000 видных ученых в области ИИ, этики и информационных технологий написали открытое письмо с просьбой к Google прекратить работы над проектом и поддержать международный договор по запрету автономного оружия.

Ну, а еще иногда и само общество не заинтересовано, чтобы полученный алгоритм был образцом морали. Например, есть компромисс между скоростью движения транспорта и смертностью на дорогах. Мы могли бы сильно снизить смертность, если бы ограничили скорость движения до 20 км/ч, но тогда жизнь в больших городах была бы затруднительна.

Выходит, что этические вопросы должны быть среди целей системы изначально.

С этикой одна проблема — ее сложно формализовать. В разных странах разная этика. Она меняется со временем. Например, по таким вопросам, как права ЛГБТ и межрасовые/межкастовые браки, мнение может существенно измениться за десятилетия. Этика может зависеть от политического климата.

Например, в Китае контроль за перемещением граждан при помощи камер наружного наблюдения и распознавания лиц считается нормой. В других странах отношение к этому вопросу может быть иным и зависеть от обстановки.

Представьте систему на базе машинного обучения, которая советует вам, какой фильм посмотреть. На основе ваших оценок, выставленных другим фильмам, и путем сопоставления ваших вкусов со вкусами других пользователей система может довольно надежно порекомендовать фильм, который вам очень понравится.

Если вы скажете, что такое воздействие алгоритмов на людей — это даже хорошо, то вот другой пример. В Китае готовится к запуску Система социального рейтинга — система оценки отдельных граждан или организаций по различным параметрам, значения которых получают с помощью инструментов массового наблюдения и используя технологию анализа больших данных. Если человек покупает подгузники — это хорошо, рейтинг растет. Если тратит деньги на видеоигры — это плохо, рейтинг падает. Если общается с человеком с низким рейтингом, то тоже падает.

В итоге выходит, что благодаря Системе граждане сознательно или подсознательно начинают вести себя по-другому. Меньше общаться с неблагонадежными гражданами, больше покупать подгузников и т. п.

Помимо того, что мы порой сами не знаем, чего хотим от алгоритма, существует еще и целая пачка технических ограничений.

Алгоритм впитывает несовершенство окружающего мира. Если в качестве обучающей выборки для алгоритма по найму сотрудников использовать данные из компании с расистскими политиками, то алгоритм тоже будет с расистским уклоном.

В Microsoft однажды учили чат-бота общаться в Twitter’е. Его пришлось выключить менее чем через сутки, потому что бот быстро освоил ругательства и расистские высказывания.

Кроме этого, алгоритм при обучении не может учесть какие-то неформализуемые параметры. Например, при расчете рекомендации подсудимому — признать или не признать вину на основе собранных доказательств, алгоритму сложно учесть, какое впечатление такое признание произведет на судью, потому что впечатление и эмоции нигде не записаны.

Ложная корреляция — это когда кажется, что чем больше пожарных в городе, тем чаще пожары. Или когда очевидно, что чем меньше пиратов на Земле, тем теплее климат на планете.

Так вот — люди подозревают, что пираты и климат не связаны напрямую, и с пожарными не все так просто, а матмодель машинного обучения просто заучивает и обобщает.

Известный пример. Программа, которая расставляла больных по очереди по срочности оказания помощи, пришла к выводу, что астматикам с пневмонией помощь нужна меньше, чем просто людям с пневмонией без астмы. Программа посмотрела на статистику и пришла к выводу, что астматики не умирают — зачем им приоритет? А не умирают они на самом деле потому, что такие больные тут же получают лучшую помощь в медицинских учреждениях в связи с очень большим риском.

Иными словами, если расовая дискриминация — фактор ареста, то петли обратной связи могут усилить и увековечить расовую дискриминацию в деятельности полиции.

Но сказать-то легко, а что же делать?

Во-первых, матмодели машинного обучения тяжело тестировать и подправлять. Вот, например, приложение Google Photo распознавало людей с черным цветом кожи как горилл. И как быть? Если обычные программы мы читаем по шагам и научились их тестировать, то в случае машинного обучения все зависит от размера контрольной выборки, и она не может быть бесконечной. За три года Google не смогли придумать ничего лучше, кроме как выключить распознавание горилл, шимпанзе и обезьян вовсе, чтобы не допускать повторения ошибки.

Во-вторых, нам сложно понять и объяснить решения машинного обучения. Например, нейронная сеть как-то расставила внутри себя весовые коэффициенты, чтобы получались правильные ответы. А почему они получаются именно такими и что сделать, чтобы ответ поменялся?

Исследование 2015 года показало, что женщины гораздо реже, чем мужчины, видят рекламу высокооплачиваемых должностей, показываемую Google AdSense. Сервис доставки в тот же день от Amazon был регулярно недоступен в черных кварталах. В обоих случаях представители компаний затруднились объяснить такие решения алгоритмов.

Безопасность людей — наивысший приоритет по сравнению с уроном животным или собственности.
В случае неизбежной аварии не должно быть никакой дискриминации, ни по каким факторам недопустимо различать людей.

Очевидно, что мы будем все больше и больше полагаться на машинное обучение — просто потому, что оно в целом будет справляться лучше людей.

И тут мы подходим к не меньшей напасти, чем предвзятость алгоритмов — ими можно манипулировать.

Отравление машинного обучения (ML poisoning) означает, что если кто-то принимает участие в обучении матмодели, то он может влиять на принимаемые матмоделью решения.

Например, в лаборатории по анализу компьютерных вирусов матмодель ежедневно обрабатывает в среднем по миллиону новых образцов (чистых и вредоносных файлов). Ландшафт угроз постоянно меняется, поэтому изменения в модели в виде обновлений антивирусных баз доставляются в антивирусные продукты на стороне пользователей.

Другой пример, пока вымышленный. В систему распознавания лиц можно добавлять специально сгенерированные лица, чтобы в итоге система стала путать вас с кем-то другим. Не надо думать, что это невозможно, взгляните на картинку из следующего раздела.

Отравление — это воздействие на процесс обучения. Но необязательно участвовать в обучении, чтобы получить выгоду — обмануть можно и готовую матмодель, если знать, как она устроена.

Надев специально раскрашенные очки, исследователи выдали себя за других людей — знаменитостей

Даже там, где, казалось бы, нет ничего сложного, машину легко обмануть неведомым для непосвященного способом.

Причем для того, чтобы матмодель машинного обучения признала капитуляцию, необязательно вносить существенные изменения, достаточно минимальных невидимых человеку правок.

Если к панде слева добавить минимальный специальный шум, то машинное обучение будет уверено, что это гиббон

Давайте подытожим, что мы успели обсудить.

Проанализированы основные проблемы морально-этического характера, возникающие в связи с развитием теории искусственного интеллекта. Особое внимание уделено неуниверсальности законов робототехники и тем опасностям, которыми чревато для человечества развитие искусственного интеллекта. Рассмотрено понятие дружественного искусственного интеллекта и проблемные вопросы робоэтики.

Ключевые слова: мораль, искусственный интеллект, трансгуманизм, робоэтика, дружественный искусственный интеллект.

The basic moral and ethical problems of the theory of artificial intelligence are analysed. Special attention is paid to the non-universality of the laws of robotics and the dangers posed by the artificial intelligence to humanity. The concept of the friendly AI and the main issues of roboethics are considered.

Keywords: morality, artificial intelligence, transhumanism, roboethics, friendly artificial intelligence.

Компьютеризация практически всех сфер жизнедеятельности человека как существенно изменила способ его бытия, так и влияет на его внутренний духовный мир. Поэтому целесообразно говорить не только о технических, экономических, технологических аспектах компьютеризации, но и о ее морально-этическом аспекте, в особенности когда возникает возможность разработки таких компьютерных программ, которые могли бы поспособствовать проявлению искусственного интеллекта. Многие разработчики убеждены, что создание искусственного интеллекта является насущной потребностью сегодняшнего дня, впрочем, значительно меньшее их число задумывается над тем, какими опасностями нравственного характера грозит такая перспектива. Среди исследователей, все же обращающих внимание на морально-этическую проблематику теории искусственного интеллекта, можно выделить имена А. Азимова [1–2], Р. Курцвейля [5], Дж. Веруджио [7–8], Дж. Вейценбаума [9], Э. Юдковского [11]. К сожалению, многие из высказанных ими суждений уже сейчас нуждаются в дополнении и переосмыслении. Поэтому целью данной статьи является логико-критическое исследование морально-этической проблематики, активно формирующейся сегодня в связи с развитием теории искусственного интеллекта. Для реализации поставленной цели следует, по нашему мнению, в первую очередь обратить внимание на следующие вопросы: во-первых, как новейшие инновационные технологии (в т. ч. искусственный интеллект) будут влиять на психофизическое состояние человека; во-вторых, какие этические нормы должны стать нормами поведения роботов; в-третьих, как сделать так, чтобы разработки искусственного интеллекта были дружественными к своим создателям.

Дж. Вейценбаум [9] критически высказался о возможности привлечения искусственного интеллекта к принятию тех решений, которые требуют таких человеческих способностей, как сопереживание и рассудительность. Дело в том, что компьютер проводит вычисления, а не принимает решения — он не прилагает для этого морально-волевых усилий. Замена людей носителями искусственного интеллекта может привести к внутреннему отчуждению, душевному дискомфорту и разочарованию, ведь общение с роботами лишено чувственности, интимного уровня коммуникации. Робот не может стать нашим alter ego, поскольку он способен лишь симулировать поведение человека. Но все же открытым остается вопрос, не смогут ли в будущем разработчики искусственного интеллекта обойти и эти препятствия, кажущиеся в наше время непреодолимыми.

2. Asimov, I. Foundation and Earth. — New York: Spectra, 2004. — 528 p.

4. Fukuyama, F. The World’s Most Dangerous Ideas: Transhumanism // Foreign Policy. — 2004. — № 144. — P. 42–43.

5. Kurzweil, R. The Singularity Is Near: When Humans Transcend Biology. — New York: Penguin Books, 2005. — 672 p.

6. Tennison, M. Moral transhumanism: the next step // The Journal of Medicine and Philosophy. — 2012. — № 37 (4). — P. 405–416.

9. Weizenbaum, J. Computer Power and Human Reason: From Judgement to Calculation. — New York: W. H. Freeman & Company, 1976. — 300 p.

11. Yudkowsky, E. Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures. — San Francisco: The Singularity Institute, 2001. — 278 p.

Основные термины (генерируются автоматически): искусственный интеллект, отдельный человек, робот, развитие теории, дружественный искусственный интеллект, поколение роботов, прямая угроза, самое дело, улучшение жизни, человеческая жизнь.

Ключевые слова

искусственный интеллект, мораль, трансгуманизм, робоэтика, дружественный искусственный интеллект., дружественный искусственный интеллект