Система кодирования лицевых движений реферат

Обновлено: 05.07.2024

Система кодирования лицевых движений ( FACS ) - это метод описания лицевых движений, разработанный психологами Полом Экманом и Уоллесом Фризеном в 1978 году. Она стала основным описательным инструментом, используемым в исследованиях мимики , например, в области аффективных наук . Эта номенклатура сама по себе вдохновлена ​​работой шведского анатома Карла-Хермана Хьортсьё, опубликованной в его книге по имитации лица.

Новаторская система кодирования действий для лица FM 3.0 (FM FACS 3.0) была создана в 2018 году доктором Фрейтас-Магальяйнсом и включает 4000 сегментов в формате 4K с использованием технологий 3D, 360 3D, автоматического распознавания и времени (FaceReader 7.1). FM FACS 3.0 включает 8 Pioneer Action Units (AU) и 22 Pioneer Language Movements (TM) в дополнение к функциональной и структурной номенклатуре. Движения лица делятся на единицы действия (или единицы действия , AU или AU во множественном числе).

Резюме

Заявление

В системе FACS лицевые сокращения или расслабления разбиты на единицы действия (или единицы действия , AU). Система FACS основана на описании 46 AU, обозначенных номерами в номенклатуре FACS. Например, UA 1 соответствует движению подъема бровей на уровне носа ( внутренний подъем бровей ). Каждая AU может соответствовать сокращению или расслаблению одной или нескольких мышц , что приводит к движению данной части лица. Таким образом, выражение лица, как и выражение страха, соответствует задействованию нескольких единиц действия. Например, в случае испуганного лица задействованные ЕД будут следующими: 1, поднять внутренние брови + 2, поднять наружные брови + 23, напряжение губ + 26, опустить нижнюю челюсть.

П. Экман, в частности, создал школу для обучения чтению эмоциональных выражений, даже неуловимых, присутствующих на лице ( микровыражения ). Например, можно было бы выделить два типа улыбок:

  • истинная улыбка означает также улыбку Дюшенна , непроизвольную, который включает в себя скуловую мышцу , а также округлую глазной мышцу ;
  • фальшивая улыбка , или социальная улыбка, или даже панамериканская улыбка , произвольная, при которой сокращается только скуловая мышца .

Таким образом, сокращение мышц вокруг глаз позволит отличить улыбку, отражающую действительно положительные эмоции, от улыбки обстоятельств.

Исследователи ограничились действиями на лице, чтобы связать их с универсальными эмоциями. К ним относятся EMFACS (система кодирования эмоциональных движений лица) и FACSAID (словарь интерпретации влияния системы кодирования движений лица).

Эмоции Единицы действия
Радость 6 + 12
Грусть 1 + 4 + 15
Сюрприз 1 + 2 + 5B + 26
Страх 1 + 2 + 4 + 5 + 20 + 26
Злость 4 + 5 + 7 + 23
Отвращение 9 + 15 + 16
Презрение R12A + R14A

Кодирование единиц действия АС

FACS - это кодирование мимики. Это также позволяет указать степень, интенсивность активации мышц.

Степень активации

Интенсивность FACS обозначается буквами от A до E (от минимальной до максимальной интенсивности) для каждого числа, соответствующего единице действия (например, AU 1A соответствует низкому уровню AU 1, а AU 1E соответствует максимальной интенсивности). .


Система кодирования лицевых движений (СКЛиД) (англ. Facial Action Coding System (FACS)) представляет собой систему для классификации выражений лица человека, изначально разработанную Полом Экманом и Уоллесом Фризеном в 1978 году.

Использование

Руководство СКЛиД изложено на более чем 500 страницах и представляет собой подробнейшее описание двигательных единиц и дескрипторов.

В то время как двигательные единицы являются независимыми от любой интерпретации, они могут быть использованы для любого принятия решения высшего порядка, включая распознавание эмоций.

СКЛиД разработана для самостоятельного обучения. С технологией можно познакомиться из ряда различных источников, включая руководства и семинары, а также стать сертифицированным специалистом, пройдя тестирование.

С использованием СКЛиД можно вручную закодировать практические любое, анатомически возможное выражение лица, деконструируя его на вызвавшие его конкретные двигательные единицы и их временные сегменты.

Например, СКЛиД может быть использована для определения двух типов улыбок следующим образом:

Хотя маркировка выражений лица в настоящее время и требует обученных экспертов, исследователи добились определённых успехов в использовании компьютеров для автоматической идентификации кодов СКЛиД, и тем самым быстрого определения типов эмоций. Компьютерные графические модели лица, такие как CANDIDE или Artnatomy, позволяют имитировать выражения лица, определяя показатели желаемых двигательных единиц.

Было предложено использовать СКЛиД для анализа степени депрессии, и для измерения боли у пациентов, которые не в состоянии говорить.

Был также разработан вариант СКЛиД для анализа мимики шимпанзе.

ЭмСКЛиД

П. Экман и У. Фризен так же разработали ЭмСКЛиД — Эмоциональную систему кодирования лицевых движений (англ. Emotion Facial Action Coding System (EmFACS)) и FACSAID (Facial Action Coding System Affect Interpretation Dictionary) которые рассматривает только лицевые движения, связанные с эмоциями. Например:

Звёздочка означает, что ДЕ в этой комбинации может быть любой интенсивности.

Коды двигательных единиц

СКЛиД фактически не предусматривает любую биомеханическую информацию о степени активации мышц, но основные мышцы, участвующие в формировании выражений лица, были добавлены сюда для удобства читателя.

Двигательные единицы (ДЕ) представляют собой основные движения, совершаемые отдельными мышцами или группой мышц.

Двигательные дескрипторы (ДД) представляют собой движения, совершаемые группами мышц (например, выдвигание нижней челюсти вперед). Мышечная основа для этих движений не указана.

Движение глаз и головы (М)

Оценивание интенсивности

Для обозначения интенсивности задействования ДЕ, в СКЛиД к номеру ДЕ добавляют латинские буквы с A по E, в зависимости от минимальной — максимальной интенсивности движения. Например, ДЕ 1А является самым трудноразличимым движением ДЕ 1, а ДЕ 1Е является максимально возможной интенсивностью для определенного человека.

  • A Слабо различимое
  • B Незначительное
  • C Заметное или ярко выраженное
  • D Сильное или крайне заметное
  • E Предельное

Симметричность

Двигательные единицы относительно воображаемой вертикальной оси лица могут быть:

  • Двусторонние, симметричные (B — bilateral). Например, (B)1.
  • Односторонние (U — unilateral). Например, U12, U14:
    • левая (L — left). Например, L12.
    • правая (R — right). Например, R14.

    Список двигательных единиц и двигательных дескрипторов (с указанием мышц)

    Основные коды

    Коды движений головы

    Коды движений глаз

    Коды видимости

    Коды общего поведения

    Эти коды зарезервированы для записи информации о поведении, которая может быть значимой для оцениваемых лицевых движений.


    1. Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models // Proc. European Conferense on Computer Vision 1998, Vol. 2, pp. 484–498, Springer, 1998.

    2. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement // Consulting Psychologists Press, Palo Alto, 1978.

    3. Friesen W., Ekman P. EMFACS-7: Emotional Facial Action Coding System // Unpublished manual, University of California, California, 1983.

    4. The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression // Lucey P., Cohn J.F., Kanade T., Saragih J., Ambadar Z., Matthews I.J. //Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference, P. 94–101, San Francisco, CA, 2010

    5. Widanagamaachchi W.N., Dharmaratne A. Emotion Recognizer: A neural network approach // 9th International Conference on Intelligent System Design and Applications, 2009.

    Помимо определенных выражений лица, человеческому мозгу доступен комплексный анализ – различные жесты, интонации голоса, изменение направления взгляда. При получении видеоизображения в информационной системе дополнительные данные недоступны, что приводит к повышению требований к качеству распознавания эмоций по лицу.

    Одной из ключевых задач системы распознаваний эмоций является выбор метрик лица, которые возможно получить с учетом существующих алгоритмов и общего развития информационных технологий. В сфере исследования кодирования лицевых эмоций существуют полноценные руководства, однако они не могут использоваться в автоматических системах распознавания без адаптации к ограничениям алгоритмов.

    Данная работа предоставляет полноценную систему кодирования, основанную на классической схеме кодирования движений лицевых мышц, и методику комплексного анализа результатов распознавания эмоций автоматической системой.

    Теоретическая часть

    Для адаптации к использованию в нейросетевой модели была выбрана Система кодирования лицевых движений (сокр. СКЛиД), разработанная Полом Экманом и Уоллесом Фризеном в 1978 г. [2]

    6 эмоций были выбраны для распознавания в качестве базовых:

    • радость;
    • удивление;
    • гнев;
    • отвращение;
    • печаль;
    • страх.

    Данный набор позволяет охватить наибольшее число реальных выражений лиц, так как другие эмоции являются естественным и более тонким развитием базовых.

    Основой СКЛиД являются двигательные единицы (сокр. ДЕ), которые позволяют закодировать любое анатомически возможное выражение лица. В проявлении эмоций участвуют не все мышцы, а лишь их небольшая часть. Основу каждой из базовых эмоций составляют 5–7 ДЕ, которые позволяют закодировать наиболее часто встречающиеся варианты выражения в так называемые прототипы:


    (1)

    Формула (1) является прототипом эмоции удивление. ДЕ выражены числами. Латинские буквы от А до Е, стоящие после чисел, определяют интенсивность движения от минимальной до максимальной соответственно. Нейросетевая модель проходит обучение на большом количестве изображений людей. Человеческое лицо обладает большой вариативностью, поэтому слабо различимые (код A) и незначительные (код В) изменения лицевых мышц попадают в допуск возможных значений и являются труднорегистрируемыми с достаточной долей достоверности. Поэтому для создания тестового набора нейронной сети были выбраны изображения эмоций со средней и выше степенью интенсивности.

    Алгоритмы поиска ключевых лицевых точек могут выделять до 80 значащих областей на лице. Как правило, это границы глаз, рта и бровей. В представлении данных алгоритмов ДЕ основных прототипов эмоций были поделены на 3 группы:

    1) статические ДЕ – возможно определение по фотографии;

    2) динамические ДЕ – необходимо отслеживать изменение положения ключевых точек на лице или иметь среднее значение расстояния по данной ДЕ;

    3) пустые ДЕ – активно участвуют в проявлении эмоций, однако не регистрируются алгоритмами поиска (например, ямочки на щеках).

    Уместны ли микровыражения в пользовательском тестировании?


    Меня неожиданно отправили в Испанию для проведения сеанса пользовательского тестирования системы, которая была спроектирована не мной. Я не знаю испанского языка, но мне обещали предоставить переводчика. Когда я оказался на месте, выяснилось, что переводчика у меня не будет. Однако была возможность видеосъемки лиц пользователей и их взаимодействия с тестируемой системой.

    Итак, что мы имеем? Я находился здесь без переводчика и какой-либо помощи, но от меня все еще требовалось сделать свою работу. Как же же мне получить результаты от сеанса пользовательского тестирования?

    Проанализировав увиденное, я пришел к выводу о том, что испанцы очень экспрессивны и при общении часто используют язык тела и мимики. Я не понимал слов, которые они произносили, однако применение разработанного Полом Экманом FACS метода (Facial Action Coding System — Система кодирования лицевых движений), позволило проанализировать их невербальное общение, а именно микровыражения. Благодаря одновременной съемке лиц пользователей и их взаимодействий с тестируемой системой, я мог связать их микровыражения с действиями.

    Я выяснил, что посредством невербального выражения своих эмоций пользователи сообщают не только о своем состоянии, но и об отношении к тестируемой системе, которое последует за этим состоянием.

    1. Микровыражения в пользовательском тестировании: плюсы и минусы

    Плюсы

    ✔ Расшифровка невербальной коммуникации не может быть выполнена инстинктивно и должна быть объективной (например, смех или слезы). Если вы думаете, что можете инстинктивно расшифровать эмоциональные состояния пользователей, помните, что даже эксперты метода FACS Пола Экмана, не смогли обнаружить и расшифровать все микровыражения испытуемого. Кэла Лайтмана из “Обмани меня” (примечание. сериал) не существует в реальной жизни.

    ✔ Пользователь, который знает, что за ним наблюдают, будет хранить молчание в отношении некоторых замечаний, которые он хотел бы высказать, и не будет свободно выражать свои эмоции. Полевое исследование (изучение людей в естественных условиях их повседневной жизни) всегда само по себе является социальной ситуацией.

    ✔ Особенность микровыражений заключается в их непроизвольности и бесконтрольности. Они выдают истинные эмоции пользователей.

    ✔ Многие выражения лица отражают универсальные эмоции. Они не меняются под воздействием культуры или языка.

    ✔ Микровыражения ограничены во времени. Очень короткие (по определению), их зачастую легко соотнести с конкретным взаимодействием, если поддержка исследования это позволяет.

    ✔ Показывая свои эмоциональные состояния, пользователи также сообщают о своей возможной реакции в ответ на эти состояния (уход, отклонение запроса и т.д.).

    ✔ Микровыражение может быть связано с эмоцией, а также (конечно, менее объективно) трактоваться в соответствии со шкалой интенсивности.

    ✔ Только наблюдение позволяет собирать информацию. Таким образом, этот метод сам по себе является ненавязчивым.

    Минусы

    ✘ Микровыражения трудно заметить невооруженным глазом. Необходимо использование видеозаписи лиц пользователей и их взаимодействий с тестируемой системой, а также тщательного просмотра.

    ✘ Анализ микровыражений похож на биологически активные добавки: не освобождает от применения полной методологии исследования.

    ✘ Как и любые эмпирические наблюдения в UX исследовании, они не являются выводами сами по себе и нуждаются в разъяснении.

    ✘ Человеческое лицо часто представляет собой совокупность выражений лица (пример удивления), что усложняет задачу расшифровки.

    ✘ Системы анализа микровыражений учитывают выражения лица, связанные только с эмоциями. Это говорит о том, что такой анализ построен в большей степени на эмоциональном опыте, чем функциональном, даже если можно связать их друг с другом.

    2. Коротко о расшифровке универсальных эмоций и микровыражений

    Универсальные эмоции Экмана

    Какая часть детерминизма (учение, согласно которому всё в этом мире происходит в силу предшествующих причин) находится в эмоциональном определении человека? Насколько общество и культура влияют на эти эмоции? Ответ на этот вопрос пытался найти Пол Экман, как и другие ученые до него. Благодаря своей работе, получившей известность во всем мире, Пол Экман сообщил, что некоторые эмоции являются общими для всего человечества.

    “Эмоции влияют на то, как мы смотрим на мир и как интерпретируем действия других”. — Пол Экман

    Согласно его работе, существует 7 таких универсальных эмоций:

    • Гнев;
    • Презрение;
    • Отвращение;
    • Счастье;
    • Страх;
    • Печаль;
    • Удивление.

    Подробнее об этих эмоциях можно узнать на специальной странице официального сайта Экмана. Каждой из этих эмоций соответствует выражение лица, которое можно распознать при помощи метода “Системы кодирования лицевых движений” того же автора.


    Система кодирования лицевых движений Экмана

    В методе Системы кодирования лицевых движений (FACS) Пола Экмана каждое движение лица (называемое AU (Action Unit): Единица действия) соответствует коду. Например, Опущенные брови = 4; Сморщенный нос = 9; Опущенные уголки губ = 15; Поднятый подбородок = 17…

    Эти AU можно объединять с другими. Таким образом, каждому микровыражению соответствует код, состоящий из совокупности нескольких AU. Например, Счастье кодируется как 6 + 12, где 6 = Поднятые щеки, а 12 = Поднятые уголки губ.

    Особенность данного подхода заключается в следующем: объект, на котором мы изучаем микровыражения, иногда демонстрирует совокупность нескольких выражений лица. Например, человек демонстрирует:

    • Поднятые щеки (6);
    • Поднятые уголки губ (12);
    • Опущенные брови (4).

    Это значит, что его выражение демонстрирует “Счастье”. Однако оно смешано со второй эмоцией. Код этого микровыражения будет следующий: 6 + 12 + 4, и его необходимо интерпретировать по-другому.

    Также при помощи метода “Системы кодирования лицевых действий” Пола Экмана можно кодировать интенсивность наблюдаемой Единицы Действия (AU). Для этого к номеру AU нужно добавить букву по шкале от A до E (A = Минимум, E = Максимум).

    3. Пример из практики: выводы из анализа и ограничения; как это происходит на самом деле

    Контекст и методология

    В тестировании приняли участие 7 пользователей (мужчины и женщины из Испании в возрасте от 20 до 40 лет), которые были распределены между 2-мя сценариями использования. Тестируемая система соблюдала конфиденциальность информации клиентов и представляла собой огромную онлайн-форму на сайте, предназначенном для компьютеров. Возможно, вы уже знаете применяемую методологию:

    • Протокол и реализация
    • Сбор данных
    • Анализ и рекомендации
    • Передача информации спонсорам и заинтересованным сторонам
    Реализация

    Пользователей разместили в 3-х комнатах, при участии двух испанских координаторов, чья деятельность не связана с UX. Они были предоставлены моим клиентом, которому я должен был быстро передать протокол и методологию. Вопросы, заданные в ходе тестирования, позволили нам собрать важную информацию. Из-за нехватки времени (на подготовку к тестированию было всего 2 дня) некоторым пользователям пришлось самостоятельно администрировать тест. Перед началом записи каждому пользователю была предоставлена ​​форма согласия. При этом я не планировал анализировать микровыражения пользователей.

    Я просто чувствовал, что придется сообщить клиенту об отмене тестирования из-за нехватки времени на его организацию и отсутствия помощи со стороны местного специалиста по исследованию. Это было до того, как я заметил микровыражения на видео.

    Анализ

    Всегда записывайте видео, когда это возможно! Просматривая видеозапись с тестирования, я заметил быстрые физические реакции пользователей при взаимодействии с тестируемой системой. Я поставил видео на паузу и пролистал кадры один за другим. Я заметил, что, хотя на протяжении всего тестирования у пользователей было общее спокойное, расслабленное выражение лица, на одном или двух кадрах появлялась очень яркая эмоция. Это усиленное проявление эмоций сопровождалось определенным взаимодействием:

    • разочарованием в новой странице;
    • реакцией или отсутствием реакции на нажатие кнопки.

    Это были микровыражения.

    Примечание: для одновременной записи экрана и лиц пользователей я использовал программу “Open Broadcaster Software”. Она позволяет размещать области на свое усмотрение, а также менять их размер, чтобы 2/3 на видео было отведено для захвата экрана (видео взаимодействий) и 1/3 — для лица пользователя.

    Дружеское напоминание: прежде чем снимать пользователей и записывать их действия — спросите разрешения, при помощи формы согласия ;)



    Микровыражение — это выражение эмоций с помощью лицевых мышц. Согласно работе Пола Экмана, поскольку микровыражения выдают реальное эмоциональное состояние человека, не подвергающееся социальной фильтрации — оно всегда очень короткое и длится менее полсекунды. По истечении этого времени человек начинает контролировать выражение своего лица, чтобы отфильтровать то, что оно сообщает. Это происходит потому, что социальное давление часто мешает нам свободно выражать негативные эмоции, такие как гнев или страх.

    Поэтому очень интересно наблюдать, как пользователи выдают свое истинное эмоциональное состояние менее, чем за полсекунды. Факт того, что это происходит — часто свидетельствует о многом.

    Обратите внимание, что пользователь может демонстрировать поддельные эмоции, которые не будут являться микровыражениями. Если эмоция длится дольше, чем половина секунды, то она не является микровыражением. Это выражение лица тоже имеет ценность, но нужно иметь в виду, что оно может быть искажено человеком, сознательно или нет, из соображений скромности или социального давления. Главная микровыражений — их невозможно подделать.

    Как только микровыражение было зафиксировано, можно (если среда исследования это позволяет) связать его с взаимодействием. Чтобы понять реакцию пользователя на конкретное взаимодействие, нужно выполнить следующие действия:

    • анализируем микровыражение;
    • выявляем эмоцию, которую оно передает;
    • определяем интенсивность этой эмоции.

    Если пользователь выражает гнев, это может быть результатом разочарования из-за невозможности выполнить задачу. Даже если пользователь не говорит о своем состоянии гнева, это необходимо учитывать.


    На одном кадре пользователь выражает страх при открытии переключателя в календаре. В течение 0,5 секунды сильный страх читался на опущенных бровях, рот также был опущен. Основная реакция на страх для пользователя — уйти.


    На другом кадре пользователь выражает печаль после 3 неудачных попыток проверки Captcha. Ее брови и уголки губ опустились.


    Еще одно микровыражение было обнаружено, когда один пользователь открыл слишком длинный раскрывающийся список. Мы могли видеть морщины на носу и отвращение в области рта. Отвращение к чтению говорит нам, что для этого пользователя это раскрывающееся меню является функциональным, но неэстетичным.



    На самом деле этого не было во время пользовательского тестирования, но иллюстрирует, как удивление может быть вызвано эмоциональным восприятием пользователя. Помните, что удивление редко бывает хорошей эмоцией для пользователей, оно часто связано со страхом.


    Система, которую мы тестировали, находилась в необработанном статусе “процесс не завершен”. Вот почему мы не заметили радости, но если бы мы её увидели, она могла быть в конце пользовательского опыта.

    В зависимости от эмоций, выражаемых пользователем, риск для системы бывает разным:

    • Раздраженный пользователь может потерять контроль и прервать сеанс тестирования. В крайних случаях он может даже сделать агрессивный жест в отношении своего устройства.
    • Пользователь, испытывающий отвращение, скорее всего, захочет покинуть систему. Отвращение чаще всего может быть вызвано неприятными сенсорными стимулами (зрительными, слуховыми, тактильными). При возникновении данной проблемы можно использовать методы, направленные на анализ этих сенсорных стимулов, которые могут их скорректировать.
    • Удивленный пользователь также может захотеть покинуть систему. Даже если за удивлением следуют положительные эмоции, сам факт неожиданности может впоследствии вызвать предчувствие страха, и в результате пользователь сохранит в памяти негативный опыт.
    • Выражение счастья на лице пользователей — единственное положительное проявление, которое можно проанализировать на основании работы Пола Экмана. В этом случае, элементы, идентифицированные как источники этого выражения счастья, должны быть сохранены.

    4. Момент истины: как отреагируют заинтересованные стороны и спонсоры?

    В качестве возмещения ущерба я отобразил на каждом слайде:

    • само микровыражение;
    • связанный с этим микровыражением код FACS;
    • объяснение контекста;
    • рекомендацию UX.


    В качестве возмещения я представил само микровыражение, связанный с ним код FACS, объяснение контекста и рекомендацию UX.

    В итоге я смог найти около 20 кадров, изображающих микро- или макро-выражения. Возмещение было очень хорошо воспринято бизнесом и спонсорами, которые увидели новаторский подход в этом процессе. А также потому, что моя команда UX дала им понять, что условия были действительно сложными для того, чтобы генерировать результаты из этого сеанса пользовательского тестирования.

    К сожалению, некоторые пользователи не смогли завершить свой сеанс тестирования из-за технических проблем, а другим пришлось самостоятельно администрировать тест, поэтому они пропустили несколько вопросов. Но благодаря анализу микровыражений мне все же удалось сгенерировать в общей сложности 18 рекомендаций, отсортированных по степени важности, и точно определить персонажей/персон с помощью перекрестных вопросов. Разработчики внедрили рекомендации в рамках бюджета проекта.

    Заключение

    Лишенный моих обычных инструментов и столкнувшись с языковым барьером анализ микровыражений стал методом, позволившим мне адаптироваться, а также ключом, который помог мне открыть новый подход к пользовательскому тестированию. Данный инструмент еще не приобрел всеобщую популярность и недостаточно представлен среди инструментов "классической" методологии, однако он имеет множество преимуществ. Вам по-прежнему необходимо иметь подходящее оборудование для одновременной съемки лиц и взаимодействий пользователей, а также их разрешение из этических соображений. Но я уверен, что этот подход скоро станет стандартом. Для меня это уже так.

    Читайте также: