Технология захвата движения сообщение

Обновлено: 28.06.2024

Сама технология Motion Capture появилась на свет вместе с Mortal Kombat. Что именно Acclaim первой пришла в голову идея облепить актеров проводами и заставить плясать перед камерами, а отснятый материал перевести потом в цифровой вид и вставить в игру. Вы тоже так думали, не правда ли? Причем, если вы достаточно давно играете в компьютерные игры, то скорее всего вспомните великолепный файтинг фирмы Acclaim — Mortal Kombat.

В Mortal Kombat’е Motion Capture впервые пришел в игры — а у самой технологии есть долгая и интересная история, компьютеры в которой, кстати, присутствуют далеко не с первых дней .

В начале 80-х медики в американских институтах стали применять компьютеры для исследования человеческого тела. Том Калверт, профессор кинезиологии и компьютерных наук предложил использовать потенциометры, прикрепляя их к различным суставам на человеческом теле. Компьютер измерял данные приборов и показывал на экране двигающийся скелет человека. Калверт использовал свое изобретение для наглядной изучения кинематики человеческого организма, дефектов мускулатурной системы, а также для . демонстрации па-де-де в хореографических классах.

Чуть позже, в 1982-83 году, компьютерные установки, отслеживающие движения человека, стали использовать в компьютерной графике. Первые комплексы Motion Capture были оптическими. Принцип их работы был следующим: на теле актера в местах сочленений и суставов крепились маленькие лампочки или же обычные светоотражающие элементы (наподобие велосипедных катафот), после чего движения фигуры снимались на камеру. Для получения объемного изображения актера снимали двумя камерами, под разными углами. Совмещая координаты одной и той же лампочки, полученные с двух камер, можно было достаточно точно вычислить месторасположение точки в пространстве. Такие оптические системы были весьма медленными и неточными. К тому же, отснятый материал требовал дополнительной обработки и фильтрации .

А потом . потом, в 1993 году появился Mortal Kombat. Процесс Motion Capture осуществляли с использованием оптической технологии, шестью различными камерами [5].

Сейчас Motion Capture используют в играх все кому не лень. Трехмерные файтинги а-ля Tekken, сексапильные движения попки а-ля Лара Крофт, реалистичная мимика лица а-ля Half-Life — все это, и много другое, — Motion Capture.

Как Марк Руффало становится Халком

Как и все, что нам кажется последним словом технологии, motion capture, сокращенно — mocap, или мо-кап, появился относительно давно. Первые серьезные эксперименты с ним относятся к началу 1980-х годов — времени, когда возникло само понятие компьютерных спецэффектов, а стереокинематограф переживал очередной ренессанс. Правда, в кино применять мо-кап было невозможно — мощности того времени не позволяли создать достоверные цифровые модели, которым можно было бы придать записанные движения актеров. Так что мо-кап оставался уделом отдельных смелых экспериментаторов из небольших венчурных компаний и американских университетов, о которых можно прочитать в материалах конференции SIGGRAPH, важнейшей мировой выставки компьютерной графики.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений.

Оптические пассивные. На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет (инфра-красный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера. Минус оптических пассивных систем заключается в длительности размещения маркеров на актёре. Так же иногда при быстром движении или близком расположении маркеров друг к другу система может их путать (поскольку эта технология не предусматривает идентификации каждого маркера по отдельности).
Оптические активные названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается ID (идентификатор), что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами. Минусы активных систем:
- Отсутствие возможности захвата движений и мимики лица
- Дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения
- Хрупкость и относительно высокая стоимость маркеров-светодиодов
Магнитные системы, в которых маркерами являются магниты, а камерами — ресиверы, система высчитывает их позиции по искажениям магнитного потока. Минусы магнитных систем:
- Магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения (электропроводки помещения, оргтехники, арматуры в плитах строения)
- Переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне
- Меньшая по сравнению с оптическими системами рабочая зона
- Отсутствие возможности захвата движений и мимики лица
- Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
- Высокая стоимость магнитных маркеров
Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический mocap-скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов. Минусы механических систем:
- Mocap-скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра.
- Отсутствие возможности захвата:
  - Движений и мимики лица
  - Движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.)
  - Движений на полу — кувырки, падения и т. д.
- Риск поломки механики при неосторожном использовании.
Гироскопические / инерциальные системы для сбора информации о движении используют миниатюрные гироскопы и инерциальные сенсоры, расположенные на теле актёра — также как и маркеры или магниты в других mocap-системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона. Минусы гироскопических / инерциальных систем :
- Отсутствие возможности захвата движений и мимики лица
- Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
- Высокая стоимость гироскопов и инерциальных сенсоров
- Для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная)

Команда Питера Джексона сделала практически невозможное — воспроизвели пугающе достоверную модель, которая имитировала настолько верные движения, насколько они характерны для этого персонажа. Конечно большая заслуга актера motion capture -Энди Сёркиса, который и сыграл Голлума.

Также существует два типа захвата объектов:

Но при всех видимых преимуществах motion capture (реалистичная анимация, совмещение 3D моделей с актерами в реальном времени), есть конечно и недостатки. Это дорогая стоимость систем, ограничения законами физики, малая площадь павильона и разнообразие движений.

Как говорит Ландау, специалисты умеют создавать воду, используя компьютерную графику, но невозможно создать полную иллюзию нахождения под водой, если у актера нет прямого ощущения контакта с жидкой средой. Именно поэтому, Кэмерон собирается снимать актеров находящихся в бассейне, наполненном настоящей водой.

Предлагаю вам посмотреть на то, проходят съемки очередной серии «Звездных войн 7″ на примере нескольких анимированных гифок в продолжении поста. Если вы думаете, что для всех локаций из кинофильма специально производятся дорогостоящие декорации и съемочная группа вынуждена все время перемещаться по гигантской съемочной площадке, вы сильно ошибаетесь.

В первой части материала мы вместе со специалистами разбираем современное состояние одной из важнейших технологий в индустрии развлечений и специфику работы с ней.

В недавнем видео мы уже рассказывали о зарождении технологии захвата движения и о том, как она устроена. В рунете также полно материалов об истории создания мокапа и его лучших воплощениях в кино. Но что стоит за костюмами для захвата движения и как широко может применяться технология? Попробуем разобраться в тонкостях работы с мокапом вместе с экспертами из индустрии: мокап-аниматором Сергеем Лобанковым, руководителем студии Watt Сергеем Томским и специалистом компании Mocap Tech Иваном Кириенко. Первая часть двухсерийного материала посвящена эволюции технологии и специфике работы с ней.

Следующий большой шаг в сторону мокапа — оцифровка изображения. Яркий пример — серия Mortal Kombat, для создания которой снимали реальных бойцов и актёров на фоне хромакея, после чего полученные кадры оцифровывали. Система и принцип работы актёров с тех времён остались примерно теми же — монотонный длительный процесс записи однообразных движений, во время которого нельзя выходить из образа. Авторы Mortal Kombat позже даже ввели шуточного секретного персонажа под названием Мокап, который выглядит как обычный актёр в костюме для захвата движений.

Впервые же именно технология захвата движения была использована тоже в файтингах и по тому же принципу — в играх Rise of Robots, Soul Edge и Virtua Fighter 2, которые использовали CGI-спрайты вместо классического пиксель-арта и отличались 3D-анимацией.

Первой, кто сделал всю игровую анимацию полностью на основе технологии Motion Capture, стала студия Quantic Dream, выпустившая в 2005-м году Fahrenheit. Вместе с этим родилось целое направление кинематографичных игр, кульминацией которых является недавняя Death Stranding.

Важным прорывом как для игр, так и для мокапа в целом стало изобретение системы MotionScan во время разработки L.A. Noire. Один из важных элементов игры — это умение распознать ложь по мимике персонажей. Поэтому перед разработчиками встала непростая задача максимально точно передать движения лицевых мышц актёров. На создание прорывной технологии понадобилось семь лет — зато с тех пор актёрам не требуется носить маркеры на лице, ведь всю мимику одновременно сканируют 32 камеры.

Современные движки, вроде Unreal Engine 4 упрощают и ускоряют работу над мокапом, потому что помогают в предвизуализации и позволяют сразу увидеть всю сцену. Сегодня работать с мокапом стало значительно проще, чем десять лет назад — актёры могут видеть свои 3D-аватары и окружение прямо на площадке.

С развитием технологий и графики, как в играх, так и в кино, всё чаще вместо Motion Capture употребляют сочетание Performance Capture. Таким образом подчёркивают заслуги актёров — как тех, что отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актёров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере.

Основная тенденция в развитии мокапа — упрощение технологии производства и предоставление актёрам большей свободы. Сегодня инструменты позволяют снимать в большом спектре даже естественных локаций (в том числе под водой) и почти не сковывать себя в движениях. Один из самых доступных и удобных сегодня вариантов — это инерционные системы захвата движений, как, например, Xsens MVN Animate. Благодаря датчикам, расположенным в костюмах, она позволяет работать в неограниченной по площади рабочей зоне.

«Наша команда более 10 лет занимается поиском классного и инновационного оборудования по всему миру и помогает применить его российским клиентам в различных сферах деятельности. Несколько лет назад мы наткнулись на систему Xsens в качестве инструмента для анализа биомеханики человека (в основном в спортивной науке и реабилитации). С тех пор, мы успешно сотрудничаем с Xsens во всех направлениях использования системы — спортивная наука и медицина, эргономика на производстве и 3D-анимация персонажей.

Самой главной особенностью систем мокапа от Xsens является мобильность без потери качества. Систему можно развернуть там, где оптические системы установить просто невозможно или же крайне затратно с точки зрения финансов. Например: внутри автомобиля (технически невозможно), в аэротрубе (технически невозможно), в помещениях на несколько этажей/с высокими потолками/с разным количеством комнат или других помещений (требуется большое количество дорогостоящих камер).

Студии часто публикуют различные видео и репортажи со съёмок, показывая, как выглядит работа с мокапом изнутри. Но это не более чем иллюзия и грамотная маркетинговая стратегия. Реалии производственного процесса раскрываются нечасто, а подробно о процессе создания мокапа для популярных игр или фильмов почти никогда не рассказывают.

Известно, что это трудоёмкий и специфический процесс, где намного больше рутины и чисто функциональных задач, чем магии. Даже при быстром развитии технологий сегодня мокап несовершенен и создаёт множество неудобств во время работы.

«Основная трудность — потеря данных, когда камеры не видят маркер. Поэтому приходится изобретать декорации из сетки, ставить камеры по кругу, ограничивать количество актеров и прочее. Следующая трудность заключается в корректной передаче данных на персонажа. Мы стараемся понять, как двигаются кости актёра, но маркер прилеплен к костюму, который находится поверх мышц или жира, и только где-то под нимикость. В итоге мы изначально имеем погрешность данных.

Это лишь часть трудностей и непростых задач, с которыми сталкиваются мокап-аниматоры сегодня. Мы видим, как правило, только перфоманс актёров и конечный результат, но не очень понимаем, что именно происходит на этапе непосредственного использования технологии Motion Capture. Чтобы закрыть этот пробел, мы попросили одного из главных специалистов по мокапу в России Сергея Лобанкова рассказать о производственном процессе и его особенностях в нашей стране.

Надо разбираться в процессе правильного размещения камер на площадке. Задача мокапа — захватить движения, то есть получить отражённый сигнал от маркера. Поэтому камеры надо расставить так, чтобы получить хорошую зону захвата. Луч, исходящий от камеры, начинается с точки, а потом рассеивается — значит, между лучами будут зазоры. И надо расположить камеры так, чтобы этих зазоров (мёртвых зон) было как можно меньше. Существует много тонкостей в расположении и настройке камер, их надо понимать.

В процессе производства всё важно: от расположения камер на площадке до верно выбранного положения актёров для лучшего захвата движения. И, конечно, необходим опыт и понимание, каким образом замокапить то или иное действие, которое совершает персонаж в кадре. Существует много хитростей и приёмов, которые мы используем во время съёмок. Например, мы недавно снимали сцены для заставок Первого канала — анимацию с белками. Их показывают обычно по ТВ в новогодние праздники. Была задача: сделать так, чтобы белки ползали и прыгали по стеллажам. Причём заказчикам хотелось, чтобы белки подтягивались и именно ползали по вертикали. Понятно, что сделать это непросто — мы же не можем строить огромные стеллажи и по ним ползать вертикально как белки. Мы использовали хитрость: актёр полз по полу, перебирая руками и ногами как белка лапами. А мы уже потом поставили отыгранного персонажа вертикально. В кадре убедительно смотрелось, что белка ползёт по стеллажу.

Это не то же самое, что показывают в ролике со съёмок, где Бенедикт Камбербэтч играет дракона. Он тело дракона не отыгрывал. Если смотреть не на него, а обратить внимание на экраны, которые расположены на площадке, то видно, что никакого дракона там нет, а просто трёхмерная модель человечка, который делает всё то же самое, что Камбербэтч. К движению дракона это не имеет никакого отношения — у дракона совсем другое строение скелета и другая механика передвижения. Бенедикту честь и хвала — он пробовал поймать органику и характер этого существа, чтобы определить и подобрать верное поведение, что помогло ему во время озвучки этого дракона. Ну, и, на мой взгляд, это некий маркетинговый ход, чтобы все говорили о том, что Камбербэтч сыграл дракона. На самом деле, всё анимировали руками. Но ход, по-моему, сработал, если это до сих пор упоминают.

Если говорить о том, как и сколько всё делается мокапом у нас, то индустрией это пока рано называть — слишком мал спрос и толком нет специалистов. В России с мокапом мы начали работать первыми, было это в далёком 1997-м году. Тогда ещё использовалась электромагнитная система — на ней работать сложнее, чем на оптике. Там не те возможности, но трудности закалили нас. Поработав на ней 15 лет, я получил колоссальный опыт. Тогда мы и открыли для себя различные съёмочные приёмы и очень многому научились.

До съёмок тоже проводится подготовительная работа. Сначала идёт разбор с режиссёром, что и как мы будем снимать. Иногда в ходе обсуждения выясняется, что какие-то задачи выполнить невозможно — увы, мы не всесильны, не всё возможно сделать в мокапе. Если таких проблем нет, то мы дальше обсуждаем, сколько человек потребуется и какими силами можно снять сцену, ищем постановочное решение, находим подходящие приёмы. Так же и актёрам всё заранее объясняется, чтобы на площадке не было неожиданностей и каждый знал, что делать.

Дальше актёры на площадке выполняют поставленные творческие и технические задачи. Есть аниматики и лэйауты, по которым отыгрываются сцены. Первая попытка — это обычно как репетиция: отыграли, посмотрели анимированную сцену, увидели какие-то недостатки, переиграли заново с их учётом. В этом как раз преимущество работы с мокапом. Можно сразу увидеть отыгранный дубль.

Если анимация для компьютерной игры, то часто снимаем пробежки, разные стили передвижения, прыжки, работу с оружием. Это делается быстро и короткими дублями. Когда идут игровые сцены, там уже разыгрываются диалоги и полноценное взаимодействие.

Поэтому мы придумали один приём. Всё играли два взрослых человека. Мы стояли рядом на небольшом расстоянии друг от друга. Я играл за маму, а девушка актриса отыгрывала девочку. Я стоял в позе, держащей девочку на руках — это тоже не так просто, надо понимать всю физиологию. А девушка заняла позу как бы сидящей на руках девочки и обнимающей шею мамы. А мокап-оператор в кадре на компе это всё соединил и получилась нужная мизансцена мамы с девочкой на руках. Вот так мы вышли из положения. В сцене всё получилось убедительно.

При создании таких сцен надо понимать все тонкости форм и пластики. Плюс мы в таких сложных сценах каждый момент отслеживаем через мониторы, которые расположены по всему периметру площадки. Это очень помогает ориентироваться — подобную сцену невозможно сыграть, не видя что происходит в кадре. Есть очень много условностей, которые актёр должен учитывать, при этом не выходя из процесса игры.

В продолжении материала мы подробнее расскажем об особенностях работы актёров мокапа и обсудим со специалистами будущее технологии.

Чаще всего сегодня технологии захвата движения (ЗД) используются в кино и видеоиграх. Но есть и иные варианты их применения: сегодня захват движения помогает соревноваться за звание лучшего станочника, позволяет ставить диагнозы по походке, сохранить для будущих поколений танцы малых народов, а в будущем — позволит вести реальную войну из уютненького бункера.

Лошади, образцовые пролетарии и ядерные взрывы: что пытались фотографировать создатели захвата движения?

Так появилась хронофотография — первая технология захвата движения, которая помогла разрешить спор на 25 тыс. долларов.

Стэнфорд доказал свою правоту: в галопе лошадь действительно отрывает все четыре ноги от земли, но в этот момент они поджаты под туловище, а не распростерты вперед и назад, как это часто изображали художники разных эпох. Это маленькое открытие вызвало фурор среди искусствоведов и художников рубежа XIX-XX столетия. Кстати, для съемки использовали только черных лошадей — их движения отчетливее фиксируются на белом фоне фотодрома. Источник: Eadweard Muybridge / Wikimedia Commons

Но технология захвата движения была интересна не только возможностью выиграть пари, и впоследствии появился не один аппарат, основанный на принципе хронофотографии. К примеру, фотограф Арнольд Лонд изобрел хронофотограф с 12 объективами в 1891 году, чтобы запечатлевать мимику пациентов невролога Жана Шарко. С тех пор и до наших дней основной и наиболее сложной задачей было воспроизведение захваченных действий.

Реалистичное воспроизведение движений посредством их видеозахвата заинтересовало в те годы ученых Советской России, увлеченной научной организацией труда. Если изучить досконально движения лучших представителей пролетариата, то можно научить и других рабочих — такова была логика советского руководства и ученых. Этой темой занимался созданный в Москве Центральный институт труда (ЦИТ), а курировал её Николай Бернштейн — основатель научного направления биомеханики, изучающей движение человека. В своей лаборатории Бернштейн проводил циклограмметрические исследования: испытуемого одевали в специальный костюм, состоящий из десятков небольшим ламп, которые играли роль маркеров. Затем с помощью рапидной киносъемки (100-200 кадров в секунду) получали циклограмму. Погрешность измерений положений движущегося или бегущего человека составляла всего 0,5 мм.

Примечательно, что Бернштейн предвосхитил появление оптического и акустического метода захвата движения, для которого и по сей день используются датчики, прикрепленные к телу человека.

Это задумку развивал американец Ли Харрисон III, который экспериментировал с аналоговыми микросхемами и электронно-лучевыми трубками. В 1959 году он создал костюм со встроенными потенциометрами (регулируемыми резисторами) и смог записывать и анимировать движения актера в режиме реального времени на электронно-лучевой трубке. Хотя это была примитивная установка — анимированный актер выглядел на экране как светящийся столб, — это был первый случай захвата движения в реальном времени.

Параллельно пробивал себе дорогу фотооптический метод, когда захват движения достигался путем фотографирования объекта на высокой скорости или с разных углов обзора. Большой вклад в это внес Гарольд Эджертон, изобретатель рапатронической камеры, созданной в 1940-х. Она способна записывать неподвижное изображение со временем экспозиции всего 10 наносекунд. Благодаря этому устройству ученый смог запечатлеть очень быстрые события — от всплеска воды из-за упавшей капли до ядерного взрыва.

Момент взрыва ядерного заряда спустя доли секунды после детонации, запечатлённый рапатронической камерой. Источник: Federal Government of the United States / Wikimedia Commons

К концу XX века сформировались две основные технологии захвата движения, которые условно называют маркерной и безмаркерной. В первом случае захват движения происходит с помощью размещенных на теле человека маркеров или датчиков. Они могут быть разными: инфракрасными, магнитными, гироскопическими. Инфракрасные могут либо отражать (пассивные), либо излучать (активные) свет, магнитные искажают магнитный поток, и ресивер волн определяет их положение в пространстве, гироскопический датчик также передает информацию об изменении положения тела в пространстве.

Безмаркерные системы основаны на оптическом захвате. В помещении монтируется множество камер, которые под разными углами ведут сьемку. Затем полученные изображения сводятся в 3D-модель. Еще одна разновидность — экзоскелет, который крепится к телу и создает анимационную модель, фиксируя движения.

Повторяй за мной: как Toshiba учит работать напильником с помощью захвата движения?

Можно бесконечно смотреть на огонь, воду и на то, как кто-то работает. А иногда от этого можно получать пользу. Мы в Toshiba догадались об этом давно, поэтому в нашем Корпоративном центре производственного проектирования (Corporate Manufacturing Engineering Center) есть специалист по захвату движения Хироаки Накамура. С недавних пор он с увлечением следит за тем, как работают участники Национального чемпионата профессионалов — специального конкурса для умельцев в разных областях — от выпечки до сварки.

В 2018 году молодой рабочий одного из предприятий Toshiba Харуки Окабе решил поучаствовать в этом соревновании, конкретно — в сборке небольшого устройства. При его сборке конкурсанты используют старый добрый напильник для финальной обработки некоторых деталей. Считается, что первоклассные специалисты в этом деле могут достигать точности обработки в 0,001 мм или меньше, иначе устройство работать не будет. В этом наш конкурсант как раз и оказался слаб и упустил победу в конкурсе.

Когда мы сравнивали их данные, мы заметили одно существенное различие в том, как они балансируют на ногах.

Вертикальная ось — это сила противодействия опоры [N], а горизонтальная — время [S]. Поскольку по сравнению с опытным специалистом центр тяжести молодого рабочего больше сконцентрирован на выставленной вперед ноге, между его синей и зеленой кривыми большой разрыв. (Окабе, молодой рабочий, левша, а Мацуи, учитель, правша, поэтому на диаграммах линии обращены). Источник: Toshiba

Выяснилось, что центр тяжести молодого рабочего сильно смещен вперед, не так, как у опытного специалиста. Из-за этого конкурсант быстро устает при работе с напильником, и из-за этого выходит брак. Поняв свою ошибку, Окабе сумел улучшить качество работы напильником. И взял бронзу на Национальном чемпионате профессионалов Японии. Возможно, по записям работы напильником Мацуи будут учится наши потомки. А ещё мы можем сохранить для них другой вид исчезающего искусства — танцы.

Поймать Терпсихору: как захват движения используется в сохранении искусства танца?

Все наверняка слышали о списке Всемирного наследия ЮНЕСКО, куда входят более 1 000 природных и рукотворных объектов, которые человечество стремится сохранить и передать будущим поколениям. В начале 2000-х многие задумались о том, как сохранить то, что не построено руками и не создано природой, — пение, обряды, театральные представления, ремёсла. Так появилась концепция нематериального культурного наследия (НКН), которое с 2003 также накапливается и сохраняется. А технология захвата движения помогает сохранить один из главных объектов НКН — танцы.

Несколько проектов по всему миру занимаются оцифровкой танцев народов мира (Wholedance, i-Treasures, AniAge и другие). Чаще всего при записи танцев используются активные и пассивные датчики, которые размещаются на теле танцора.

Система захвата движения с активными датчиками используют светодиоды, которые излучают собственный свет. К примеру, система захвата движения Phasespace Impulse X2 состоит из восьми камер, способных фиксировать движение с помощью модулированных светодиодов. Танцор надевает костюм с 38 датчиками и активными светодиодами и начинает исполнять танец.

В проекте WholoDance экспериментировали с интеграцией Microsoft HoloLens в качестве инструмента визуализации. Потоковая передача данных из Autodesk MotionBuilder по беспроводной связи на гарнитуру позволяет танцорам и хореографам видеть голограммы в реальном времени. Источник: Jasper Brekelmans / YouTube

В пассивных системах захвата датчики не излучают сигнал, а только отражают его с помощью специальных материалов, из которых изготовлен костюм. Эта технология обеспечивает бóльшую свободу действия танцора, позволяет ему совершать резкие движения, выполнять акробатические элементы и при этом не снижает точность и скорость фиксации. Сейчас ученые рассчитывают интегрировать маркерные технологии захвата движения и 3D-съемку, так как в танце участвует мимика и костюм танцора.

Схожие технологии захвата движения используются и для куда более простого вида физической активности, чем танец — для анализа походки.

Узнáю по походке: как изучение походки помогает врачам?

Как размещают на теле пациента датчики для анализа походки? Датчик правого бедра должен находится на 1/3 расстояния между правым датчиком передней верхней подвздошной кости и датчиком правого колена. Датчик правой голени должен находится на 1/3 расстояния между датчиком правого колена и датчиком правой лодыжки. На левой части тела расстановка другая: датчики левого бедра находится на 2/3 расстояния между левым датчиком передней верхней подвздошной кости и датчиком левого колена. Датчик левой голени ставится на 2/3 расстояния между датчиками левого колена и левой лодыжки. Источник: Motion Analysis

Непосредственно в медцентрах также уже используются системы анализа движения, к примеру, GaitTrack. С помощью этой технологии врачи вычисляют и обобщают основные биомеханические параметры при ходьбе или беге, на раннем этапе диагностируют болезни суставов, обнаруживают риск возможных травм. Схожим образом используют захват движения тренеры и спортсмены.

Быстрее, выше, виднее: как захват движения помог баскетболистам?

Захват движения широко используется в спорте. Анализ действий игроков позволяет выявить их ошибки или испытать самое разное снаряжение. Кит Пэммент — главный тренер баскетбольной команды, которая состоит из людей, передвигающихся на креслах-колясках. По совместительству он инженер и давно интересовался, как захват движения может улучшить результативность баскетбольных команд. В частности, система захвата движения Perception Neuron помогла подобрать наиболее эффективные кресла-коляски для баскетболистов с ограниченными возможностями. Облачённые в костюмы спортсмены выполняли спринт, маневрирование, дриблинг и игру один на один и при этом поочередно испытывали шесть разных типов кресел, пока тренер изучал в реальном времени движение их анимационных моделей с помощью 16 камер.

За один день изучения тренировки игроков Кит выработал технические критерии к спортивным креслам для своей команды в зависимости от навыков спортсмена, его сильных и слабых сторон, техники движения и игры. Сейчас тренер готовит целый курс для своих коллег, работающих с такими же спортсменами.

Что дальше: роботы-аватары, телепортация и виртуальная реальность

Роботы становятся всё более ловкими, быстрыми и умными, а значит, человек всё чаще будет отправлять их туда, куда сам идти не хочет. Однако сейчас среди интерфейсов для телеуправления машинами в основном используются джойстики или экзоскелеты. Такие средства не всегда эффективны — их основной минус в том, что так или иначе они мешают или осложняют движение самого человека, дистанционно управляющего роботом. Эту проблему могут решить технологии оптического захвата движения.

Отказ от экзоскелетов для захвата движения в будущем позволит с помощью 3D-моделирования проводить весьма сложные работы, требующие хорошие навыки тонкой моторики рук. Источник: Dimitrios Kanoulas / YouTube

В 2018 году фонд XPrize объявил конкурс на создание робота-аватара ANA Avatar XPrize, а затем были отобраны 77 команд, которые в конце 2020 года представят свои разработки роботов-аватаров. По условиям конкурса разработчики должны соединить решения в области захвата движения, сенситивным технологиям, AR и VR. Конечная цель, за достижение которой дадут 5 млн долл. США, — создание системы, в которой оператор будет видеть, слышать, двигаться и выполнять различные задачи в удаленной среде.

Именно Motion Capture повсеместно используется в каждом высокобюджетном фильме Голливуда, и позволяет создавать абсолютно реалистичные движения каждого героя в любой компьютерной игре. Сейчас мы постараемся углубиться в историю создания данной технологии, от самого начала до самых популярных проектов на сегодня.

Зарождение Motion Capture

Motion Capture можно перевести, как захват движения. То есть при помощи данной технологии можно оцифровать любое движения актера и впоследствии перенести на любую детализированную модель персонажа фильма, игры или мультфильма. Именно технология захвата движений, используется в создании несуществующих персонажей, таких как инопланетяне или же абсолютно выдуманные в виде Кинг-Конга.

Зародилась эта технология еще в прошлом ХІХ веке. Именно тогда первые художники начали интересоваться движениями человека, которые были засняты чередой фотоснимков. Результатами таких трудов стало создание первого специального прибора под названием – Ротоскоп.

Для того, чтобы создать мультфильм, актерам для начала приходилось отыгрывать все движения на фотокамеру. После чего аниматоры и художники покадрово перерисовывали все движения на холсты, создавая с рисунков анимацию.

Но все изменилось с появлением 3D анимации. Для создания большинства персонажей решили использовать такую же технологию, только уже с помощью камер и специальных датчиков. Именно появление первых проектов 3D с использованием Motion Capture изменило кинематограф навсегда.

Технология Motion Capture

Новый вид технологии захвата движения позволяет записывать не просто изображение актера, а полноценные его движения. Именно это и позволяет создавать реалистичные движения разных антропоморфных персонажей в фильмах и играх.

Как же работает эта система?

Для полноценного захвата движения нужно несколько вещей. Для начала нужно помещение, оснащенное несколькими камерами со специальными инфракрасными излучениями, которые с разных ракурсов будут снимать самого актера. Чем больше камер, тем лучше будут передаваться снятые движения. Актер, который будет отыгрывать специальные движения, должен быть одет в однотонный костюм с маркерами. Маркеры должны быть закреплены на важные для считывания места тела. Зачастую это колени, локти, плечи или лоб. Именно такое расположение маркеров сможет дать полную картинку скелета человека и широкую амплитуду движения этого самого скелета.

То есть камера считывает попадание лучей на маркеры и полученную информацию передает уже на компьютер, который при движениях актера, создает базовый скелет движения персонажа. После чего все точки, на которых были маркеры, переносятся на те же точки графического персонажа, который будет повторять все движения, отыгранные актером.

Развитие Motion Capture

В начале 90-х годов Motion Capture начали использовать более широко. На американском телевидении выходила детская передача Canaille Peluche. В ней присутствовал персонаж – привидение Мат, который общался с разными актерами и гостями передачи. Мата в то время создавала целая команда, от актеров, отыгравших его движения, до графических аниматоров, которые рисовали его текстуры. В то время на производство всего семи минут анимации Мата, уходило около шести-восьми часов работы компьютера.

В 1992 году компания SimGraphics разработала систему отслеживания мимики человеческого лица. Они смогли продемонстрировать свою технологию на выставке видеоигр, где голова популярного персонажа Марио, общался с публикой. Он мог отвечать на вопросы и отыгрывать удивление, страх и злость. Именно тогда эмоции Марио отыгрывал сидевший рядом с экраном актер.

Технология на тот момент была новой, и Эндрю приходилось отыгрывать каждую сцену по несколько раз. Сначала самому, для захвата его движения и передачи их персонажу. После чего он снова играл ту же сцену с актерами, и третий раз – это перенос его эмоций на лицо самого Голлума. Именно благодаря захвату движения и гениальной актерской игре Серкиса, Голлум получился абсолютно живым и естественным персонажем, которому ты веришь и совершенно не сомневаешься в его существовании.

Виды Motion Capture

На сегодня можно выделить два основных вида технологии Motion Capture. Это Маркерная и Безмаркерная.

Маркерная система работает при помощи специальных камер и костюмов, которые одевают актеры. Каждый из актеров фильма или мультфильма одевает костюм с множеством датчиков, которые снимают специальные инфракрасные камеры. Каждое движение маркера камера фиксирует и передает информацию на компьютер. После чего она обрабатывается и переносится на созданного персонажа. Именно этим методом создается мимика лица персонажа. В таком случае маркеры закрепляются на основных частях лица актера.

Безмаркерная технология позволяет актеру сниматься без специальных датчиков и костюма. Такая технология позволяет быстрее снимать движения актера без лишней подготовки, с ее помощью можно заснять такие быстрые движения как борьба, падения или прыжки. Но из-за отсутствия маркеров страдает качество захвата движения.

Маркерная технология делится еще на несколько подвидов захвата движения:

Маркеры оптические-пассивные: в этом виде, камера посылает инфракрасные лучи на маркер, который тот в свою очередь отражает обратно в объектив камеры. Каждая камера это фиксирует и передает движения отражаемого маркера на компьютер, тем самым записывая движения.
Маркеры оптические-активные: в этом методе в маркерах установлены светодиоды с радио-синхронизацией. Каждый такой маркер имеет свой собственный индетификатор ID. Именно он не дает путать места положения маркеров, и позволяет записывать движения актера даже если свет, попадающий с камеры на маркер, был перекрыт.
Магнитные системы. Здесь маркерами являются магниты, а камеры – это магнитные ресиверы, система записывает положение маркеров по искажениям самого магнитного потока.
Гироскопические или иннерциальные системы. Для сбора информации о движении на костюм актера крепятся гироскопы и иннерциальные сенсоры. Благодаря таким сенсорам, система может определить не только позицию маркера, а и угол его наклона.

Самые популярные проекты Motion Capture

Восстание планеты обезьян.

В этом проекте король захвата движения Энди Серкис снова показал на что способны наши современные технологии. Теперь абсолютно любую фантазию можно воплотить на экране. И движения, жесты, эмоции и мимика персонажа Цезаря заставляют поражаться каждую минуту. Ведь это все естественно на полные 100%.

Беовульф

Полнометражный мультфильм, который также отыграли целиком и полностью актеры. Этот проект показывает каким может быть анимация в современных анимационных проектах.

Я робот

Фильм, который рассказывает о нашем возможном будущем. С искусственным интеллектом и роботами помощниками, которые могут испытывать человеческие эмоции. Именно робот Сани, который мог безупречно имитировать человеческую злость или радость, стал возможным благодаря технологии захвата движения.

Ну и конечно много других фильмов, таких как Звездные войны: Изгой Один, Варкрафт и Черепашки-ниндзя. Эти фильмы стали возможны только благодаря развитию технологии захвата движения. И многие режиссеры смогли показать на экране многих персонажей по-настоящему живыми и реальными.

Motion Capture в играх

На сегодняшний день практически каждая игра создается при помощи технологии захвата движения. Каждого из героев отыгрывают реальные актеры, которые передают ему реальные движения в бою или просто касания к каким-либо предметам. Так же благодаря Motion Capture, мы можем наблюдать в играх реалистичные эмоции и мимику лица персонажей. Ведь каждая морщинка и изгиб мышцы лица передается игровому персонажу, и помогает нам погрузится в атмосферу игры и поверить в те эмоции.

Одним из таких проектов стала игра Девида Кейджа Beyond: Two Souls. Каждую из сцен целиком и полностью отыграли прекрасные актеры, такие как Вильям Дефо или Елен Пейдж. Девид Кейдж смог воссоздать самое настоящее игровое кино, в котором не просто игровой персонаж, которым вы управляете. Перед вами живые люди, со своими чертами лица, уникальными и неповторимыми эмоциями. Motion Capture позволила сделать неповторимую атмосферу и передать то, что графический аниматор попросту не смог бы нарисовать.

Читайте также: