Чем занимается AR-дизайнер и как им стать

Технологии пока не позволяют выгрузить сознание в виртуальный мир или полностью соединиться с цифровым аватаром, но дополненная и виртуальная реальность уже стали частью повседневности. Более того, они делают невозможное возможным: AR-гарнитуры дают нам суперзрение, встроенные аудиодатчик — суперслух, а виртуальный контент обогащает наше восприятие. Первые исследования показывают, что взаимодействие с AR-интерфейсом помогает человеку лучше фокусироваться и запоминать информацию. А еще дополненная реальность плотно переплетается с материальным миром — например, аватар в AR-среде вызывает у пользователей такой же отклик, что и реальный человек.

При этом влияние AR на наше восприятие до конца не изучено, и рынок пока не сформировался — технологии постоянно эволюционируют, а тренды быстро меняются. Такая среда идеально подходит дизайнерам, которые хотят создавать цифровые миры и вселенные без навязчивых рамок и стандартов. Единственное ограничение — это аппаратные возможности AR-устройств.

В WayRay мы как раз с нуля разрабатываем интерфейс, который дает пользователям новые возможности. Компания создает голографические проекционные дисплеи (HUD), которые встраиваются в автомобиль и выводят сквозь лобовое стекло навигационные подсказки и рекомендации водителю. Впрочем, это лишь один из возможных сценариев применения системы. Технологии WayRay позволяют встроить “окно” в виртуальный мир в любую прозрачную поверхность, будь то лобовое стекло спорткара, вертолета или экскаватора.

WayRay на выставке CES 2020

Embedded content: WayRay at CES 2020: full-color holographic AR display and more

Над похожими продуктами работают крупные автоконцерны, например, Daimler, но ничего сопоставимого на рынке пока нет. Так что задача нашей команды — это превращение футуристического концепта в реальный работающий продукт. Я руковожу интеграцией AR-интерфейсов, а параллельно изучаю индустрию AR-дизайна. Для начала разберемся, из чего она состоит.

Категории цифровых реальностей

У цифровой реальности есть как минимум три воплощения:

• VR — полностью искусственный виртуальный мир, который не соприкасается с реальным. Для создания эффекта погружения используются гарнитуры, перчатки, костюмы, шлемы и датчики.
• AR — наложение виртуальных объектов на окружающую реальность. При этом стандартное восприятие человека (зрительное, слуховое, тактильное) дополняется и обогащается. Могут использоваться как гарнитуры, так и обычные камеры смартфонов. Некоторые AR-объекты можно увидеть и невооруженным взглядом.
• MR — смешанная реальность (подвид AR). Обязательный атрибут — наличие интерактивности, интерфейса, с которым можно взаимодействовать.

Все три категории часто объединяют зонтичным термином — XR(Extended Reality — расширенная реальность).

Дополненная реальность тоже бывает разной — это могут быть причудливые визуализации Зака Либермана, которые он называет “компьютерной поэзией”. Или CG-работы моушн-дизайнера Эдуарда Михайлова, который создает CG AR-эффекты для Уилла Смита и Massive Attack. Или пространственная типографика Дон Юн Пака. Кто-то делает маски в Spark AR, а кто-то создает безумные киберпанк-ролики со спецэффектами, но и то, и другое — это пример воплощения идей дизайнера в дополненной реальности.

AR моушн-дизайн Эдуарда Михайлова

Embedded content: RICH GLITCH (Masterclass)

Пространственная типографика Дон Юн Пака

Embedded content: Type In Space for HoloLens 2 update - Jan 2021

AR-контент зависит и от устройств. В основном сейчас разработчики и дизайнеры создают эффекты для смартфонов: игры, маски, фильтры, виртуальную одежду и обувь, абстрактный арт, образовательный контент, навигационные указатели. Это обусловлено самой большой распространённостью этих устройств среди пользователей.

Вторая категория — это носимые устройства, например, Hololens, Nreal, или Magic Leap. В этом случае контент нужно создавать под конкретную систему, что создает дополнительные ограничения и мешает продвигать продукт. Смартфоны есть у многих, а вот гарнитуру за $3000+ на этом этапе развития технологии будут покупать либо энтузиасты, либо корпоративные клиенты для своих узконаправленных задач.

Leap Motion Project North Star

Embedded content: Project North Star: Exploring Augmented Reality

Microsoft Hololens 2

Embedded content: Touching Holograms | Microsoft Hololens 2 | Awesome Technology

И, наконец, третий формат — это автомобильная среда. На этом рынке пока работают только крупные автоконцерны, а также команда WayRay. Плюс в том, что пользователю не нужно держать устройство или надевать гарнитуру — AR-интерфейсы выводятся сквозь лобовое стекло автомобиля, и рассмотреть их можно невооруженным взглядом. Это называется “не носимый AR”.

AR применяется и в разных масштабах. Например, table scale (tabletop) — это формат миниатюрных фигурок, которые проецируются на ровную поверхность (например, 3D-животные от Google), виртуальных рабочих пространств и виджетов. Room scale — это масштаб комнаты (пример: новая функция Studio Mode в приложении IKEA Place). World scale — это контент, интегрированный в реальную городскую среду (например, навигация, уличные указатели, стрит-арт).

Получается, что у индустрии дополненной реальности тысячи форматов. Пока она сильно фрагментирована и на рынке еще не появилось подобие iOS или Android, которое ввело бы единые стандарты. Технологии тоже пока не достигли совершенства — и железо, и софт накладывают ограничения. AR-рынок чем-то напоминает рынок смартфонов в начале 2000-х — тогда профессия мобильного разработчика только зарождалась, а стандарты мобильного UI/UX еще не сформировались. Но среда быстро меняется — вероятно, уже в первой половине 2020-х Apple представит свою AR-гарнитуру, и запрос на услуги разработчиков и дизайнеров подскочит в несколько раз. Например, рынок одних только AR-гарнитур растет с каждым годом на 73,8%. Так что сейчас лучшее время, чтобы осваивать профессию. Для этого даже не нужно обучаться с нуля — AR-дизайнерами часто становятся выходцы из других сфер.

Путь AR-дизайнера

Я пришел в AR-разработку из сферы графического дизайна — в 2014 году окончил МГХПА им. С.Г. Строганова и какое-то время занимался графикой, мобильными приложениями и веб-дизайном. Через год я устроился в WayRay на роль AR UI/UX-специалиста, а через несколько лет возглавил отдел интеграции AR интерфейсов. Как показывает мой опыт, на погружение в новый контекст уйдет примерно год при условии, что у вас уже есть релевантный опыт. Быстрее всего адаптируются специалисты по UI/UX-дизайну, моушн- или гейм-дизайну, 3D-моделированию. В нашей команде есть люди с опытом в промышленном и графическом дизайне.

В целом, большинство AR-мейкеров не получает профильное образование: кто-то в прошлом был разработчиком, кто-то CG-специалистом или продуктовым дизайнером. Многие работали в киноиндустрии — создавали спецэффекты для видеороликов. Лишь единицы проходили курсы по AR (такой мы сейчас делаем вместе с Британской высшей школой дизайна), но большинство самостоятельно изучало инструменты, а потом уже развивало навыки на практике. Образовательных программ для AR-дизайнеров пока немного, но в интернете достаточно ресурсов для самостоятельно изучения. Например, стоит обратить внимание на библиотеки и гайдлайны от Microsoft.

Впрочем, полностью переключаться на AR-дизайн вовсе не обязательно. Инструменты дополненной реальности могут принести пользу и практикующим дизайнерам из других сфер. Например, Кеичи Мацуда, автор знаменитого ролика HYPER-REALITY, специализируется на спекулятивном дизайне — и AR помогает ему проектировать несуществующие миры.

Другой кейс — Вова Курбатов, который пришел в AR-индустрию из архитектурной среды. Когда-то он проектировал станции метро и детские сады, а теперь создает умные дома в дополненной реальности. У него, кстати, есть подробный гид по карьерному пивоту, в котором собраны ключевые навыки AR-дизайнера. Среди них:

• Навыки UX-проектирования
• Навыки работы с визуалом (3D, UV-преобразование, работа с видеоредакторами)
• Прототипирование (программирование, навыки работы с Unity, Unreal, Lens Studio и Spark AR)
• Soft skills (эмпатия, упорство, прокаченные коммуникативные навыки)

Если вы пока не знаете, подходит ли вам AR-направление, поэкспериментируйте с популярными инструментами. Лучше всего начать со Spark AR — по нему масса уроков в открытом доступе, а первый продукт можно быстро протестировать и запустить. Причем для тестирования не потребуется дополнительное оборудование — достаточно смартфона и установленного на него Instagram.

После этого переходите к экспериментам с Unity (в том числе на платформе AR Foundation), Vuforia, ARCore и Leap Motion. С их помощью можно создавать кроссплатформенные решения для веба и различных мобильных операционных систем.

Если владеете навыками программирования, поработайте с ARKit и Xcode, а также Openframeworks — это сервис для креативного кодинга, разработанный Заком Либерманом. Полезно также освоить игровой движок Unreal Engine, который уже давно используется не только в сфере гейм-дизайна. Знание C4D и After Effects также пригодится, чтобы визуализировать идеи. Все эти инструменты на порядок сложнее Spark AR, но и возможностей они дают намного больше.

Проектируя будущее

Сложность работы дизайнера зависит от продукта, над которым он работает. Технологии уже позволяют создавать ультрареалистичные и качественные визуализации, но интегрировать их с устройством и создать рабочий интерфейс уже не так просто. Скажем, вы можете разработать красивые AR-описания к экспонатам в музее, но для того, чтобы превратить надписи в интерактивные элементы интерфейса, придется приложить усилия.

В случае с нашими разработками все еще сложнее. Во-первых, мы создаем AR-решения для городской среды. Во-вторых, не используем сторонние устройства (смартфоны и гарнитуры). А в-третьих, проецируем изображение в движении. Всю сложность проектирования интерфейсов для AR HUD мы сформулировали на такой схеме:

Перед нашей командой стоит задача добиться AR-эффекта и получить качественный результат, учитывая при этом все железные и софтовые ограничения. Эффективность обеспечивают три фактора: предсказательность, юзабилити и эстетика — они влияют на то, захочет ли человек пользоваться нашим продуктом. А для того, чтобы сбалансировать работу ПО и аппаратной части, нужно учитывать возможности картографии, SLAM и компьютерного зрения, а также физические свойства оптической системы. Кроме того, виртуальные объекты должны гармонично накладываться на реальные, без сбоев и задержек даже в меняющихся условиях (например, при изменении скорости, курса и наклона автомобиля). В принципе эти задачи решает любой дизайнер, который занимается инновационными продуктами — ему нужно подружить функционал с эстетикой, преодолевая технологические ограничения.

Опишу, как это работает на практике. Например, отдел проектирования предлагает концепт, после этого оптики трезво оценивают технические возможности для реализации, дизайнер учитывает и концепт, и правки, а затем формирует макеты. Дальше подключается команда software-разработки и начинается процесс прототипирования и итераций. И на протяжении всех этапов дизайнер учитывает интересы клиента/пользователя, продумывает функционал и эстетику. Здесь вам как раз пригодятся soft skills и умение грамотно доносить свои идеи. В процессе обязательно что-нибудь пойдет не так или появятся новые вводные, и придется быстро адаптироваться.

Автомобильный интерфейс WayRay AR HUD

Интерфейс WayRay AR HUD для авиационной техники

Интерфейс WayRay AR HUD для судов

О многих вещах человек со стороны даже не задумывается. Например, почему в интерфейсе WayRay не может быть черного цвета? Это связано с нюансами изображения на прозрачном носителе — мы не можем светить черным цветом и выводить его на носитель. Поэтому, если увидите где-то видеоролик с темными цветами AR-контента на прозрачном носителе (лобовом стекле или гарнитуре), знайте — это графика, а не реальный продукт.

Embedded content: WayRay at Consumer Electronics Show 2019 (CES in Las Vegas)

Мы учитываем сотни других деталей. Например, оцениваем когнитивную нагрузку, паттерны поведения и движения пользователей: какую информацию они воспринимают легко, а что “считывается” с трудом; как они воспринимают объекты под разным углом зрения; какие детали отвлекают их от вождения, а какие помогают сфокусироваться.

Думаю, вы уже догадались, что это сложный процесс разработки и координации, в который включены десятки специалистов. Но так и создаются DeepTech-продукты — прототип нельзя собрать в гараже и протестировать на своих друзьях. Нужно проводить научные исследования, лабораторные тесты и эксперименты. Но и результат порадует. AR-разработка в принципе дает чувство удовлетворения от проделанной работы — вы соединяете виртуальный мир с реальным, а затем погружаете в эту среду пользователя, делая невозможное возможным.