Учёные из Южной Кореи предложили новый способ чтения комиксов, в котором история выходит за пределы экрана и буквально разворачивается вокруг читателя. Исследователи из Корейского передового института науки и технологий (KAIST) создали первую XR-платформу, позволяющую размещать персонажей, реплики и другие элементы комикса прямо в окружающем пространстве. Авторы считают, что технология открывает новое направление в развитии вебтунов, которые могут превратиться из плоских цифровых страниц в полноценные трёхмерные истории.

Работу представила группа под руководством профессора Иэна Окли. Вместо демонстрации готового продукта исследователи попытались выяснить, каким вообще должен быть комикс для устройств расширенной реальности (Extended Reality, XR), объединяющей виртуальную, дополненную и смешанную реальность.

Для этого команда разработала экспериментальную платформу ComiXR, которая позволяет не только читать, но и самостоятельно создавать XR-комиксы. Пользователи брали обычный печатный комикс и превращали его в пространственную сцену, комбинируя трёхмерную графику, звук, виброотклик и интерактивные элементы.

В исследовании участвовали 15 человек. Среди них были специалисты по взаимодействию человека с компьютером, профессиональные авторы вебтунов и обычные читатели. Такой состав помог оценить платформу одновременно с точки зрения разработки, художественного оформления и пользовательского опыта.

В качестве аппаратной основы использовали гарнитуру Meta Quest Pro*. Она поддерживает отображение трёхмерной графики, пространственный звук, отслеживание взгляда и мимики, что позволило проверить, какие возможности подобных устройств действительно способны сделать комиксы интереснее.

Во время работы участники свободно размещали героев, облака с репликами, звуковые эффекты и другие элементы истории в реальной комнате. Вместо фиксированной страницы они самостоятельно создавали объёмную композицию, выбирая расположение объектов так, чтобы читать комикс было удобно и естественно.

Эксперимент показал, что простого переноса обычных страниц в виртуальную среду недостаточно. Участникам гораздо больше понравились сцены, где активно использовалась глубина пространства. Персонажи располагались отдельно от фона, а реплики находились на разных уровнях, благодаря чему история воспринималась более живой и объёмной.

Одной из самых удачных функций оказалось использование отслеживания взгляда. Следующая реплика появлялась только после того, как читатель посмотрит на нужного персонажа. Такой приём позволил избежать случайного раскрытия последующих событий и сделать чтение более естественным.

Разработчики также показали эффекты, невозможные в традиционных комиксах. Например, выражение лица читателя могло запускать определённые события в истории, а встроенная вибрация гарнитуры передавала ощущения, соответствующие происходящему в сюжете. Таким способом можно было почувствовать удар, сердцебиение героя или другие события, которые в обычном комиксе приходится изображать только рисунками и звукоподражательными надписями.

На основе результатов исследования авторы предложили четыре возможных направления развития XR-комиксов. Первая концепция превращает стены комнаты в своеобразную художественную галерею, где панели комикса располагаются вокруг читателя. Вторая напоминает объёмные книги-раскладушки: сцены появляются на столе, стене или другой поверхности. Третья переносит персонажей и элементы повествования прямо в окружающее пространство, включая улицы и открытые площадки. Четвёртая ориентирована на повышение доступности комиксов для людей с разными особенностями восприятия.

Исследователи подчёркивают, что не рассматривают новую технологию как замену привычным вебтунам на смартфонах. По их мнению, XR-комиксы займут собственную нишу. Их можно использовать на выставках, в музеях, образовательных проектах и интерактивных экспозициях, где важно не просто прочитать историю, а буквально оказаться внутри неё.

Платформа ComiXR опубликована с открытым исходным кодом. Это позволит другим исследователям и разработчикам создавать собственные XR-комиксы, экспериментировать с новыми способами повествования и искать форматы, которые невозможно реализовать в обычных печатных или цифровых изданиях.

Работа была представлена на международной конференции ACM Designing Interactive Systems Conference 2026 (ACM DIS 2026).

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.