Российские ученые представили три разработки, которые позволят машинам не только распознавать предметы, но и ориентироваться в динамичной среде, запоминать изменения и действовать с учетом контекста. В перспективе роботы смогут выполнять сложные задачи по голосовым командам и меньше зависеть от заранее заданных сценариев — от навигации в незнакомых помещениях до работы на производстве и в логистике. Исследования направлены на «очувствление» роботов и развитие воплощенного ИИ — подхода, при котором нейросеть не только обрабатывает цифровые данные, но и взаимодействует с физическим миром. Как новые технологии помогут машинам лучше ориентироваться в пространстве — в материале «Известий».

Лаборатория «Воплощенного интеллекта и робототехники» (ВИР) ИТМО представила серию разработок, направленных на «очувствление» машин. Они позволят роботам эффективнее взаимодействовать с физическим миром: воспринимать пространство, распознавать объекты, отслеживать движение и изменения окружающей среды. В совокупности эти решения приближают машины к самостоятельному и осмысленному взаимодействию с физической реальностью.

Когда человек входит в комнату, он сразу понимает, где находятся предметы, замечает препятствия и изменения вокруг. Для робота это значительно более сложная задача: ему необходимо не только распознать объект, но и определить его положение и движение, а также связь с окружающим пространством, чтобы ориентироваться и действовать в меняющейся среде.

Воплощенный искусственный интеллект (англ. embodied artificial intelligence, embodied AI) — подход, при котором ИИ взаимодействует не только с цифровыми данными, но и с физическим миром через роботов и другие устройства. Такие системы воспринимают окружающую среду, анализируют происходящее, принимают решения и выполняют действия с учетом изменений вокруг. В отличие от классических ИИ-систем, работающих преимущественно с цифровой информацией, воплощенный ИИ получает данные непосредственно из физического мира и может учиться в процессе взаимодействия с ним.

Три новые работы лаборатории, подготовленные в соавторстве с партнерами и представленные на международной конференции по компьютерному зрению ECCV 2026, описывают компоненты единой системы пространственного интеллекта. Они решают разные, но взаимосвязанные задачи «очувствления» роботов.

Первая разработка, FastR-4DGS, отвечает за динамику: она помогает роботу представить сцену не как неподвижный кадр, а как объемную модель, меняющуюся во времени. Вторая модель, QUORUM, делает это представление семантически понятным и согласованным при наблюдении с разных точек. Третья, Obj3R, формирует объектную пространственную память и позволяет учитывать изменения в уже построенной карте.

— FastR-4DGS подходит для реконструкции динамических сцен, в том числе в системах дополненной реальности, где важно быстро и реалистично отображать пространство с движущимися объектами. Кроме того, технология позволяет создавать синтетические данные для обучения и проверки алгоритмов — например, стратегий управления роботами-манипуляторами или системами автономного транспорта. Поскольку модель учитывает не только геометрию сцены, но и изменения во времени, такие данные могут точнее воспроизводить реальные ситуации: движение людей, транспорта, предметов и изменения обстановки, — рассказал руководитель лаборатории «Воплощенного интеллекта и робототехники» ИТМО, лауреат премии Yandex ML Prize 2026 в номинации «Руководители образовательных программ» Сергей Колюбин.

Модель QUORUM помогает роботу понимать, что находится вокруг него, даже если один и тот же объект выглядит по-разному с разных ракурсов. В традиционных системах машина может распознавать объекты либо постфактум, после завершения съемки, либо по заранее заданным разработчиками категориям. QUORUM связывает визуальные признаки предмета — форму, цвет и структуру — с его пространственным представлением. Благодаря этому система сохраняет целостное представление об объекте независимо от освещения, его положения и ракурса наблюдения.

Obj3R позволяет роботу запоминать динамические сцены. Обычная трехмерная карта представляет собой набор геометрических точек — подобное отображение можно увидеть, например, в приложении робота-пылесоса. Она помогает обходить препятствия, но не дает полноценного понимания окружающей обстановки. Новая технология переводит пространственную память на объектный уровень: система учится распознавать не просто препятствия, а конкретные предметы — например, стол или стул — и отслеживать их перемещение. Благодаря этому роботу не нужно каждый раз строить карту помещения заново: он может обновлять только те участки сцены, в которых произошли изменения.

В сочетании с языковыми моделями и навигацией объектная карта позволит роботу выполнять инструкции, учитывающие изменения обстановки: «найди у двери коробку, которая раньше там стояла», «подъезжай к столу, где прежде лежала книга» или «возьми предмет, который находится слева от ноутбука, принесенного вчера».

— Вместе все три разработки прокачивают пространственный интеллект автономных семантических агентов. Семантические представления позволят общаться с машиной на естественном языке. Еще один практический сценарий — создание реалистичных синтетических данных. Это позволяет быстрее и дешевле проводить обучение и первичную валидацию решений, прежде чем переносить их на реальных роботов, где эксперименты требуют оборудования, времени и дополнительных мер безопасности, — поделился Сергей Колюбин.

По сути, речь идет о формировании у машины собственной модели физического мира, рассказал «Известиям» основатель РОББО, эксперт рынка «Нейронет» Павел Фролов. Чем точнее и быстрее робот способен строить и обновлять такую модель, тем меньше он зависит от заранее заданных сценариев. Это особенно важно для сервисной робототехники, беспилотных систем, производства, логистики и медицины — везде, где окружающая среда постоянно меняется.

— Подход ИТМО представляется перспективным именно потому, что задача решается комплексно: одновременно учитываются движение объектов, понимание их смысла и пространственная память. Следующий большой этап развития ИИ — переход от систем, которые хорошо работают с информацией, к системам, способным понимать физический мир и осмысленно действовать в нем, — отметил он.

Три модели решают взаимосвязанные задачи: отслеживают движение объектов, придают сцене смысл и сохраняют информацию об изменениях, отметил эксперт НТИ по новым материалам и технологиям Евгений Вишневский. Следующим этапом станет объединение разработок в единую систему и ее испытание на реальных роботах при длительной работе в меняющейся среде.