Российские ученые разработали алгоритмы, которые помогают ИИ-генераторам изображений фокусироваться на объектах и «запоминать» их. Выбранные таким образом объекты легко переносить в другие фоны и управлять созданием новых картинок. Разработка позволит расширить возможности серверов генерации изображений и поможет делать передовой ИИ-дизайн на ноутбуках и смартфонах. При этом зарубежные технологии не всегда доступны, отметили эксперты в беседе с «Известиями», поэтому нужно внедрять решения, нацеленные на развитие отечественных нейросетей.

В разработке приняли участие специалисты Московского физико-технического института, Высшей школы экономики и Института системного программирования имени В.П. Иванникова РАН. По словам специалистов, в основе популярных современных генеративных нейросетей лежат алгоритмы диффузии. При обработке изображений они добавляют шум — случайные помехи, которые делают картинку менее четкой. При многократном повторении этой операции изображение теряет детали и постепенно превращается в набор точек.

Затем программа выполняет обратный процесс — шаг за шагом убирает помехи и восстанавливает изображение. Одновременно алгоритмы добавляют элементы из текстового запроса пользователя. В результате получается новое изображение. Такие методы хорошо работают, когда обучаются на нескольких фотографиях. Если же речь идет об одной картинке, модель часто воспроизводит не только нужный объект, но и другие детали исходного изображения.

— Проблема заключается в том, что при малом количестве примеров модель усваивает не суть объекта, а все случайные детали. Попросите ее нарисовать кота в космосе, и она изобразит животное на том же диване, но с нарисованным космосом вокруг. Бороться с этим при минимуме данных крайне сложно, — рассказал «Известиям» один из разработчиков, магистрант кафедры алгоритмов и технологий программирования МФТИ Максим Фофанов.

По его словам, новый метод основан на том, что малые шумы учитывают тонкие детали образа — такие как текстура шерсти, форма носа или цвет глаз, — а большие отражают общую схему расположения элементов.

В ходе разработки ученые математическими методами сместили распределение вероятностей, из которого программа при обучении выбирает те или иные шаги, в пользу малых шумов. В результате модель стала запоминать больше деталей, связанных с идентичностью объекта.

Как отметил специалист, предложенный код можно встроить в любую существующую систему. Внедрение разработки позволит выполнять продвинутый ИИ-дизайн на ноутбуках и смартфонах.

— Беда сервисов вроде Nano Banana в том, что при работе с одним исходником происходит так называемая меморизация контекста — объект «срастается» с окружением. В результате, например, на новый фон вместе с лицом переносятся нежелательные тени. И наоборот, при попытке избавиться от этих эффектов алгоритмы стирают индивидуальные черты объекта. Разработка за счет математически выверенной фокусировки учит модель выделять тонкие детали. Это повышает точность и гибкость редактирования, — пояснил «Известиям» главный редактор IT-World.RU и журнала IT Expert Андрей Виноградов.

В этих направлениях зарубежные разработчики продвинулись далеко вперед, отметил эксперт. Однако гонка за лидерами — провальный путь. Поэтому российским специалистам необходимо искать решения, которые позволят создавать собственные конкурентоспособные продукты.

— Ценность разработки — в движении от простой генерации картинок к управлению созданием изображений. Когда результат определяется конкретным замыслом человека — возникает магия творчества, — отметила руководитель Центра искусственного интеллекта Сибирского федерального университета Анна Пятаева.

По ее словам, одно из главных преимуществ таких решений — доступность. Небольшая компания сможет создавать рекламные материалы без огромных бюджетов, дизайнер — за минуты проверять десятки идей, а обычный человек — реализовывать творческие замыслы, для которых раньше не хватало навыков или денег.

Вместе с тем инструменты, позволяющие быстро и легко создавать новые изображения, дают возможность фабриковать фейки и поддельные материалы. Они могут нанести вред людям и организациям, отметил эксперт по защите информации, руководитель пресс-службы компании «Код Безопасности» Андрей Горячев.

— Подобное лечат подобным: для обнаружения признаков ИИ-генерации используют те же нейросети. Они анализируют метаданные, ищут артефакты, оставленные моделями, выявляют неестественные движения, несоответствия в человеческой анатомии, аномалии в пейзажах и интерьерах. Такие инструменты, встроенные непосредственно в сервисы, также позволят улучшить итоговые продукты, — прокомментировал он.

Научный сотрудник группы «Контролируемый генеративный ИИ» лаборатории FusionBrain Института AIRI Вера Соболева отметила, что современные ИИ-креаторы уже позволяют надиктовать агенту задумку, добавить визуальные примеры и попросить его составить промпт для изображения или сценарий для видео. По ее словам, технологии также дают возможность точно переносить различные объекты, людей и стили в новые сцены и окружения. Правда, на практике управлять генерацией «только голосом» удается редко. Обычно требуется несколько этапов доработки. Поэтому это всё еще ремесло, а не «волшебная кнопка».

В будущем технологии, вероятно, позволят напрямую превращать мысли в изображения или видеоряд, считает она. Главная сложность при этом заключается не в генерации, а в считывании данных: ИИ пока не умеет расшифровывать сигналы мозга. Тем не менее первые шаги уже сделаны. Например, специалисты по данным МРТ восстанавливают примерные изображения, которые видел человек, а нейроинтерфейсы помогают парализованным пациентам «произносить» слова.