«Яндекс» начал разрабатывать единую модель для генерации и редактирования изображений

Инженеры и исследователи «Яндекса» разработали Alice AI ART 2.0 — первую версию единой нейросетевой модели компании, которая совмещает генерацию изображений по текстовому запросу и их редактирование по инструкции пользователя. Об этом CNews сообщил представитель «Яндекса».

Раньше генерация и редактирование изображений развивались как два независимых технологических стека со своими моделями, данными, метриками и процессами обучения. Любое улучшение приходилось внедрять отдельно для каждой системы. Переход к единой модели позволит объединить оба сценария в общей архитектуре, благодаря чему знания, полученные при обучении генерации изображений, автоматически используются и при их редактировании.

По словам Сергея Кастрюлина, исследователя Yandex Research, особенно заметен такой перенос знаний при работе с редкими визуальными концептами. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоваром, она сможет корректно использовать эти же объекты при редактировании существующих изображений без дополнительного обучения на специализированных наборах данных.

Технической основой обновления стала архитектура на базе трансформера с единым механизмом обработки текста и изображений. Для более точного выполнения пользовательских инструкций разработчики также внедрили отдельный модуль, который преобразует короткий запрос в более подробное описание задачи для модели. По внутренним оценкам компании, это позволило повысить точность следования инструкциям при редактировании изображений примерно на 12% без изменения самой генеративной модели.

Отдельное внимание разработчики уделили генерации текста внутри изображений. Для обучения модели были подготовлены специализированные наборы данных на русском и английском языках, что позволило повысить качество работы с надписями. После запуска Alice AI ART 2.0 количество скачиваний результатов в сценариях работы с текстом на изображениях выросло на 37%, а число запросов на генерацию конкретных персонажей — на 23%.

Во внутренних сравнительных тестах по методике Bradley—Terry Alice AI ART 2.0 заняла второе место среди международных аналогов в генерации изображений по текстовому запросу, уступив только Gemini 3.1 Flash от Google. В задачах редактирования изображений модель вошла в группу мировых лидеров, а по точности выполнения пользовательских инструкций стала лучшей среди открытых моделей.

Технология уже используется в приложениях «Алиса AI» и «Шедеврум».

• Что лучше — ГЛОНАСС или GPS: главные различия систем навигации