• CNews FORUM 12 ноября
• CNews AWARDS 12 ноября
• Школа Роста
• СУБД в эпоху ИИ
• КИИ в облаке
• 10 лет российского бэкапа
• SDN: Сеть как дом
• История облаков
• 30 лет ERP России
• Цифровизация
• Импортозамещение
• Безопасность
• ИТ в госсекторе
• ИТ в банках
• ИТ в торговле
• Телеком
• ИТ-бизнес
• Рейтинги

26 Октября 2026 17:45 26 Окт 2026 17:45 |

Ученые МФТИ разработали SimplexLoRA — метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Подход повышает качество моделей без увеличения ресурсов и не создает дополнительной нагрузки при их последующем использовании. Статья будет представлена на ведущей конференции по анализу текстовых данных EMNLP 2026 в Будапеште в октябре. Об этом CNews сообщили представители МФТИ.

Большие языковые модели редко обучают заново для каждой отдельной задачи. Это требует огромных вычислительных ресурсов, времени и памяти. Вместо этого разработчики применяют методы параметрически эффективного дообучения с помощью небольших дополнительных модулей — адаптеров. LoRA – один из самых распространенных методов такого типа.

Этот подход позволяет быстро приспособить универсальную модель к анализу текстов, ответам на вопросы, решению математических задач и другим сценариям. Однако есть ограничение: адаптеры обычно имеют одинаковый размер во всех слоях нейросети. При этом разные слои модели неодинаково влияют на результат — одним для освоения новой задачи требуется больше ресурсов, другим достаточно меньшего объема.

Ученые МФТИ совместно с исследователями из «Т-Технологий» представили новый способ, который может увеличивать или уменьшать адаптер в зависимости от того, что было выучено в начале обучения. Исследователи предложили распределять фиксированный бюджет между слоями автоматически. Разработанный ими метод SimplexLoRA в начале дообучения оценивает, каким участкам нейросети необходимы более крупные адаптеры, а каким можно назначить меньшие. Общий объем обучаемых параметров при этом не меняется: алгоритм не добавляет новые ресурсы, а перераспределяет уже имеющиеся, в отличие от существующих методов адаптивного распределения ресурсов, которые часто усложняют процесс обучения, увеличивают число параметров или требуют дополнительных вычислений во время работы модели. Обучение происходит поэтапно: распределение ресурсов, далее стандартное LoRA обучение с новыми размерами.

«Вместо того чтобы назначать всем слоям одинаковые адаптеры, мы позволяем модели определить, где ограниченный бюджет параметров принесёт наибольшую пользу. Особенно заметный эффект возникает при небольших рангах, когда каждый обучаемый параметр имеет значение», — сказал соавтор исследования и научный руководитель лаборатории BRAIn Lab Александр Безносиков.

Эффективность метода проверили на 12 задачах, среди которых анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались четыре языковые модели разного размера, включая Llama 3.1 8B и Qwen3-8B.

Low/no-code-революция: новая архитектура цифровой независимости Конференция

Новый метод также показал устойчивость к выбору настроек. По данным авторов, для получения стабильных результатов разработчикам не требуется проводить длительный поиск оптимальных параметров: в большинстве случаев достаточно рекомендованных в работе значений.

«SimplexLoRA сохраняет главные практические преимущества стандартного LoRA: небольшой объём обучаемых параметров, простоту интеграции и отсутствие дополнительных вычислений при использовании модели. При этом ресурсы распределяются с учетом реальной значимости отдельных слоёв для конкретной задачи», — сказал один из авторов статьи, научный сотрудник лаборатории BRAIn Lab Андрей Веприков.

Метод может быть полезен при настройке языковых моделей в условиях ограниченной вычислительной мощности — например, когда разработчики располагают небольшим объёмом видеопамяти или должны минимизировать стоимость обучения. Благодаря совместимости со стандартным LoRA подход можно внедрять в существующие системы без существенной переработки программного кода.

Исходный код SimplexLoRA опубликован в открытом доступе.