«Яндекс» представил новые научные исследования про ускорение обучения генеративного ИИ и оптимизацию серверных мощностей

Дата публикации: 08-07-2026 09:38:00

Исследователи и инженеры «Яндекса» представили серию научных работ на International Conference on Machine Learning (ICML) — одной из...

Основное содержимое страницы с новостью.

«Яндекс» представил новые научные исследования про ускорение обучения генеративного ИИ и оптимизацию серверных мощностей

Исследователи и инженеры «Яндекса» представили серию научных работ на International Conference on Machine Learning (ICML) — одной из крупнейших международных конференций по машинному обучению, которая пройдет в Сеуле. Все исследования приняты в основную программу конференции. Они посвящены задачам, которые сегодня стоят перед всей индустрией ИИ: как эффективнее использовать вычислительные ресурсы, ускорить обучение моделей, работать со сложными данными и снизить зависимость от дорогостоящей ручной разметки. Представленные «Яндексом» методы можно использовать при создании современных ИИ-систем. Об этом CNews сообщили представители «Яндекса».

Как эффективнее использовать вычислительные ресурсы

Сегодня одна из главных задач ИИ-индустрии — сделать обучение и работу моделей быстрее без увеличения числа видеокарт. Сразу несколько исследований «Яндекса» предлагают решения этой проблемы.

Одно из них касается графовых нейросетей — моделей, которые анализируют не только объекты, но и связи между ними, например между пользователями и товарами, документами или участками дорожной сети. Исследователи «Яндекса» разработали новые программные модули, которые позволяют гораздо эффективнее использовать память видеокарт. В экспериментах им удалось ускорить вычисления до 8,5 раза, сократить пиковое потребление памяти до 76 раз, а отдельные операции — в 3,9–10 раз. «Яндекс» уже опубликовал код модулей в открытом доступе. Эта работа получила статус Spotlight — его присваивают статьям, получившим самые высокие оценки программного комитета. В 2026 г. такой статус получили 536 работ — всего 2,2% от всех поданных.

Другое исследование посвящено ускорению обучения больших языковых моделей. При их обучении методом конвейерного параллелизма (Pipeline Parallelism) часть видеокарт простаивает в ожидании других устройств. Асинхронные схемы позволяют устранить эти простои, но считалось, что из-за задержки градиентов схемы фундаментально нестабильны для LLM. Исследователи «Яндекса» показали, что деградация качества связана не с самой задержкой, а с выбором алгоритма оптимизации. Классический AdamW действительно чувствителен к устаревшим градиентам, тогда как современные методы, такие как Muon, обладают высокой устойчивостью к задержке. Чтобы дополнительно сократить ошибку асинхронного обновления, исследователи внедрили легковесную коррекцию, вдохновленную Error-Feedback, на уровне шагов оптимизатора. В результате на моделях Mixture of Experts (MoE) размером 10 млрд параметров, обученных на 200 млрд токенов, асинхронный метод достиг качества, в точности идентичного синхронному обучению.

В еще одной статье исследователи «Яндекса» рассказывают, как сделать обучение моделей более эффективным. Они предложили два новых алгоритма оптимизации — SoftSignum и SoftMuon. Именно такие алгоритмы определяют, как модель обновляет свои параметры во время обучения. В экспериментах новые методы стабильно превосходили несколько распространенных подходов, в том числе AdamW.

Как работать со сложными данными

Для графовых задач исследователи разработали GraphPFN — модель, предварительно обученную более чем на 1,6 млн синтетических графов. Она показывает высокое качество даже без дополнительной настройки, а после адаптации под конкретную задачу превосходит все рассмотренные в работе подходы на большинстве реальных наборов данных. Такой подход позволяет быстрее создавать модели для новых задач и требует меньше данных для обучения.

ИИ-трансформация BPM-систем: что происходит в 2026 году цифровизация

Авторы другого исследования показали, что современные нейросети лучше работают с таблицами, если умеют учитывать неопределенность в данных, и предложили более эффективный способ представления числовых признаков.

Как обучать модели при нехватке данных

Обычно во многих прикладных задачах хватает данных, а вот качественной разметки недостаточно. Это особенно заметно в медицине, промышленности и других областях, где разметка требует участия экспертов.

Чтобы решить эту проблему, «Яндекс» совместно с другими исследователями предложил подход, который позволяет использовать небольшое количество размеченных данных вместе с большим объемом неразмеченных. Это помогает обучать модели в задачах, где получение новых размеченных данных слишком дорого или занимает много времени.

Как ускорить поиск и рекомендации

Отдельная работа «Яндекса» посвящена поисковым и рекомендательным системам. Во многих таких задачах самая точная модель требует слишком много вычислений, чтобы применять ее ко всем возможным вариантам. Новый метод «Яндекса» помогает заранее отбирать наиболее подходящих кандидатов для последующей точной оценки, сокращая вычислительные затраты.

• Новое поколение BI с ИИ-агентами

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	«Яндекс» представил новые научные исследования про ускорение обучения генеративного ИИ и оптимизацию серверных мощностей	5	7	08-07-2026
2	«Яндекс» выложил в открытый доступ модель семейства нейросетей YandexGPT	0	7	25-02-2025
3	«Яндекс» запустил ИИ-ассистента для медицинских учреждений	0	5	25-06-2026
4	«Яндекс» представил открытое решение на базе большой языковой модели для ускорения миграции iOS-кода на Swift	0	7	05-05-2026
5	«Яндекс» предоставит вузам и юридическим клиникам гранты на использование «Нейроюриста»	0	5	25-06-2026
6	Школа анализа данных «Яндекса» выпустила рекордное число специалистов в сфере ИИ	5	7	06-07-2026
7	«Яндекс» предоставит вузам и юридическим клиникам гранты на использование «Нейроюриста»	0	5	25-06-2026
8	Сервисы «Яндекса» научились понимать якутскую речь	0	5	08-07-2026
9	Сервисы «Яндекса» научились понимать якутскую речь	5	7	08-07-2026
10	«Алиса AI» получила платформу для создания ИИ-агентов	0	5	29-06-2026

Классификация: Наука. Схожих патентов: 0. Схожих новостей: 10. Тональность: 5. Информативность: 7. Источник: www.cnews.ru.