Несмотря на экспортные ограничения США, китайские разработчики продолжают наращивать вычислительные мощности. Moonshot AI выпустила Kimi K3 — модель с 2,8 триллиона параметров. Для сравнения: у GPT-3 было 175 миллиардов, то есть новая модель в 16 раз больше.

 Источник изображения: Moonshot AI

Kimi K3 работает по схеме Mixture of Experts: из 896 специализированных блоков на каждый запрос активируется только 16 (около 1,8%). Это позволяет экономить ресурсы. Объем контекстного окна — 1 миллион токенов, модель поддерживает распознавание изображений.

В тесте Frontend Code Arena, где разработчики вслепую оценивают качество кода, Kimi K3 набрала 1679 очков и заняла первое место, обойдя Claude Fable 5. При этом в общем рейтинге она уступает топовым моделям Anthropic и OpenAI. Цены за использование: 0,30 доллара за миллион входных токенов при попадании в кеш, 3 доллара без кеша и 15 долларов за миллион выходных токенов.

Архитектурные новшества — Kimi Delta Attention и Attention Residuals — позволили повысить эффективность в 2,5 раза по сравнению с прошлой версией. Обучение проходило на Nvidia H200 и неуказанном китайском ускорителе. Компания рекомендует запускать модель на кластерах из 64 и более ускорителей. Полные веса станут доступны 27 июля.

В одном из тестов Kimi K3 за 48 часов автономной работы спроектировала чип для логических операций на открытых инструментах, уложив 1,46 миллиона транзисторов на площади 4 мм². В феврале Anthropic обвиняла Moonshot в использовании 3,4 миллиона своих диалогов для обучения через дистилляцию — теперь K3 приблизилась к показателям тех самых моделей.