LocalAI — открытый движок для разработчиков и команд, запускающих языковые, визуальные и другие ИИ-модели на собственной инфраструктуре. Команда проекта выпустила версию 4.10.0 17 сентября. Главное изменение для операторов распределённых установок — новая панель управления кластером вместо плоского списка узлов. Она показывает состояние и ресурсы воркеров, размещение реплик моделей и позволяет массово переводить узлы в режим обслуживания, возвращать их в работу или удалять.

Для приватных OCI-реестров, галерей и HTTP-загрузок появился единый файл credentials.yaml. Он поддерживает базовую авторизацию, bearer-токены и произвольные заголовки. Секреты читаются в момент использования, поэтому обновлённые секреты Kubernetes применяются без перезапуска. Разработчики также заявляют маскирование учётных данных в журналах и сообщениях об ошибках.

Новая команда local-ai benchmark измеряет сквозную задержку и пропускную способность настроенных текстовых моделей через API. Она выводит минимальную, среднюю и максимальную задержку, а также число сгенерированных токенов в секунду. Результаты доступны в виде таблицы или JSON.

Релиз затрагивает операторов кластеров LocalAI, команды с моделями в закрытых хранилищах и разработчиков, сравнивающих модели и бэкенды на своём оборудовании. Кроме новых функций, исправлены четыре уязвимости в зависимостях, сбой при запуске на Apple M5 и несколько проблем распределённого режима и CUDA-бэкенда ds4.

Перед обновлением в продакшене стоит проверить 4.10.0 на тестовом окружении, затем перенести разрозненные параметры доступа в credentials.yaml и снять базовые показатели командой benchmark до и после миграции. Полный список изменений опубликован в примечаниях к релизу: https://github.com/mudler/LocalAI/releases/tag/v4.10.0