Возможности хранения

В основе RustFS лежит совместимое с S3 объектное хранилище, благодаря чему с ним можно использовать существующие приложения, библиотеки и инструменты, рассчитанные на работу с S3 API.

В версии 1.0.0 заявлены управление жизненным циклом сегментов хранения и объектов, многосоставная загрузка больших файлов (multipart upload), кодирование с устранением избыточности (erasure coding), распределение данных между уровнями хранения (data tiering) и репликация.

Система поддерживает горизонтальное масштабирование пулов хранения, перераспределение данных и автоматическое восстановление узлов. Пулы хранения позволяют объединять ресурсы нескольких узлов и постепенно увеличивать доступную ёмкость по мере роста инфраструктуры.

S3 Tables и Apache Iceberg

В сентябре RustFS представил встроенную поддержку S3 Tables. При этом в документации проекта функция пока обозначена как предварительная (preview).

Реализация использует Apache Iceberg REST Catalog непосредственно внутри системы хранения. В результате один экземпляр RustFS может одновременно предоставлять стандартный S3 API и интерфейс Iceberg REST Catalog.

Это позволяет использовать RustFS не только для хранения обычных объектов — файлов, изображений, видео и других данных, — но и для работы с табличными данными.

К каталогу Iceberg можно подключать такие инструменты, как Apache Spark, DuckDB и PyIceberg, используя стандартный REST-интерфейс. При этом сами файлы в формате Parquet продолжают храниться в RustFS через S3 API.

Дополнительные протоколы

Помимо S3 API, RustFS предоставляет несколько дополнительных интерфейсов:

• WebDAV;
• Swift API;
• FTP/FTPS;
• MCP.

Безопасность и управление

Для администрирования предусмотрены IAM, OIDC, интеграция с системами управления ключами (KMS), серверное шифрование данных, STS, аудит безопасности и взаимная TLS-аутентификация (mTLS).

Система также поддерживает многопользовательские конфигурации и средства наблюдаемости, включая OpenTelemetry.

Развёртывание и миграция

RustFS можно развернуть несколькими способами: в виде готового исполняемого файла, Docker-контейнера или в Kubernetes. Поддерживаются Linux, Windows и macOS.

Отдельным направлением проекта является миграция с MinIO. Разработчики RustFS заявляют возможность перехода с MinIO посредством замены исполняемого файла или контейнерного образа без переноса самих данных в определённых сценариях. При этом конкретную совместимость необходимо проверять в зависимости от используемых возможностей MinIO.

Дальнейшее развитие

В ближайших планах команды — дальнейшее повышение стабильности и надёжности RustFS по мере накопления опыта использования системы в производственных средах.

Следующим крупным направлением разработчики называют поддержку S3 Vectors.

В более долгосрочной перспективе команда планирует RustFS 2.0, ориентированный непосредственно на инфраструктуру искусственного интеллекта и центры обработки данных для AI-нагрузок.

В частности, дальнейшее развитие проекта связано с использованием технологий RDMA и DPU. Разработчики рассматривают возможность переноса части операций, связанных с кодированием с устранением избыточности и шифрованием, на специализированные аппаратные устройства.

Таким образом, RustFS постепенно развивается от совместимого с S3 объектного хранилища в сторону универсальной платформы для хранения и обработки больших объёмов данных, включая инфраструктуру для современных систем искусственного интеллекта.