Инфраструктура для масштабных данных

RustFS спроектирован для масштабирования: технологического, операционного и экономического. Базовый масштаб.

RustFS работает где угодно и в любых облаках, но обычно — на коммерческих серверах с локально подключенными дисками (JBOD/JBOF). Все серверы в кластере функционально равны (полностью симметричная архитектура). Нет ни именованных узлов (NameNode), ни серверов метаданных.

RustFS записывает данные и метаданные вместе как объект, без отдельной БД метаданных. Все функции (erasure coding, проверка на bitrot, шифрование) выполняются inline и строго согласованно. В результате RustFS обладает исключительной устойчивостью.

Каждый кластер RustFS — это набор распределенных серверов RustFS, по одному процессу на узел. RustFS работает в пространстве пользователя как один процесс и использует легковесные корутины для высокой степени параллелизма. Диски группируются в наборы EC (см. калькулятор параметров), а размещение объектов на наборах выполняется детерминированным хешированием.

RustFS создан для масштабных, мульти-ДЦ облачных сервисов хранения. Каждый арендатор запускает собственный кластер RustFS, полностью изолированный от других, что защищает от сбоев при апгрейдах, обновлениях и инцидентах безопасности. Каждый арендатор масштабируется независимо за счет федерации кластеров по географии.