Журналы и аудит

При отслеживании состояния и производительности любой системы критически важны метрики и логирование. RustFS обеспечивает полную видимость кластера благодаря подробному мониторингу производительности хранилища, метрикам и журналам по каждой операции. В результате получается надежное, прозрачное и эффективное решение для мониторинга объектного хранилища, оповещений и наблюдаемости.

Функциональные возможности

Мониторинговые метрики

Предоставляет полный сбор системных метрик и метрик производительности.

Ведение журналов

Записывает подробные журналы по каждой операции с поддержкой аудиторского следа.

Мониторинг метрик

RustFS экспортирует широкий спектр детализированных аппаратных и программных метрик через совместимые с Prometheus конечные точки. Prometheus — это облачно-нативная платформа мониторинга с многомерной моделью данных, в которой временные ряды идентифицируются именами метрик и парами ключ/значение. RustFS включает панель мониторинга хранилища, использующую Grafana для визуализации собранных метрик. Экосистема Prometheus включает множество интеграций для маршрутизации метрик RustFS в службы хранения, обмена сообщениями и оповещений.

RustFS публикует через Prometheus-эндпоинты различные тонкие аппаратные и программные метрики, включая сведения о состоянии, такие как сбои дисков или узлов, общая доступная емкость хранилища и емкость по каждому диску. Используя Prometheus и его растущую популярность как ведущей платформы для сбора и анализа метрик, RustFS может сосредоточиться на функциональности объектного хранилища вместо создания множества специализированных адаптеров мониторинга данных для сторонних систем аналитики/визуализации/оповещений.

Оператор RustFS для Kubernetes может автоматически развертывать, настраивать и управлять развертываниями Prometheus и сбором метрик для каждого арендатора. Организации также могут направлять собственные экземпляры Prometheus или совместимые системы на каждого арендатора для централизованного мониторинга в разных поставщиках, дата-центрах и инструментах визуализации/аналитики.

RustFS также предоставляет конечную точку проверки состояния (health check) для зондирования живости узлов и кластера. Простая команда CURL позволяет определить, является ли конкретный узел здоровым или имеет ли кластер кворум на чтение/запись.

Аудиторские журналы

Включение аудиторского логирования RustFS указывает системе генерировать журналы по каждой операции в кластере. Каждая операция порождает аудиторскую запись с уникальным идентификатором и подробными сведениями о клиенте, объекте, корзине и всех прочих метаданных, относящихся к операции. RustFS записывает журнальные данные на настроенную конечную точку HTTP/HTTPS webhook. Доступны пользовательские адаптеры для удовлетворения специфических требований к целям аудиторского логирования.

RustFS поддерживает настройку аудиторского логирования через UI консоли RustFS и через инструмент командной строки RustFS mc. Для сред Kubernetes оператор RustFS автоматически настраивает консоль с интеграцией LogSearch, что позволяет визуально анализировать собранные аудиторские журналы.

Уведомления RustFS Lambda обеспечивают дополнительную поддержку логирования. RustFS может автоматически отправлять события по корзинам и объектам во внешние приложения для событийно-ориентированной обработки, например безсерверные или функции как сервис. Уведомления RustFS Lambda через webhook поддерживают такие цели, как RabbitMQ, Kafka, Elasticsearch и произвольные сервисы.

RustFS также поддерживает трассировку HTTP/S операций в реальном времени через консоль RustFS и команду оболочки RustFS mc admin trace.

Архитектура

RustFS публикует метрики через совместимые с Prometheus HTTP(S)-эндпоинты, при этом служба Prometheus обеспечивает push/pull-доступ к этим метрикам. Оператор RustFS для Kubernetes развертывает для каждого предварительно настроенного арендатора RustFS отдельный сервис Prometheus для сбора метрик арендатора. Организации также могут развернуть или использовать собственный централизованный сервис Prometheus для сбора метрик арендаторов.

Уведомления RustFS Lambda автоматически направляют уведомления о событиях в поддерживаемые целевые сервисы, такие как Kafka, Elasticsearch или PostgreSQL. Администраторы могут определять правила уведомлений на уровне корзин с указанием событий S3 и детализированных фильтров для объектов, по которым RustFS генерирует события. Уведомления RustFS Lambda встроены в сервис объектного хранилища RustFS и требуют лишь доступа к удаленным целям уведомлений.

Требования

Для метрик

BYO Prometheus или используйте Kubernetes Operator для автоматического развертывания/настройки на каждого арендатора.

Для поиска по журналам

BYO PostgreSQL или используйте Kubernetes Operator для автоматического развертывания/настройки на каждого арендатора.

Для журналов

Поддерживаются сторонние цели уведомлений.