Доки Арута

Выбор системы управления логами

2 min read

Options

Cloud

В РФ актуальны два managed-сервиса для сбора и управления логами:

Очевидно, первый вариант предпочтительнее для интеграции в уже разрабатываемую мной инфраструктуру, размещенную в Yandex Cloud.
Managed-сервисы в относительно простых проектах облегчают управление, обеспечивают autoscaling, отказоустойчивость и снижают операционные затраты.

Selfhosted

EFK/ELK оправдывает свою затратность, ресурсоемкость и требовательность к администрировании при внедрении в проекты с высокими требованиями к контролю, кастомизации, гибкости.
PLG эффективен и менее требователен к ресурсам. Тесно интегрирован с Grafana, Prometheus.

Расчет стоимости

Как я отметил выше, YCL предпочтительнее, поэтому расчеты буду производить для него:

Текущие потребностиПотребности через три месяца
Кол-во сообщений в секунду11500
Средний размер сообщения1 KB2 KB
Данных в сутки≈ 86 KB≈ 253 MB
Данных в месяц≈ 2,6 MB≈ 7,6 GB
Тарифицируемый объём0 МБПревышение в 2,6 GB
Тариф хранения0 МБПревышение в 6,6 GB
Стоимость записиБесплатно≈ 65 ₽
Стоимость храненияБесплатно≈ 166 ₽

Подытоживая унылую таблицу

Yandex Cloud Logging:

  • на данный момент полностью покрывает потребности бесплатным лимитом
  • через три месяца всё еще будет относительно дешевым решением
    (если прогноз прироста нагрузки окажется точным)

В сторону selfhosted решений стоит смотреть, если появятся требования по кастомизации, изоляции логов или объемы серьезно вырастут (до десятков-сотен ГБ в месяц).

Обоснование

В итоге, был выбран Yandex Cloud Logging для управления логами на текущий момент и через три месяца.
Логи собирать и отправлять в YCL будет Fluentbit.

Причины/мотивы выбора:

  • Желание попробовать новый managed-сервис для получения большего опыта работы с облачными платформами
  • Низкая стоимость
  • Легкая интеграция
  • Легкое управление