Fluent Bit

サポート対象

NRIのOpenStandiaが提供するFluent Bit最新情報

バージョンアップ情報
Fluent Bit情報

バージョンアップ情報

一覧を見る

Fluent Bit情報

Fluent Bitとは
主な特徴
動作環境
Fluent Bitのライセンス
参考情報
オープンソース年間サポートサービス

Fluent Bitとは

Fluent Bit(フルエントビット)は、C言語で書かれたクラウド及びコンテナ環境に適した、ログの収集、配布を行うオープンソースのログプロセッサツールです。
Fluent BitはFluentd傘下のCNCF(Cloud Native Computing Foundation)サブプロジェクトで、2014年に組み込みLinuxやゲートウェイなどの制約のある環境向け軽量ログプロセッサとしてTreasure Data社のFluentdチームにより開発され、Fluentdエコシステムの一部として、Fluent Bitと名付けられました。

CNCF(Cloud Native Computing Foundation)

主な特徴

Fluent Bitは軽量で高速、パフォーマンスを重視したアーキテクチャになっており、以下のような特徴があります。

スケーラブル	分散クラウドおよびコンテナ環境で実証済み。ディザスターリカバリーデータを格納する I/O ハンドラーによる高可用性。
フレキシブル	データ解析とルーティングの詳細な管理。セキュリティの最適化と、コストを最小限に抑えるためのフィルタリングとエンリッチメント。
効率的	軽量の非同期設計により、CPU、メモリ、ディスク I/O、ネットワークなどのリソースの使用が最適化されOOMエラーを未然に防ぎます。
拡張性	クラウドネイティブサービス、コンテナ、ストリーミングプロセッサ、データバックエンドなど、多くのテクノロジーとの統合。

FluentdとFluent Bitは、どちらもアグリゲーター、フォワーダーとして機能し、相互に補完することも可能です。下記のような違いがあり、エンドユーザーのニーズによって選択することになります。

	Fluentd	Fluent Bit
スコープ	コンテナ、サービス	組み込み Linux、コンテナ、サービス
開発言語	C言語、Ruby	C言語
使用メモリ	~60MB	~1MB
パフォーマンス	ミディアムパフォーマンス	ハイパフォーマンス
依存関係	Ruby Gemで構築されているため、いくつかのgemが必要です。	特別なプラグインを使用しない限り依存関係はありません。
プラグイン	1000以上のプラグインが利用可能。	約100のプラグインが利用可能。
ライセンス	Apache License v2.0	Apache License v2.0

参考：https://docs.fluentbit.io/manual/about/fluentd-and-fluent-bit

Fluent Bitの一般的なデプロイメントとして、以下の3つのパターンがあります。

１． Forwarder/Aggregator デプロイメント

エッジデバイスにフォワーダーと呼ばれる軽量のインスタンスをデプロイし、フォワーダーは最小限の処理を行い、アグリゲーターがフィルタリング処理やバックエンドへのルーティングを行います。

https://fluentbit.io/blog/2020/12/03/common-architecture-patterns-with-fluentd-and-fluent-bit/

メリット

エッジデバイスの性能低下防止
アグリゲーター層のスケーリングが可能
バックエンドの追加が容易

デメリット

アグリゲーター用の専用リソースが必要

２． Sidecar/Agent デプロイメント

Fluent bit をサイドカー/エージェントとしてデプロイし、バックエンドサービスに直接データを送信します。

https://fluentbit.io/blog/2020/12/03/common-architecture-patterns-with-fluentd-and-fluent-bit/

メリット

アグリゲーターが不要

デメリット

エージェントの構成を変更するのが簡単ではない。
バックエンドの追加が簡単ではない。

３． Network Device/Syslog aggregator

Fluent bit(およびFluentd)は、CNCFプロジェクトですが、ネットワークデバイス/syslog/ファイアウォールデバイスなどの従来のログインフラストラクチャとも連携出来ます。最も一般的な入力としてsyslogが挙げられます。

https://fluentbit.io/blog/2020/12/03/common-architecture-patterns-with-fluentd-and-fluent-bit/

メリット

エージェントは不要。主にsyslogから読み込む。
データ送信後のIPリダイレクションなどを追加し、スケーリングが可能。

デメリット

入力によっては処理を追加する必要がある。
ブラックボックスネットワークデバイスでは、トラブルシューティングが複雑になる場合がある。

動作環境

コンテナーデプロイメントは、Kubernetes、Docker、AWSに対応しています。
Linux向けには以下のディストリビューション向けパッケージが用意されてます。

OS	バージョン
CentOS / Red Hat	CentOS 7、CentOS 8、CentOS 9 Stream
Ubuntu	Ubuntu 16.04 LTS、Ubuntu 18.04 LTS、Ubuntu 20.04 LTS、Ubuntu 22.04 LTS
Debian	Debian 10、Debian 11、Debian 12
Amazon Linux	Amazon Linux 2、Amazon Linux 2022
Raspbian / Rasberry Pi	Raspbian 10、Raspbian 11
Yocto / Embedded Linux	Yocto / Embedded Linux