Fluent Bit情報
Fluent Bitとは
Fluent Bit(フルエントビット)は、C言語で書かれたクラウド及びコンテナ環境に適した、ログの収集、配布を行うオープンソースのログプロセッサツールです。
Fluent BitはFluentd傘下のCNCF(Cloud Native Computing Foundation)サブプロジェクトで、2014年に組み込みLinuxやゲートウェイなどの制約のある環境向け軽量ログプロセッサとしてTreasure Data社のFluentdチームにより開発され、Fluentdエコシステムの一部として、Fluent Bitと名付けられました。
主な特徴
Fluent Bitは軽量で高速、パフォーマンスを重視したアーキテクチャになっており、以下のような特徴があります。
|
スケーラブル |
分散クラウドおよびコンテナ環境で実証済み。 |
|---|---|
|
フレキシブル |
データ解析とルーティングの詳細な管理。 |
|
効率的 |
軽量の非同期設計により、CPU、メモリ、ディスク I/O、ネットワークなどのリソースの使用が最適化されOOMエラーを未然に防ぎます。 |
|
拡張性 |
クラウドネイティブサービス、コンテナ、ストリーミングプロセッサ、データバックエンドなど、多くのテクノロジーとの統合。 |
FluentdとFluent Bitは、どちらもアグリゲーター、フォワーダーとして機能し、相互に補完することも可能です。下記のような違いがあり、エンドユーザーのニーズによって選択することになります。
|
Fluentd |
Fluent Bit |
|
|---|---|---|
|
スコープ |
コンテナ、サービス |
組み込み Linux、コンテナ、サービス |
|
開発言語 |
C言語、Ruby |
C言語 |
|
使用メモリ |
~60MB |
~1MB |
|
パフォーマンス |
ミディアムパフォーマンス |
ハイパフォーマンス |
|
依存関係 |
Ruby Gemで構築されているため、いくつかのgemが必要です。 |
特別なプラグインを使用しない限り依存関係はありません。 |
|
プラグイン |
1000以上のプラグインが利用可能。 |
約100のプラグインが利用可能。 |
|
ライセンス |
Apache License v2.0 |
Apache License v2.0 |
Fluent Bitの一般的なデプロイメントとして、以下の3つのパターンがあります。
１． Forwarder/Aggregator デプロイメント
エッジデバイスにフォワーダーと呼ばれる軽量のインスタンスをデプロイし、フォワーダーは最小限の処理を行い、アグリゲーターがフィルタリング処理やバックエンドへのルーティングを行います。
メリット
- エッジデバイスの性能低下防止
- アグリゲーター層のスケーリングが可能
- バックエンドの追加が容易
デメリット
- アグリゲーター用の専用リソースが必要
２． Sidecar/Agent デプロイメント
Fluent bit をサイドカー/エージェントとしてデプロイし、バックエンドサービスに直接データを送信します。
メリット
- アグリゲーターが不要
デメリット
- エージェントの構成を変更するのが簡単ではない。
- バックエンドの追加が簡単ではない。
３． Network Device/Syslog aggregator
Fluent bit(およびFluentd)は、CNCFプロジェクトですが、ネットワークデバイス/syslog/ファイアウォールデバイスなどの従来のログインフラストラクチャとも連携出来ます。最も一般的な入力としてsyslogが挙げられます。
メリット
- エージェントは不要。主にsyslogから読み込む。
- データ送信後のIPリダイレクションなどを追加し、スケーリングが可能。
デメリット
- 入力によっては処理を追加する必要がある。
- ブラックボックスネットワークデバイスでは、トラブルシューティングが複雑になる場合がある。
動作環境
コンテナーデプロイメントは、Kubernetes、Docker、AWSに対応しています。
Linux向けには以下のディストリビューション向けパッケージが用意されてます。
|
OS |
バージョン |
|---|---|
|
CentOS / Red Hat |
CentOS 7、CentOS 8、CentOS 9 Stream |
|
Ubuntu |
Ubuntu 16.04 LTS、Ubuntu 18.04 LTS、Ubuntu 20.04 LTS、Ubuntu 22.04 LTS |
|
Debian |
Debian 10、Debian 11、Debian 12 |
|
Amazon Linux |
Amazon Linux 2、Amazon Linux 2022 |
|
Raspbian / Rasberry Pi |
Raspbian 10、Raspbian 11 |
|
Yocto / Embedded Linux |
Yocto / Embedded Linux |
Windows向けとして、Windows Server 2019、Windows 10(2019.03)向けのインストーラも存在しています。
また、Mac向けとして、homebrewのインストーラも存在します。
Fluent Bitのライセンス
Fluent Bitのライセンスは、「Apacheライセンスバージョン2」（Apache License version2）というライセンスに基づいて公開され、営利、非営利を問わず、誰でも自由かつ無償で利用・改変・再配布できるようになっています。
オープンソース年間サポートサービス
OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。
関連OSS
-
Logstash
ログスタッシュ。Elastic社により開発された、データ収集ツールです。
-
サポート対象Fluentd
フルエントディ。様々なデバイスやシステムからログ収集を行い、NoSQLデータベースやテキストなど様々フォーマットに変換・格納するログコネクタです。
-
サポート対象Elasticsearch
エラスティックサーチ。Elastic社が開発するオープンソースの全文検索エンジンです。