バージョンアップ情報
Embulk情報
Embulkとは
Embulkはオープンソースのプラガブルなデータローダーで、さまざまなプラグインからの入出力に対応しています。EmbulkはFluentdを開発したTreasure Data, IncのSadayuki Furuhashi氏によって開発されており、日次等で実行するバルク処理に特化したツールとなっています。
主な特徴
プラグインベースの作りでInput、Output部とデータ処理を行うExecutor部からなっています。Executor部はJavaによる実装で、Input、Output プラグインは、JavaやRubyの実装があり、Rubyを処理するためにJRubyが使われています。Input、Outputに関するものがメインですが3rd-partyを含め多数のプラグインがRubyGemとして提供されています。また望みのプラグインがない場合には、RubyやJava（Scalaなど）で開発が可能です。
Executor部
Executor プラグインで構成
並列処理の制御などを実施する
Input部
Decoder、Parserプラグインで構成
圧縮・暗号化のデコードやファイル形式の解析などを実施する
Output部
Encoder、Formatterプラグインで構成
圧縮・暗号化のエンコードやファイル形式のフォーマットなどを実施する
Input、Outputプラグインの設定はYAML形式で記述します。設定により柔軟に動作を定義することが可能なため、多くのシチュエーションをカバーすることができます。
動作環境
- 各種Linuxディストリビューション
- macOS
- Windows
稼働させるためにはJavaが必要になります。正式にサポートされているバージョンは下記になります。
- Java 8
Embulkのライセンス
EmbulkのライセンスはApache License 2.0となっており、ユーザーはそのソフトウェアの使用や頒布、修正、派生版の頒布をすることに制限を受けません。
オープンソース年間サポートサービス
OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。
関連OSS
-
Logstash
ログスタッシュ。Elastic社により開発された、データ収集ツールです。
-
サポート対象Fluentd
フルエントディ。様々なデバイスやシステムからログ収集を行い、NoSQLデータベースやテキストなど様々フォーマットに変換・格納するログコネクタです。
-
サポート対象Fluent Bit
フルエントビット。C言語で書かれたクラウド及びコンテナ環境に適した、ログの収集、配布を行うオープンソースのログプロセッサーツールです。
あわせてご確認ください。