トップ OSS紹介 Embulk

Embulk

NRIのOpenStandiaが提供するEmbulk最新情報

バージョンアップ情報

Embulk情報

Embulkとは

Embulkはオープンソースのプラガブルなデータローダーで、さまざまなプラグインからの入出力に対応しています。EmbulkはFluentdを開発したTreasure Data, IncのSadayuki Furuhashi氏によって開発されており、日次等で実行するバルク処理に特化したツールとなっています。

主な特徴

プラグインベースの作りでInput、Output部とデータ処理を行うExecutor部からなっています。Executor部はJavaによる実装で、Input、Output プラグインは、JavaやRubyの実装があり、Rubyを処理するためにJRubyが使われています。Input、Outputに関するものがメインですが3rd-partyを含め多数のプラグインがRubyGemとして提供されています。また望みのプラグインがない場合には、RubyやJava(Scalaなど)で開発が可能です。

Executor部

Executor プラグインで構成

並列処理の制御などを実施する

Input部

Decoder、Parserプラグインで構成

圧縮・暗号化のデコードやファイル形式の解析などを実施する

Output部

Encoder、Formatterプラグインで構成

圧縮・暗号化のエンコードやファイル形式のフォーマットなどを実施する

Input、Outputプラグインの設定はYAML形式で記述します。設定により柔軟に動作を定義することが可能なため、多くのシチュエーションをカバーすることができます。

動作環境

  • 各種Linuxディストリビューション
  • macOS
  • Windows

稼働させるためにはJavaが必要になります。正式にサポートされているバージョンは下記になります。

  • Java 8

Embulkのライセンス

EmbulkのライセンスはApache License 2.0となっており、ユーザーはそのソフトウェアの使用や頒布、修正、派生版の頒布をすることに制限を受けません。

オープンソース年間サポートサービス

OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。

お気軽にお問い合わせください

関連OSS

  • Logstash

    Logstash

    ログスタッシュ。Elastic社により開発された、データ収集ツールです。

  • Fluentd
    サポート対象

    Fluentd

    フルエントディ。様々なデバイスやシステムからログ収集を行い、NoSQLデータベースやテキストなど様々フォーマットに変換・格納するログコネクタです。

  • Fluent Bit
    サポート対象

    Fluent Bit

    フルエントビット。C言語で書かれたクラウド及びコンテナ環境に適した、ログの収集、配布を行うオープンソースのログプロセッサーツールです。

オープンソースに関する様々な課題、OpenStandiaがまるごと解決します。
下記コンテンツも
あわせてご確認ください。