Embulk とは?

Embulk

Embulk

NRIのOpenStandiaが提供するEmbulk最新情報

Embulkの保守サポートサービスの内容はこちら Embulkの導入については、こちらのフォームからお問い合わせ下さい OSS全般の事例紹介はこちら

Embulkバージョンアップ情報

すべてを見る

更新日:2021-11-17

Embulkの概要

オープンソースの並列バルクデータローダーで、プラグインベースでいろいろな入出力先に対応していることも特徴です。EmbulkはFluentdを開発したTreasure Data, IncのSadayuki Furuhashi氏によって開発されていることもあり、Fluentdのバッチ処理版として捉えられています。

TOPに戻る

Embulkの主な特徴

プラグインベースの作りでInput、Output部とデータ処理を行うExecutor部からなっています。Executor部はJavaによる実装で、Input、Output プラグインは、JavaやRubyの実装があります。Rubyを処理するためにJRubyが使われています。Input、Outputに関するものがメインですが3rd-partyを含め多数のプラグインがRubyGemとして提供されています。また望みのプラグインがない場合には、RubyやJava(Scalaなど)で開発が可能です。

Executor

並列処理
データバリデーション
エラーリカバリ

Input

Decoder、Parserのプラグインで構成

Output

Encoder、Formatterプラグインで構成

Embulkのプラグイン一覧
https://plugins.embulk.org/#executor

Input、Outputプラグインの設定はYAML形式で記述します。設定により柔軟に動作を定義することが可能なため、多くのシチュエーションをカバーしています。

TOPに戻る

Embulkの動作環境

  • 各種Linuxディストリビューション
  • macOS
  • Windows

稼働させるためにはJavaが必要になります。Javaの推奨バージョンは下記になります。

  • Java 8

TOPに戻る

Embulkのライセンス

EmbulkのライセンスはApache License 2.0となっており、ユーザーはそのソフトウェアの使用や頒布、修正、派生版の頒布をすることに制限を受けません。

TOPに戻る

参考情報

ドキュメント
https://www.embulk.org/

リポジトリ(Github)
https://github.com/embulk/embulk

TOPに戻る

Embulkのサポート

現在、OpenStandiaでは、Embulkのサポートを行っておりません。

TOPに戻る

OpenStandiaに関する
資料請求・お問い合わせはこちら

  • 資料請求
  • お問い合わせ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

  • OpenStandiaサポート対象オープンソース|50種類以上のOSSのサポートをご提供します。
  • 人気midPoint
  • 人気Keycloak
  • 注目MongoDB
  • ForgeRock AM(OpenAM)
  • ForgeRock IDM(OpenIDM)
  • MongoDB
  • Postfix
  • Apache HTTP Server
  • ZABBIX
  • PostgreSQL
  • Apache Struts
  • Apache Kafka
  • Apache Hadoop
  • Apache Spark
  • Spring Framework
  • Apache Tomcat
  • Solr
  • iBATIS
  • DRBD
  • MySQL
  • JBoss
  • Ruby on Rails
  • Jaspersoft
  • OpenLDAP
  • Apache log4j
  • Apache Subversion
  • ForgeRock DS(OpenDJ)
  • Pacemaker
  • Samba
  • Red Hat Enterprise Linux
  • Nginx
  • BIND
  • Dovecot
  • Pentaho
  • sendmail
  • Courier-IMAP
  • ForgeRock DS(OpenDJ)
  • Heartbeat
  • Hibernate
  • Hinemos
  • MyBatis
  • MySQL Cluster
  • Apache Axis2
  • Squid
  • OpenSSO