Apache Hadoopとは

Hadoop(ハドゥープ)は大規模データの蓄積、分析を分散して処理するフレームワークであり、Java言語で実装されています。
Hadoopの元となったのはGoogleの大量のデータを効率的に処理するための分散処理基盤であるMapReduceとGoogle File Systemです。

Googleがこれらシステムに関する論文を2004年に公開し、それを参考にDoug Cutting氏、Mike Cafarella氏らにより開発されました。Hadoopという名前は、Doug氏の息子が、黄色い象のぬいぐるみに付けた名前から来ており、意味を持たず、簡単で、他で使われていないという理由により、採用されました。黄色い象はHadoopのマスコットキャラクターにもなっています。

Hadoopは分散処理基盤であることから、各処理をクラスタ内のマシンに振り分けて(Map)、各マシンで処理された結果を集約(Reduce)して最終的な結果を得ます。
近年、大量のデータ(Big Data)の中から目的のデータを抽出したり、保存されたデータからある傾向を読み取るといった、データマイニングへのニーズが高まっています。また、ただBig Dataを処理できるだけでなく、より短時間にそれらの情報を算出したいといった要求が発生してきています。
以前は、Big Dataを処理するにはデータウェアハウスなど専用の製品を使う必要がありました。Hadoopはこのようなデータ処理を、一般的なサーバマシンを複数つなげ合わせる(スケールアウト)ことで可能にします。

複数のサーバから構成されるHadoopシステムですが、複数台に分散していることがシステムの柔軟性を高めています。処理性能を向上させたい場合には、Hadoopクラスタにマシンを追加するだけ済みます。Hadoopクラスタシステムは一般的なサーバマシン群から構成できるため、ハードウェアの調達が容易です。また、ソフトウェア的にも、クラスタへ追加するサーバにHadoopシステムをインストール・設定するだけで、Hadoopクラスタをスケールアップできます。このような特徴から、ハードウェア、ソフトウェアの両面でスケーラビリティが高いといえます。

近年、クラウドサービスを使って簡単に複数台のサーバを立ち上げられるようになったことから、Hadoopを使ってデータ処理を行いたい時だけクラウド上にHadoopクラスタを構築できます。さらに、性能が不十分であればサーバを追加したり、リソースが余ってきたらサーバを減らし、一通りの処理が終了した時点でHadoopクラスタの全マシンを開放するなどといった使い方もできるため、これから益々利用されるシーンが増えてくると考えられます。

Hadoop 1系までは、MapReduceのみだった並列処理フレームワークですが、Hadoop 2系からはStorm、Spark、Tez/Impalaなどの他の並列処理フレームワークを利用できるようになりました。また、Hadoop上にあるデータへのMapReduce(Java)以外での処理インターフェースが増えました。例えばImpalaや、Tez上で動くHiveやPigによって、ユーザは使い慣れたSQLとほぼ同等なクエリを使ってデータへアクセスできます。さらに、StormやSparkではストリーミングによってリアルタイムデータの処理が可能となり、HDFS上に存在するデータ以外でもHadoopシステムを利用できるようになっています。