Apache Kafkaとは

Apache Kafka(アパッチ カフカ)は、JavaとScalaで書かれたオープンソースの分散ストーリーミング送受信処理基盤であり、メッセージキュー（MQ）やメッセージングシステムと似たソフトウェアです。
Kafkaは主に、リアルタイムストリーミングデータパイプラインとリアルタイムストリーミングアプリケーションの構築に使用されます。ストリームデータとは、サーバのログ、ユーザの購入履歴やSNSの投稿など、様々なデータの集合のことです。
KafkaはアメリカのビジネスSNS企業であるLinkedInで2011年頃に開発されオープンソース化されました。その後、Apacheソフトウェア財団のプロジェクトとして認められ、現在はApacheソフトウェア財団の管理下で開発が継続されています。また、LinkedInでKafkaの開発に関わった主要メンバー達はConfluentという会社を立ち上げKafkaのEnterprise向けサービスを行っています。

主な特徴

Kafkaは、複数のアプリケーションやデータベース間でストリームデータの中継点として送受信をする役目を担います。耐障害のために、送信側（Producer）からのストリームデータを保存するフォールトトレラントな設計となっています。各Producerから送られてくるストリームデータはTopicと呼ばれ、Topic毎にカテゴライズされて保存されます。
Topicの中身はrecordと呼ばれるkey-valueで構成されたデータがtimestampをもって順序立てて連続しています。受信側はConsumerと呼ばれ、KafkaはConsumer毎に決められたTopicを送信します。Kafkaは単一構成でも稼働しますが、複数のKafkaサーバを遠隔地のデータセンターに配置してクラスターを構成することも可能です。

Kafkaには5つのコアAPIが存在します。

• Producer API
  送信側のアプリケーションやDBから1つ以上のopicとしてのストリームデータの配信を許可します。
• Consumer API
  受信側に1つ以上のTopicとしてのストリームデータの受信と処理を許可します。
• Steams API
  アプリケーションにストリームプロセッサーとして動作することを許可します。1つ以上のTopicとしてのストリームデータをinputストリームとして受け取り、効果的に変換してoutputストリームとして送信します。
• Connector API
  既存のアプリケーションやデータベースをProducerやConsumerとして、データをインポートやエクスポートすることを許可します。
• Admin API
  Topic、broker、およびその他のKafkaオブジェクトを管理および検査できます。