OpenStandiaソリューション/Apache Kafka保守サポート&ソリューション

Apache Kafka の概要

「Kafka」(カフカ)とはシステム間のデータを一時的に保持し、受け渡しを行う分散メッセージキューです。

Kafkaは複数台のサーバでクラスタを構成して分散処理を行うため、高いスループットを発揮します。
また、サーバ追加(スケールアウト)により、処理性能とメッセージ保持容量に対する高い拡張性を有しています。

一般的なクライアント / サーバシステム においては、サーバがクライアントにデータを送信する「Push型」、
クライアントがサーバにデータを取得しにいく「Pull型」がありますが、
KafkaはPull型(Publish / Subscribeモデル)の分散メッセージキューとなります。

Apache Kafka の概要


Kafkaの導入によりシステム間のデータの受け渡しを非同期化することで、送信元システムからの急激な
データ増加に伴うシステムの負荷上昇を抑制することが可能になります。


Apache Kafka の特徴

Kafkaには以下の特徴があります。

  • ● 1台のKafkaサーバで秒間10万メッセージ(20MB)以上の送受信が可能

  • ● データ量やメッセージキューの数に応じて柔軟にシステム拡張(スケールアウト)が可能

  • ● Kafkaサーバがメッセージを永続化して連携先システムへの到達を保証


Apache Kafka を利用したストリーミングシステム

Kafkaはシステム間の交通整理を行うデータハブとしての使い方の他に、ストリーミングシステムにも活用されています。

フロントシステムから送信されてくる大量のリアルタイムデータを処理するために、Hadoop / Spark Streamingと
連携したストリーミングアプリケーションの構成が多く利用されています。

Apache Kafka を利用したストリーミングシステム


Apache Kafka の活用事例

ケース1

◆ 顧客ビジネス: イベント会場における準リアルタイムでの混雑状況の可視化・予測
◆ 活用シーン: 会場内のセンサーを利用してリアルタイムに位置情報収集
1分間に数万メッセージ送信される情報をSpark Streamingでマイクロバッチ処理

Apache Kafka の活用事例1


◆ 導入効果:

  • ● 会場内のユーザ位置を準リアルタイムに把握
  • ⇒ 収集・分析した結果を可視化して提供することにより、イベント参加者が効率的なブース巡回が可能に

  • ● ユーザ位置情報の定期的な収集と分析
  • ⇒ イベント会場運営に対して、今後の会場動線検討に活用

ケース2

◆ 顧客ビジネス: 製造業における電子機器の製造販売
◆ 活用シーン: 工場内の製造ラインや装置内のセンサーから、大量かつ高頻度で発生するセンサーデータの
リアルタイム監視による異常検知や、データ分析による製造品質の改善

Apache Kafka の活用事例2

◆ 導入効果:

  • ● データ量や処理性能に合わせたスケーラブルな拡張による運用コストの適正化
  • ⇒ 多数のセンサーから大量・高頻度に発生するデータを適切に蓄積・活用

  • ● リアルタイムな異常検知による問題の早期解決、データ分析での製造品質改善
  • ⇒ ストリーム処理でデータを準リアルタイムで監視すると共に、データ加工や集計処理等を
    バッチ処理で高速に実行し、BI/BAツールへ情報提供

Apache Kafka のサービス

OpenStandiaではApache Kafka のサポートサービスを提供しています。
お気軽にOpenStandiaまでお問い合わせください。

オープンソースソフトウェア年間サポートサービス詳細
技術支援サービス詳細

OpenStandiaに関する
資料請求・お問い合わせはこちら

  • 資料請求
  • お問い合わせ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

  • OpenStandiaサポート対象オープンソース|50種類以上のOSSのサポートをご提供します。
  • 人気midPoint
  • 人気Keycloak
  • 注目MongoDB
  • ForgeRock AM(OpenAM)
  • ForgeRock IDM(OpenIDM)
  • Corosync
  • Postfix
  • Apache HTTP Server
  • ZABBIX
  • PostgreSQL
  • Apache Struts
  • Apache Kafka
  • Apache Hadoop
  • Apache Spark
  • Spring Framework
  • Apache Tomcat
  • Solr
  • iBATIS
  • DRBD
  • MySQL
  • JBoss
  • Ruby on Rails
  • Jaspersoft
  • OpenLDAP
  • Apache log4j
  • Apache Subversion
  • ForgeRock DS(OpenDJ)
  • Pacemaker
  • Samba
  • Red Hat Enterprise Linux
  • Nginx
  • BIND
  • Dovecot
  • Pentaho
  • sendmail
  • Courier-IMAP
  • ForgeRock DS(OpenDJ)
  • Heartbeat
  • Hibernate
  • Hinemos
  • MyBatis
  • MySQL Cluster
  • Apache Axis2
  • Squid
  • OpenSSO