Spark ストリーミング + Kafka 統合ガイド

Apache Kafkaは publish-subscribe メッセージングを分散、パーティション、リプリケートコミットログとして再熟考したものです。Sparkを使って統合を始める前にKafka ドキュメント を十分に読んでください。

Kafkaプロジェクトはバージョン0.8と0.10の間で新しいコンシューマ apiを導入しました。そのため、二つの異なる対応するSparkストリーミングパッケージが利用可能です。ブローカーおよび望む機能のために正しいパッケージを選択してください; 0.8の統合は0.9および0.10以降のブローカーと互換性がありますが、0.10統合は以前のブローカーとの互換性が無いことに注意してください。

spark-streaming-kafka-0-8spark-streaming-kafka-0-10
Broker Version 0.8.2.1 or higher 0.10.0 or higher
Api Stability Stable Experimental
Language Support Scala, Java, Python Scala, Java
Receiver DStream Yes いいえ
Direct DStream Yes Yes
SSL / TLS Support いいえ Yes
Offset Commit Api いいえ Yes
Dynamic Topic Subscription いいえ Yes
TOP
inserted by FC2 system