Spark ストリーミング + Kafka 統合ガイド
Apache Kafkaは publish-subscribe メッセージングを分散、パーティション、リプリケートコミットログとして再熟考したものです。Sparkを使って統合を始める前にKafka ドキュメント を十分に読んでください。
Kafkaプロジェクトはバージョン0.8と0.10の間で新しいコンシューマ apiを導入しました。そのため、二つの異なる対応するSparkストリーミングパッケージが利用可能です。ブローカーおよび望む機能のために正しいパッケージを選択してください; 0.8の統合は0.9および0.10以降のブローカーと互換性がありますが、0.10統合は以前のブローカーとの互換性が無いことに注意してください。
spark-streaming-kafka-0-8 | spark-streaming-kafka-0-10 | |
---|---|---|
Broker Version | 0.8.2.1 or higher | 0.10.0 or higher |
Api Stability | Stable | Experimental |
Language Support | Scala, Java, Python | Scala, Java |
Receiver DStream | Yes | いいえ |
Direct DStream | Yes | Yes |
SSL / TLS Support | いいえ | Yes |
Offset Commit Api | いいえ | Yes |
Dynamic Topic Subscription | いいえ | Yes |