Spark ストリーミング + Kafka 統合ガイド
Apache Kafkaは publish-subscribe メッセージングを分散、パーティション、リプリケートコミットログとして再熟考したものです。Sparkを使って統合を始める前にKafka ドキュメント を十分に読んでください。
Kafkaプロジェクトはバージョン0.8と0.10の間で新しいコンシューマ apiを導入しました。そのため、二つの異なる対応するSparkストリーミングパッケージが利用可能です。ブローカーおよび望む機能のために正しいパッケージを選択してください; 0.8の統合は0.9および0.10以降のブローカーと互換性がありますが、0.10統合は以前のブローカーとの互換性が無いことに注意してください。
| spark-streaming-kafka-0-8 | spark-streaming-kafka-0-10 | |
|---|---|---|
| ブローカーのバージョン | 0.8.2.1 以上 | 0.10.0 以上 |
| Api の安定性 | 安定 | 実験的 |
| 言語のサポート | Scala, Java, Python | Scala, Java |
| レシーバーのDStream | Yes | いいえ |
| 直接DStream | Yes | Yes |
| SSL / TLS サポート | いいえ | Yes |
| オフセットのコミットApi | いいえ | Yes |
| 動的なトピックの購読 | いいえ | Yes |