データソースおよびシンクの耐障害性の保証

Flinkの耐障害性機構は障害時にプログラムを回復しそれらの実行を続けます。マシーンのハードウェア障害、ネットワーク障害、一時的なプログラムの障害などを含むそのような障害。

Flinkはソースがスナップショットの機構に参加している時にのみユーザ定義の状態への確実に1回の状態の変更を保証することができます。以下の表は同梱されたコネクタを使ったFlinkの状態の更新の保証をリスト化します。

耐障害性の保証についての詳細を理解するために各コネクタのドキュメントを読んでください。

ソース 保証 備考
Apache Kafka 確実に1回 あなたのバージョンのための適切なKafkaコネクタを使ってください
AWS Kinesis ストリーム 確実に1回
RabbitMQ せいぜい1回 (v 0.10) / 確実に1回 (v 1.0)
Twitter ストリーミング API せいぜい1回
コレクション 確実に1回
ファイル 確実に1回
ソケット せいぜい1回

end-to-end の確実に1回のレコードの配送をするために、(確実に1回の状態のセマンティクスに加えて)データのシンクはチェックポイント機構に参加する必要があります。以下の表は同梱されたシンクを使ったFlinkの配送の保証(確実に1回の状態の更新を仮定)をリスト化します。

シンク 保証 備考
HDFS rolling sink 確実に1回 実装はHadoopバージョンに依存します
Elasticsearch 少なくとも1回
Kafka プロデューサ 少なくとも1回
Cassandra シンク 少なくとも1回 / 確実に1回 等冪な更新のためだけの確実に1回
AWS Kinesis ストリーム 少なくとも1回
File シンク 少なくとも1回
Socket シンク 少なくとも1回
標準出力 少なくとも1回
Redis シンク 少なくとも1回

上に戻る

TOP
inserted by FC2 system