Flinkの耐障害性機構は障害時にプログラムを回復しそれらの実行を続けます。マシーンのハードウェア障害、ネットワーク障害、一時的なプログラムの障害などを含むそのような障害。
Flinkはソースがスナップショットの機構に参加している時にのみユーザ定義の状態への確実に1回の状態の変更を保証することができます。以下の表は同梱されたコネクタを使ったFlinkの状態の更新の保証をリスト化します。
耐障害性の保証についての詳細を理解するために各コネクタのドキュメントを読んでください。
ソース | 保証 | 備考 |
---|---|---|
Apache Kafka | 確実に1回 | あなたのバージョンのための適切なKafkaコネクタを使ってください |
AWS Kinesis ストリーム | 確実に1回 | |
RabbitMQ | せいぜい1回 (v 0.10) / 確実に1回 (v 1.0) | |
Twitter ストリーミング API | せいぜい1回 | |
コレクション | 確実に1回 | |
ファイル | 確実に1回 | |
ソケット | せいぜい1回 |
end-to-end の確実に1回のレコードの配送をするために、(確実に1回の状態のセマンティクスに加えて)データのシンクはチェックポイント機構に参加する必要があります。以下の表は同梱されたシンクを使ったFlinkの配送の保証(確実に1回の状態の更新を仮定)をリスト化します。
シンク | 保証 | 備考 |
---|---|---|
HDFS rolling sink | 確実に1回 | 実装はHadoopバージョンに依存します |
Elasticsearch | 少なくとも1回 | |
Kafka プロデューサ | 少なくとも1回 | |
Cassandra シンク | 少なくとも1回 / 確実に1回 | 等冪な更新のためだけの確実に1回 |
AWS Kinesis ストリーム | 少なくとも1回 | |
File シンク | 少なくとも1回 | |
Socket シンク | 少なくとも1回 | |
標準出力 | 少なくとも1回 | |
Redis シンク | 少なくとも1回 |