This documentation is for an unreleased version of Apache Flink. We recommend you use the latest stable version.
Fault Tolerance Guarantees
データソースおよびシンクの耐障害性の保証 #
Flinkの耐障害性の仕組みは障害時にプログラムを回復しそれらの実行を続けます。マシンのハードウェア障害、ネットワーク障害、一時的なプログラムの障害などを含むような障害。
Flinkは、ソースがスナップショットの仕組みに参加している場合のみ、ユーザ定義の状態への確実に1回の常置の変更を保証できます。以下の表は同梱されたコネクタを使ったFlinkの状態の更新の保証をリスト化します。
耐障害性の保証についての詳細を理解するために各コネクタのドキュメントを読んでください。
ソース | 保証 | 備考 |
---|---|---|
Apache Kafka | 確実に1回 | あなたのバージョンのための適切なKafkaコネクタを使ってください |
AWS Kinesis ストリーム | 確実に1回 | |
RabbitMQ | せいぜい1回 (v 0.10) / 確実に1回 (v 1.0) | |
Google PubSub | 少なくとも1回 | |
コレクション | 確実に1回 | |
ファイル | 確実に1回 | |
ソケット | せいぜい1回 |
end-to-endの確実に1回のレコードの配送をするために、(確実に1回の状態のセマンティクスに加えて)データのシンクはチェックポイントの仕組みに参加する必要があります。以下の表は同梱されたシンクを使ったFlinkの配送の保証(確実に1回の状態の更新を仮定)をリストします。
シンク | 保証 | 備考 |
---|---|---|
Elasticsearch | 少なくとも1回 | |
Opensearch | 少なくとも1回 | |
Kafka プロデューサ | 少なくとも1回 / 確実に1回 | トランザクション的なプロデューサを使った確実に1回 (v 0.11+) |
Cassandra シンク | 少なくとも1回 / 確実に1回 | 等冪な更新のためだけの確実に1回 |
Amazon DynamoDB | 少なくとも1回 | |
Amazon Kinesis Data Streams | 少なくとも1回 | |
Amazon Kinesis Data Firehose | 少なくとも1回 | |
File シンク | 確実に1回 | |
Socket シンク | 少なくとも1回 | |
標準出力 | 少なくとも1回 | |
Redis シンク | 少なくとも1回 |