Fault Tolerance Guarantees
This documentation is for an unreleased version of Apache Flink. We recommend you use the latest stable version.

データソースおよびシンクの耐障害性の保証 #

Flinkの耐障害性の仕組みは障害時にプログラムを回復しそれらの実行を続けます。マシンのハードウェア障害、ネットワーク障害、一時的なプログラムの障害などを含むような障害。

Flinkは、ソースがスナップショットの仕組みに参加している場合のみ、ユーザ定義の状態への確実に1回の常置の変更を保証できます。以下の表は同梱されたコネクタを使ったFlinkの状態の更新の保証をリスト化します。

耐障害性の保証についての詳細を理解するために各コネクタのドキュメントを読んでください。

ソース 保証 備考
Apache Kafka 確実に1回 あなたのバージョンのための適切なKafkaコネクタを使ってください
AWS Kinesis ストリーム 確実に1回
RabbitMQ せいぜい1回 (v 0.10) / 確実に1回 (v 1.0)
Google PubSub 少なくとも1回
コレクション 確実に1回
ファイル 確実に1回
ソケット せいぜい1回

end-to-endの確実に1回のレコードの配送をするために、(確実に1回の状態のセマンティクスに加えて)データのシンクはチェックポイントの仕組みに参加する必要があります。以下の表は同梱されたシンクを使ったFlinkの配送の保証(確実に1回の状態の更新を仮定)をリストします。

シンク 保証 備考
Elasticsearch 少なくとも1回
Opensearch 少なくとも1回
Kafka プロデューサ 少なくとも1回 / 確実に1回 トランザクション的なプロデューサを使った確実に1回 (v 0.11+)
Cassandra シンク 少なくとも1回 / 確実に1回 等冪な更新のためだけの確実に1回
Amazon DynamoDB 少なくとも1回
Amazon Kinesis Data Streams 少なくとも1回
Amazon Kinesis Data Firehose 少なくとも1回
File シンク 確実に1回
Socket シンク 少なくとも1回
標準出力 少なくとも1回
Redis シンク 少なくとも1回

Back to top

inserted by FC2 system