チェックポイント

概要

未定

定期的なチェックポイントを外部的に一貫性があるように設定することができます。外部化されたチェックポイントはめたーデータを一貫性のあるストレージに書き込み、ジョブが失敗する時に自動的に掃除をしません。このやり方で、ジョブが失敗した時に再開するためのチェックポイントをそのあたりに持つでしょう。

CheckpointConfig config = env.getCheckpointConfig();
config.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

ExternalizedCheckpointCleanup モードはジョブを取り消した時に外部化されたチェックポイントに何が起きるかを設定します:

ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION: ジョブが取り消された時に外部化されたチェックポイントを維持します。この場合取り消しの後でチェックポイントの状態を手動で掃除する必要があることに注意してください。
ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION: ジョブが取り消された時に外部化されたチェックポイントを削除します。チェックポイントの状態はジョブが失敗した時にのみ利用可能でしょう。

チェックポイントの目的のディレクトリはデフォルトのチェックポイントのディレクトリの設定から決定されます。これは設定キーstate.checkpoints.dirによって設定されます。これは望ましい目的のディレクトリを示していなければなりません:

state.checkpoints.dir: hdfs:///checkpoints/

そしてこのディレクトリはチェックポイントを回復するために必要なチェックポイントのメタデータを含むでしょう。実際のチェックポイントのファイルはそれらの設定されたディレクトリ内でまだ利用可能でしょう。現在のところ設定ファイルを使ってのみ設定可能です。

特定のチェックポイントから再開したい時はセーブポイントのガイドに従ってください。