1. デバッグ & 監視
2. デバッグ ウィンドウ & イベントタイム

デバッグ ウィンドウ & イベントタイム

• 現在のイベント時間の監視
• イベント時間の戦略の処理

現在のイベント時間の監視

Flinkの イベント時間とウォーターマークのサポートは順序がバラバラのイベントを処理するための強力な機能です。しかし、時間の進捗はシステム内で追跡されるため、何が正確に起こっているかを理解することは難しいです。

各タスクの低いウォーターマークは、Flinkのwebインタフェースあるいはメトリクス システムを使ってアクセスすることができます。

Flink内の各タスクはこのタスクによって受信された最も低いウォーターマークを表すcurrentLowWatermark と呼ばれるメトリックによって公開されます。このlong値は "現在のイベント時間”を表します。値はupstreamオペレータかによって受信された全てのウォータマークの最小値を取ることで計算されます。This means that the event time tracked with watermarks is always dominated by the furthest-behind source.

メトリックタブ内のタスクを選択し、<taskNr>.currentLowWatermarkメトリックを選択することで、低いウォーターマークのメトリックはweb インタフェースを使ってアクセスすることができます。これで、次の新しいボックスでは、タスクの現在の低いウォーターマークを見ることができるでしょう

メトリックの取得の他の方法は、メトリックス システムのためのドキュメント内で説明されるように、metric reportersの1つを使うことです。ローカル セットアップについては、JMXメトリックレポーターとVisualVMのようなツールを使うことをお勧めします。

イベント時間の戦略の処理

• Approach 1: Watermark stays late (indicated completeness), windows fire early
• Approach 2: Watermark heuristic with maximum lateness, windows accept late data

上に戻る