1. アプリケーションの配備
2. ストリーミング (DataStream API)
3. コネクタ

ストリーミング コネクタ

• 事前定義されたソースとシンク
• バンドルされたコネクタ
• Apache Bahirのコネクタ
• Flinkに接続する他の方法
  • Async I/O を使ったデータの濃縮
  • クエリ可能な状態

事前定義されたソースとシンク

少数の基本的なデータソースとシンクはFlinkに組み込まれており、常に利用可能です。事前定義されたデータソース はファイル、ディレクトリ、ソケットからの読み込み、およびコレクタとイテレータからのデータの取り込みを含みます。事前定義されたデータシンク はファイル、標準出力および標準エラー、ソケットへの書き込みをサポートします。

バンドルされたコネクタ

コネクタは様々なサードパーティのシステムと接続するためのコードを提供します。現在のところ、これらのシステムがサポートされます:

• Apache Kafka (source/sink)
• Apache Cassandra (sink)
• Amazon Kinesis Streams (source/sink)
• Elasticsearch (sink)
• Hadoop FileSystem (sink)
• RabbitMQ (source/sink)
• Apache NiFi (source/sink)
• Twitter ストリーミング API (source)

アプリケーション内でこれらのコネクタのうちの1つを使うには、例えばデータストアあるいはメッセージキューのためのサーバのような追加のサードパーティのコンポーネントが通常必要とされることに注意してください。また、この章内でリストされているストリーミングコネクタはFlinkプロジェクトの一部でソースリリース内に含まれていますが、それらはバイナリ配布物には含まれていないことに注意してください。更なる説明は対応するサブセクション内で見つかるでしょう。

Apache Bahirのコネクタ

Flinkのための追加のストリーミングコネクタはApache Bahirを通じてリリースされます。以下を含みます:

• Apache ActiveMQ (source/sink)
• Apache Flume (sink)
• Redis (sink)
• Akka (sink)
• Netty (source)

Flinkに接続する他の方法

Async I/O を使ったデータの濃縮

コネクタの使用がFlink内からのデータを取得する唯一の方法ではありません。一般的な1つのパターンは基本的なデータストリームの質を高めるために Map あるいは FlatMap 内の外部データソースあるいはwebサービスに問い合わせをすることです。Flinkはこの種類の質の向上を効率的かつ丈夫にすることを簡単にするために、非同期 I/OのためのAPIを提供します。

クエリ可能な状態

Flinkアプリケーションが大量のデータを外部のデータソースに押し出す場合、これはI/Oのボトルネックになるかもしれません。関係するデータが書き込みより少数の読み込みが多い場合、必要なデータを外部アプリケーションがFlinkからデータを取り出すことがより良い方法になりえます。Queryable State インタフェースは、Flinkによって状態を要求に応じて取り出せるようにすることで、これを可能にします。