This documentation is for an unreleased version of Apache Flink. We recommend you use the latest stable version.

DataStream Connectors #

事前定義されたソースとシンク #

少数の基本的なデータソースとシンクはFlinkに組み込まれており、常に利用可能です。 事前定義されたデータソースには、ファイル、ディレクトリ、ソケットからの読み取り、コレクションとイテレータからのデータの取り込みが含まれます。 事前定義されたデータのシンクは、ファイル、標準出力と標準エラー、ソケットへの書き込みをサポートします。

バンドルされたコネクタ #

コネクタは様々なサードパーティのシステムと接続するためのコードを提供します。現在のところ、これらのシステムがサポートされます:

• Apache Kafka (source/sink)
• Apache Cassandra (source/sink)
• Amazon DynamoDB (sink)
• Amazon Kinesis Data Streams (source/sink)
• Amazon Kinesis Data Firehose (sink)
• DataGen (source)
• Elasticsearch (sink)
• Opensearch (sink)
• FileSystem (source/sink)
• RabbitMQ (source/sink)
• Google PubSub (source/sink)
• Hybrid Source (source)
• Apache Pulsar (source)
• JDBC (sink)
• MongoDB (source/sink)

アプリケーション内でこれらのコネクタのうちの1つを使うには、例えばデータストアあるいはメッセージキューのためのサーバのような追加のサードパーティのコンポーネントが通常必要とされることに注意してください。 また、この章内でリストされているストリーミングコネクタはFlinkプロジェクトの一部でソースリリース内に含まれていますが、それらはバイナリ配布物には含まれていないことに注意してください。 更なる説明は対応するサブセクション内で見つかるでしょう。

ファイルシステムのソース形式は、Flink 1.14.0以降、新しいFlink Source APIに徐々に置き換えられています。

Apache Bahirのコネクタ #

Flink用の追加のストリーミングコネクタは、Apache Bahirを通じてリリースされています:

• Apache ActiveMQ (source/sink)
• Apache Flume (sink)
• Redis (sink)
• Akka (sink)
• Netty (source)

Flinkに接続する他の方法 #

Async I/O を使ったデータの濃縮 #

コネクタの使用は、Flinkとの間でデータをやり取りする唯一の方法ではありません。 一般的な1つのパターンは基本的なデータストリームの質を高めるためにMapあるいはFlatMap内の外部データソースあるいはwebサービスに問い合わせをすることです。 Flinkは、Asynchronous I/O用のAPIを提供し、この種の質の向上を効率的かつ堅牢にします。

Back to top