Aliyun OSS
This documentation is for an unreleased version of Apache Flink. We recommend you use the latest stable version.

Aliyunオブジェクトストレージサービス(OSS) #

OSS: オブジェクトストレージサービス #

Aliyunオブジェクトストレージサービス (Aliyun OSS)は広く使われており、特に中国のクラウドユーザの間で人気があり、様々なユースケースにクラウドオブジェクトストレージを提供します。 OSSとFlinkを使って、データの読み取りと書き込みを行うことも、ストリーミング状態バックエンドを組み合わせて使うこともできます。

以下の形式のパスを指定することでOSSオブジェクトを通常のファイルのように使うことができます:

oss://<your-bucket>/<object-name>

以下は、FlinkジョブでOSSを使う方法を示します:

// Read from OSS bucket
env.readTextFile("oss://<your-bucket>/<object-name>");

// Write to OSS bucket
stream.writeAsText("oss://<your-bucket>/<object-name>");

// Use OSS as checkpoint storage
env.getCheckpointConfig().setCheckpointStorage("oss://<your-bucket>/<object-name>");

Shaded Hadoop OSS file system #

flink-oss-fs-hadoopを使うには、Flinkを開始する前に、各JARファイルをoptディレクトリからFlink配布物のpluginsディレクトリ内のディレクトリへコピーします。例えば、

mkdir ./plugins/oss-fs-hadoop
cp ./opt/flink-oss-fs-hadoop-1.19-SNAPSHOT.jar ./plugins/oss-fs-hadoop/

flink-oss-fs-hadoopは、*oss://*スキームを使ってURIのデフォルトのファイルシステムラッパーを登録します。

設定セットアップ #

OSSファイルシステムラッパーをを設定した後で、FlinkがOSSバケットにアクセスできるようにするために、いくつかの設定を追加する必要があります。

導入を容易にするために、Hadoopのcore-site.xmlと同じ設定キーをflink-conf.yamlで使えます。

設定キーはHadoop OSSドキュメントで確認できます。

flink-conf.yamlに追加する必要があるいくつかの必須の設定があります(Hadoop OSSドキュメントで定義されているその他の設定は、パフォーマンスチューニングで使われる高度な設定です):

fs.oss.endpoint: 接続するAliyun OSSエンドポイント
fs.oss.accessKeyId: AliyunアクセスキーID
fs.oss.accessKeySecret: Aliyunアクセスキーシークレット

別のCredentialsProviderをflink-conf.yamlで設定することもできます。例えば、

# Read Credentials from OSS_ACCESS_KEY_ID and OSS_ACCESS_KEY_SECRET
fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider

他の資格情報プロバイダは、ここにあります。

Back to top

inserted by FC2 system