This documentation is for an unreleased version of Apache Flink. We recommend you use the latest stable version.

Parquet Format #

Format: Serialization Schema Format: Deserialization Schema

Apache Parquetフォーマットを使って、Parquetデータを読み書きできます。

依存 #

In order to use the Parquet format the following dependencies are required for both projects using a build automation tool (such as Maven or SBT) and SQL Client with SQL JAR bundles.

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-parquet</artifactId>
  <version>1.19-SNAPSHOT</version>
</dependency>

Parquet形式を持つテーブルの作成法 #

ここでは、ファイルシステムコネクタとParquet形式を使ってテーブルを作成する方法を示します。

CREATE TABLE user_behavior (
  user_id BIGINT,
  item_id BIGINT,
  category_id BIGINT,
  behavior STRING,
  ts TIMESTAMP(3),
  dt STRING
) PARTITIONED BY (dt) WITH (
 'connector' = 'filesystem',
 'path' = '/tmp/user_behavior',
 'format' = 'parquet'
)

フォーマットオプション #

Parquet format also supports configuration from ParquetOutputFormat. zgip圧縮を有効にするために、parquet.compression=GZIPを設定することができます。

データ型マッピング #

Currently, Parquet format type mapping is compatible with Apache Hive, but different with Apache Spark:

• Timestamp: mapping timestamp type to int96 whatever the precision is.
• Decimal: mapping decimal type to fixed length byte array according to the precision.

以下の表は、Flink型からParquet型への型マッピングを一覧表示しています。