SQL構文

Spark SQL は、構造化データを操作するための Apache Spark のモジュールです。SQL 構文セクションでは、SQL 構文の詳細と、該当する場合の使用例を説明します。このドキュメントでは、データ定義とデータ操作文、およびデータ検索と補助文のリストを提供します。

DDL 文

データ定義文はデータベース内のデータベースオブジェクトの構造を作成または修正するために使われます。Spark SQL は以下のデータ定義文をサポートします:

• ALTER DATABASE
• ALTER TABLE
• ALTER VIEW
• CREATE DATABASE
• CREATE FUNCTION
• CREATE TABLE
• CREATE VIEW
• DROP DATABASE
• DROP FUNCTION
• DROP TABLE
• DROP VIEW
• REPAIR TABLE
• TRUNCATE TABLE
• USE DATABASE

DML 文

データ操作文はデータを追加、変更、削除するために使われます。Spark SQL は以下のデータ操作文をサポートします:

• INSERT INTO
• INSERT OVERWRITE
• INSERT OVERWRITE DIRECTORY
• Hive 形式を使った INSERT OVERWRITE DIRECTORY
• LOAD

データ検索文

Spark は、指定された句に従って1つ以上のテーブルから行を取得するために使われる SELECT 文をサポートします。サポートされる句の完全な構文と簡単な説明は、SELECT セクションで説明されます。SELECT に関係する SQL 文もこのセクションにあります。Spark は EXPLAIN 文を使って、特定のクエリに対する論理および物理計画を生成する機能も提供します。

• SELECT 文
  • 一般的なテーブルの表現
  • CLUSTER BY 句
  • DISTRIBUTE BY 句
  • GROUP BY 句
  • HAVING 句
  • ヒント
  • インラインテーブル
  • ファイルFile
  • JOIN
  • LIKE Predicate
  • LIMIT 句
  • ORDER BY 句
  • Set 演算子
  • SORT BY 句
  • TABLESAMPLE
  • Table-valued 関数
  • WHERE 句
  • Window 関数
  • CASE Clause
  • PIVOT Clause
  • LATERAL VIEW Clause
  • TRANSFORM Clause
• EXPLAIN

補助文

• ADD FILE
• ADD JAR
• ANALYZE TABLE
• CACHE TABLE
• CLEAR CACHE
• DESCRIBE DATABASE
• DESCRIBE FUNCTION
• DESCRIBE QUERY
• DESCRIBE TABLE
• LIST FILE
• LIST JAR
• REFRESH
• REFRESH TABLE
• REFRESH FUNCTION
• RESET
• SET
• SHOW COLUMNS
• SHOW CREATE TABLE
• SHOW DATABASES
• SHOW FUNCTIONS
• SHOW PARTITIONS
• SHOW TABLE EXTENDED
• SHOW TABLES
• SHOW TBLPROPERTIES
• SHOW VIEWS
• UNCACHE TABLE