Mesos上でSparkを実行

• セキュリティ
• どうやって動くか
• Mesosのインストール
  • ソースから
  • サードパーティパッケージ
  • 検証
• SparkをMesosに接続
  • Mesosの認証
    • 認定の仕様の優先順
    • Secure ソケット上で実行中の Mesos へのデプロイ
  • Sparkパッケージのアップロード
  • MesosマスターURLの使用
  • クライアントモード
  • クラスターモード
• Mesos 実行モード
  • Coarse-Grained
  • Fine-Grained (非推奨)
• MesosのDocker サポート
• Hadoopと一緒に実行
• Mesosを使った動的なリソースの割り当て
• 設定
  • Sparkのプロパティ
• トラブルシューティングとデバッグ

注意: Apache Mesos サポートは Apache Spark 3.2.0 の時点で非推奨です。将来のバージョンで削除されるでしょう。

SparkはApache Mesosで管理されるハードウェアクラスタ上で実行することができます。

SparkをMesosと一緒にデプロイする利点には以下が含まれます:

• Sparkと他のフレームワークの間の動的なパーティション
• Sparkの複数のインスタンス間のパーティションのスケール

セキュリティ

認証のようなセキュリティ機能はデフォルトでは有効にされていません。インターネットや信頼できないネットワークに開かれたクラスタを配備する場合、認証されていないアプリケーションをクラスタ上で実行することを防ぐためにクラスタへのアクセスを安全にすることが重要です。Sparkを実行する前にSpark セキュリティとこのドキュメントの特定のセキュリティの章を見てください。

どうやって動くか

スタンドアローンクラスター配備の場合、以下の図のクラスタマネージャーはSparkマスターインスタンスです。Mesosを使う場合は、MesosマスターはクラスターマネージャーとしてSparkマスターを置き換えます。

ドライバーがジョブを生成しスケジューリングのためのタスクの発行を開始する場合は、Mesosはどのマシーンがどのタスクを処理するかを決定します。これらの多くの短時間のタスクをスケジュールする場合他のフレームワークを考慮に入れるため、リソースの静的なパーティションの助け無しに複数のフレームワークが同じクラスタ上で共存することができます。

開始するには、MesosをインストールしMesosを使ってSparkジョブをデプロイするには以下のステップに従います。

Mesosのインストール

Spark 3.2.1 はMesos 1.0.0 以上と一緒に使うように設計され、Mesosのどのような特別なパッチも必要としません。ファイルと環境に基づいた秘密鍵のサポートはMesos 1.3.0 以降を必要とします。

既に実行中のMesosクラスタがある場合は、このMesosインストールステップをスキップすることができます。

そうでなければ、SparkのためのMesosのインストールは他のフレームワークによって使われるMesosのインストールと変わりません。Mesosをソースからあるいはprebuiltパッケージのどちらかからインストールすることができます。

ソースから

Apache Mesosをソースからインストールするには、これらのステップに従います:

1. Mesosのリリースを mirrorからダウンロードします。
2. Mesosをコンパイルおよびインストールするには Mesosの開始 ページに従います。

注意: Mesosをシステムのデフォルトのパスにインストールすること無しにMesosを実行したい場合(例えば、インストールするための管理権限が無い)、どこにインストールするかを教えるために--prefix オプションを configure に渡します。例えば、--prefix=/home/me/mesosを渡します。出悪fるとでは、prefixは/usr/localです。

サードパーティパッケージ

Apache Mesosプロジェクトはバイナリパッケージではなく、ソースリリースのみで公開しています。しかし他のサードパーティプロジェクトはMesos設定に役立つかも知れないバイナリリリースを公開しています。

それらの一つが Mesosphere です。Mesosphereによって提供されるバイナリリリースを使ってMesosをインストールするには:

1. downloads pageからMesosインストレーションパッケージをダウンロードします。
2. インストレーションと設定はそれらの指示に従ってください。

Mesosphere インストレーションの文章は、Mesosマスターフェイルオーバーを処理するためにZooKeeperのセットアップを提案します。しかしMesosは単一のマスターを使ってZooKeeper無しに実行することもできます。

検証

MesosクラスタがSparkの準備ができていることを確認するために、ポート :5050 のMesosマスターweb UIに行き、すべての期待しているマシーンがagentタブ内に存在することを確認します。

SparkをMesosに接続

SparkからMesosを使うには、Mesosからアクセス可能な場所にSparkバイナリパッケージと、Mesosに接続するように設定されたSparkドライバプログラムが必要です。

代わりに、全てのMesos agent内の同じ場所にSparkをインストールし、spark.mesos.executor.home (SPARK_HOMEのデフォルト) がその場所を示すように設定することもできます。

Mesosの認証

Mesosフレームワークの認証が有効な場合、MesosへSparkを認証するためのプリンシパルと秘密鍵を提供する必要があります。各Sparkジョブは別個のフレームワークとしてMesosと一緒に登録するでしょう。

配備環境に応じて、全てのユーザに渡って共有されるフレームワークの証明書の1つのセットを作成するか、各ユーザについてフレームワークの証明書を作成したいとお思うかもしれません。フレームワークの証明書を作成および管理はMesosの認証ドキュメントに従って行われなければなりません。

フレームワークの証明書は配備環境とセキュリティの要求に依存して様々な方法で指定されるかもしれません。最も簡単な方法はspark.mesos.principal と spark.mesos.secret の値を直接Spark設定の中で指定することです。別のやり方として、代わりにspark.mesos.principal.file と spark.mesos.secret.fileを指定することで間接的にそれらの値を指定することができます。これらの設定はプリンシパルと秘密鍵を含むファイルを示します。これらのファイルはUTF-8エンコーディングの平文ファイルでなければなりません。適切なファイルの所有とモード/ACLの組み合わせにより、これはこれらの証明書を指定するより安全な方法を提供します。

更に、もし環境変数を使うことを好む場合は、上の全てを環境変数を使って指定することができます。環境変数の名前は単純に.を_で置き換えた大文字の設定です。例えば、SPARK_MESOS_PRINCIPAL。

認定の仕様の優先順

証明書を取得する複数の方法を指定する場合、以下の優先順位が適用されることに注意してください。Sparkは最初に見つけた有効な値を使い、それ以降の値は無視されるでしょう:

• spark.mesos.principal 構成設定
• SPARK_MESOS_PRINCIPAL 環境変数
• spark.mesos.principal.file 構成設定
• SPARK_MESOS_PRINCIPAL_FILE 環境変数

同じ順番が証明書についても適用されます。特に間接的にファイルよって指定するより指定することを好みます。構成設定が環境変数より使われることを好みます。

Secure ソケット上で実行中の Mesos へのデプロイ

セキュアモードで実行されている Mesos クラスタに Spark アプリケーションを配備する場合は、幾つかの環境変数を設定する必要があります。

• LIBPROCESS_SSL_ENABLED=true SSL 通信を有効にします
• LIBPROCESS_SSL_VERIFY_CERT=false SSL 証明書を検証します
• LIBPROCESS_SSL_KEY_FILE=pathToKeyFile.key キーへのパス
• LIBPROCESS_SSL_CERT_FILE=pathToCRTFile.crt 使用する証明書ファイル

全てのオプションは http://mesos.apache.org/documentation/latest/ssl/ にあります

次に、以下のクライアントモードあるいはクラスタモードで説明されるように、送信が行われます。

Sparkパッケージのアップロード

Mesosが初めてMesos agent上でタスクを実行する場合、agentはSpark Mesos executor バックエンドを実行するためにSparkバイナリパッケージを持つ必要があります。Sparkパッケージはhttp://を使ったHTTP、s3n://を使ったAmazon Simple Storage Serviceあるいはhdfs://を使ったHDFSを含む、どのようなHadoopでアクセス可能なURIでホストすることができます。

precompileパッケージを使うには:

1. Sparkの ダウンロードページからSparkバイナリパッケージをダウンロードします。
2. hdfs/http/s3 にアップロードします

HDFS上でホストするには、Hadoop fs put コマンドを使用します: hadoop fs -put spark-3.2.1.tar.gz /path/to/spark-3.2.1.tar.gz

あるいは、Sparkの独自コンパイルバージョンを使っている場合は、Sparkソースの tarball/checkoutに含まれるdev/make-distribution.shスクリプトを使ってパッケージを作成する必要は無いでしょう。

1. ここの説明を使ってSparkをダウンロードおよびビルドする。
2. ./dev/make-distribution.sh --tgzを使ってバイナリパッケージを作成する。
3. 圧縮ファイルを http/s3/hdfs にアップロードする

MesosマスターURLの使用

MesosのマスターURLは、一つのマスターのMesosクラスタについては mesos://host:5050、ZooKeeperを使った複数マスターのMesosクラスタについては mesos://zk://host1:2181,host2:2181,host3:2181/mesos の形式です。

クライアントモード

クライアントモードでは、Spark Mesosフレームワークは直接クライアントマシーン上で起動され、ドライバ出力を待ちます。

ドライバーはMesosと適切にやり取りするためにspark-env.shの中に幾つかの設定を必要とします:

1. spark-env.sh の中で幾つかの環境変数を設定します:
   • export MESOS_NATIVE_JAVA_LIBRARY=<path to libmesos.so>. このパスは一般的には <prefix>/lib/libmesos.so で、デフォルトではprefixが /usr/localです。上のMesosインストレーションの説明を見てください。Mac OS X上では、libmesos.so の代わりにlibmesos.dylib ライブラリが呼ばれます。
   • export SPARK_EXECUTOR_URI=<URL of spark-3.2.1.tar.gz uploaded above>.
2. また spark.executor.uri を <URL of spark-3.2.1.tar.gz> に設定します。

これでクラスタに対してSparkアプリケーションを開始する場合に、SparkContextを作成する時にmesos:// URLをマスターとして渡します。例えば:

val conf = new SparkConf()
  .setMaster("mesos://HOST:5050")
  .setAppName("My app")
  .set("spark.executor.uri", "<path to spark-3.2.1.tar.gz uploaded above>")
val sc = new SparkContext(conf)

(spark-submit を使い、conf/spark-defaults.conf ファイル内のspark.executor.uri を設定することもできます。)

シェルを実行する場合には、spark.executor.uri パラメータがSPARK_EXECUTOR_URIから継承されるため、システムプロパティとして重複して渡す必要はありません。

./bin/spark-shell --master mesos://host:5050

クラスターモード

Mesos上のSparkもクラスタモードをサポートします。ドライバはクラスタ内で起動され、クライアントはドライバの結果をMesos Web UIから見つけることができます。

クラスタモードを使うには、クラスタ内でMesosClusterDispatcherを sbin/start-mesos-dispatcher.shスクリプトを使って開始し、MesosマスターURL(例えば mesos://host:5050)を渡さなければなりません。これはMesosClusterDispatcher をホスト上で実行するデーモンとして開始します。MesosClusterDispatcherは認証をサポートしないことに注意してください。それにアクセスする全てのネットワークが保護されるようにしなければなりません (デフォルトではポート 7077)。

Mesosプロキシ設定プロパティを設定することで (mesos version >= 1.4 が必要です) --conf spark.mesos.proxy.baseURL=http://localhost:5050 ディスパッチャーを起動する時に各ドライバのためのmesosサンドボックスURIがmesosディスパッチャーUIに追加されます。

Marathonを使ってMesosClusterDispatcherを実行したい場合は、フォアグラウンドで MesosClusterDispatcherを実行する必要があります (つまり: ./bin/spark-class org.apache.spark.deploy.mesos.MesosClusterDispatcher)。MesosClusterDispatcherはまだHAのための複数のインスタンスをサポートしていません。

MesosClusterDispatcher もZookeeperへの回復状態の書き込みをサポートします。これによりMesosClusterDispatcherは再起動時に全てのサブミットされ実行中のコンテナを回復することができます。この回復モードを有効にするために、spark.deploy.recoveryMode と関係する spark.deploy.zookeeper.* 設定を設定することで、SPARK_DAEMON_JAVA_OPTS を設定することができます。これらの設定についての詳しい情報は設定ドキュメントを参照してください。

spark-env内の環境変数SPARK_DAEMON_CLASSPATHを設定することで、MesosClusterDispatcherに必要とされる任意の追加のjarをクラスパスに指定することもできます。

クライアントからは、spark-submit を実行し、マスターURLをMesosClusterDispatcherのURL(例えば: mesos://dispatcher:7077)に指定することで、ジョブをサブミットすることができます。ドライバの状態をSpark クラスターWeb UI上で見ることができます。

例えば:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master mesos://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  http://path/to/examples.jar \
  1000

Sparkドライバーは自動的にローカルのjarをアップロードしないため、spark-submitに渡されるjarあるいはphtyonファイルはMesos agentによってアクセス可能なURLでなければならないことに注意してください。

Mesos 実行モード

Mesos上でSparkは2つのモードで実行することができます: "coarse-grained" (デフォルト) および "fine-grained"(非推奨)。

Coarse-Grained

"coarse-grained" モードでは、Sparkの各executorは単一のMesosタスクとして実行します。Sparkのexecutors は以下の設定変数に応じて調整されます:

• Executor メモリ: spark.executor.memory
• Executor コア: spark.executor.cores
• executorsの数: spark.cores.max/spark.executor.cores

詳細とデフォルト値についてはSpark設定 ページを見てください。

アプリケーションが開始すると、executorは熱心にspark.cores.maxに到達するまで起動されます。spark.cores.maxを設定しない場合、SparkアプリケーションはMesosによって提供される全てのリソースを消費しようとします。そのため、同時実行の複数のSparkアプリケーションを含めてどのような種類のマルチテナントのクラスターでもこの変数を設定することをもちろん強くお勧めします。

スケジューラはMesosの勧めでround-robinでexecutorを開始するでしょうが、Mesosは提供ストリーム上でそのような保証を提供しないため、拡散の保証はありません。

このモードでは、Sparkのexecutorはユーザから提供されたport割り当てのようなものは喜んで引き受けるでしょう。特に、もしユーザがSpark設定の中でspark.blockManager.portを定義した場合、mesosスケジューラはポート番号を含む有効なポートの範囲のための利用可能な申し出をチェックするでしょう。そのような範囲が利用可能では無い場合、タスクを起動しないでしょう。ユーザによってポート番号に押し付けの制限が無い場合、いつものように短命ポートが使われます。もしユーザがポートを定義する場合、このポートの引き受けの実装はホストあたりに1つのタスクを意味します。将来、ネットワークの隔離がサポートされるべきです。

coarse-grained モードでの恩恵は、アプリケーションの完了までの時間についてMesosリソースを保持する犠牲の上で、スタートアップ時のオーバーヘッドが少ないことです。リソースの要求に動的に適合するようにジョブを設定するためには、動的割り当てを調べてください。

Fine-Grained (非推奨)

注意: Fine-grained モードはSpark 2.0.0の時点で非推奨です。その恩恵のいくつかについては、動的割り当てを使って考えてください。完全な説明はSPARK-11857を見てください。

"fine-grained"モード(デフォルト)では、Spark executor内の各Sparkタスクは個別のMesosタスクとして実行されます。これにより、Sparkの複数のインスタンス(と他のフレームワーク)は、とても良い粒度でコアを共有することができ、各アプリケーションはコアをより多くあるいは少なく取ることができますが、各タスクの起動の追加のオーバーヘッドがあります。このモードは、対話的な問い合わせあるいはwebアプリケーションの提供のようなレイテンシの低い要求には適切ではないかも知れません。

fine-grainedでのSparkのタスクは終了した時にコアを破棄しますが、JVMはメモリをオペレーティングシステムに戻さないため、メモリを破棄しないだろうことに注意してください。executorの仕事が無い場合にもexecutorは終了しないでしょう。

fine-grained モードで実行するには、SparkConf内の spark.mesos.coarseプロパティをfalseに設定します。

conf.set("spark.mesos.coarse", "false")

mesosのリソースが提供する制限に基づいた属性を設定するためにspark.mesos.constraintsも利用したいかも知れません。デフォルトでは、提供される全てのリソースが使われるでしょう。

conf.set("spark.mesos.constraints", "os:centos7;us-east-1:false")

例えば、spark.mesos.constraints が os:centos7;us-east-1:falseに設定された場合、これらの制約に合うかどうかを見るためにリソースがチェックされ、その場合にのみ新しいexecutorを開始するために受け付けられるでしょう。

ドライバのタスクが実行される場所を制約するには、spark.mesos.driver.constraintsを使います

MesosのDocker サポート

SparkはSparkConf内のspark.mesos.executor.docker.image プロパティを設定することで、Mesos Docker containerizer を使うことができます。

Dockerイメージは既にイメージの一部であるSparkの適切なバージョンを持たなければなりません。あるいは通常の方法を使ってMesosダウンロードのSparkを持つことができます。

必要なMesosのバージョンは 0.20.1 以上です。

デフォルトではMesosエージェントは画像がエージェント上にまだ無い場合は画像を取りださないことに注意してください。複数のイメージタグを使う場合は、executorを実行する前にエージェントがイメージを常に取り出すように強制するためにspark.mesos.executor.docker.forcePullImage をtrue にすることができます。画像の強制取り出しはMesosバージョン 0.22以上でのみ利用可能です。

Hadoopと一緒に実行

SparkおよびMesosをそれらを別個のサービスとしてマシーン上で起動するだけで、既存のHadoopクラスタ上で実行することができます。HadoopデータにSparkからアクセスするには、完全な hdfs:// URL が必要です(一般的には hdfs://<namenode>:9000/path)。しかし、Hadoop Namenode web UI上でその正しいURLを見つけることができます。

更に、より良いリソースの隔離および二者間の共有のために、Mesos上のHadoop MapReduceを実行することもできます。この場合、各ノード上のLinuxスケジューラを使ってリソースを共有するのとは逆に、MesosはHadoopあるいはSparkのどちらかにコアを割り当てる統一されたスケジューラとして振る舞うでしょう。Mesos上のHadoopを参照してください。

いずれの場合も、HDFSはMesosを使ってスケジュールされること無しにHadoop MapReduceとは別個に実行します。

Mesosを使った動的なリソースの割り当て

Meosはcoarse grainモードでのみ動的割り当てをサポートします。これはアプリケーションの統計に基づいてexecutorの数を変更します。一般的な情報については動的なリソースの割り当てを見てください。

使用する外部のシャッフルサービスはMesosシャッフルサービスです。Mesosはまだ他のフレームワークの終了の通知をサポートしないため、シャッフルサービス上でシャッフルデータの掃除の機能を提供します。起動するには、全てのagentノード上でspark.shuffle.service.enabledをtrueに設定して、$SPARK_HOME/sbin/start-mesos-shuffle-service.sh を実行します。

これはユニークなホストの制限有りでMarahonと以下のコマンドを使ってすることもできます:./bin/spark-class org.apache.spark.deploy.mesos.MesosExternalShuffleService.

設定

Sparkの設定の情報については 設定ページを見てください。以下の設定はMesos上でSparkのために固有のものです。

Sparkのプロパティ

key1=val1,key2=val2,key3=val3

[host_path:]container_path[:ro|:rw]

spark.mesos.driver.secret.values=guessme

spark.mesos.driver.secret.names=password

spark.mesos.driver.secret.values=guessme,passwd123

spark.mesos.driver.secret.names=password1,password2

spark.mesos.driver.secret.envkeys=PASSWORD

spark.mesos.driver.secret.filenames=pwdfile

spark.mesos.driver.secret.envkeys=PASSWORD1,PASSWORD2

spark.mesos.driver.secret.filenames=pwdfile1,pwdfile2

    spark.mesos.dispatcher.queue.URGENT=1.0

    spark.mesos.dispatcher.queue=URGENT
    spark.mesos.role=URGENT
    

key1:val1,key2:val2

トラブルシューティングとデバッグ

デバッグの際に見るべき幾つかの場所があります:

• ポート:5050上のMesosマスター
  • agentタブにagentがなければなりません
  • Sparkのアプリケーションがフレームワークタブに現れなければなりません。
  • タスクがフレームワークの詳細に現れなければなりません。
  • 失敗したタスクのサンドボックスの標準出力および標準エラーをチェックします。
• Mesosのログ
  • マスターおよびagentのログは両方ともデフォルトでは/var/log/mesos の中にあります。

そして共通の落とし穴:

• Sparkのアセンブリが到達可能/アクセス可能ではありません。
  • 指定した http://, hdfs:// あるいは s3n:// URL から agent がSparkパッケージをダウンロードできなければなりません。
• ファイアウォールが通信をブロックしている
  • 失敗した通信についてのメッセージを調べてください。
  • 一時的にデバッグのためにファイアウォールを無効にし、適切な穴を開けます。