Gearpump の概要

Gearpump はリアルタイム ビッグデータ ストリーミング エンジンです。Akkaフレームワークでの最近の進歩によってインスパイアされ、既存のストリーミングフレームワーク上での改善を目指しています。Gearpump は event/message に基づいており、低レンテンシ処理、高パフォーマンス、確実に一回のセマンティクス、動的トポロジー更新、Apache Storm 互換性を特徴としています。

Gearpumpという名前は技術用語"gear pump"が出典です。これはただ二つの歯車からなるとても単純なポンプですが、とても強力に水を流します。

Gearpump の技術的な見どころ

Gearpumpの機能セットは以下を含みます:

• 高パフォーマンス
• 低レンテンシ
• 設定可能なメッセージ配送保証 (少なくとも1回、確実に1回)
• 高拡張性
• 動的な DAG
• Storm 互換性
• Samoa 互換性
• 高レベルおよび低レベルAPI

Gearpump パフォーマンス

初めてのベンチマークによると、4ノードのクラスタ上で8msの遅延で、秒間あたり1800万メッセージ/秒(メッセージ辺り100バイト)を処理することができます。

Gearpump と Akka

Gearumpは100% Akkaに基づいたプラットフォームです。Akka actor構造内でビッグデータストリーミングを形に表します。