Javaクライアントを使ったLeoFSのクイックスタート

July 28, 2014

はじめに

この文章で開発の仕方やLeoFSのJava-clientアプリケーションの構造について知ることができるでしょう。この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

インストレーションとS3 Java-clientのセットアップ

マシーンにJavaをインストールする一番簡単な方法は、yumあるいはaptパッケージインストーラを使うことです。そして更にApache Antが必要です。

更には

楽天でのソフトウェア開発

Ruby-clientを使ったLeoFSのクイックスタート

June 25, 2014

はじめに

この文章で開発の仕方やLeoFSのRubyアプリケーションの構造について知ることができるでしょう。この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

インストレーションとS3 Ruby-clientのセットアップ

マシーンにRubyをインストールする一番簡単な方法は、yumパッケージインストーラを使うことです。そして更にRubyに依存するものが必要です。

更には

楽天でのソフトウェア開発

ストックホルムでのErlangユーザカンファレンス2014

June 16, 2014

私はErlang ユーザカンファレンス 2014に参加しプレゼンテーションをしました - the 20th Conference in Stockholm、Erlangプログラミング言語に注目した二日間のテクノロジカンファレンスです。私にとってとても参考になるものでした。

image

このカンファレンスでの印象深いいくつかのセッションを共有します。

1st Day - June 9th, 2014

スケーリングとハイパフォーマンス ストレージシステム: LeoFS - Yosuke Hara

LeoFSの設計と構造について、および開発者/ユーザがどれほど簡単に彼らの環境でLeoFSを実行および管理できるかを実演する45分のプレゼンテーションを作成しました。これらはthe overview, the benchmark report および the multi datacenter replicationに注目しています。

image

LeoFSの将来の計画を共有しました。大量および様々な種類の非構造化データをLeoFSに中央化することを目指しています。接続の他の方法としてNFSサポートの実装の後を追っています。私たちの会社とサービスで必要とされるDATA-HUBを実現するために、オンライン トランザクションのためにS3/REST-APIと、バックエンドサービスのためにNFS not FUSE の両方のサポートを考えているからです。

また、Rakuten ソフトウェアエンジニア、Hirokiはこのプレゼンテーションの中で7分間のRakutenでのLeoFS 管理 を共有しました。彼はLeoFSの二つのユースケースを紹介しました。ストレージ プラットフォームイン-ハウスのためのファイル共有サービスです。

私たちのプレゼンテーションは約50人の参加者といくつかの質問を受けたため、EUC2014においてプレゼンテーションをするいい機会を得ました。また、このカンファレンスを通じて潜在的なユーザを得ました。

更には

PHPクライアントを使ったLeoFSのクイックスタート

May 22, 2014

はじめに

この文章で開発の仕方やLeoFSのPHP-clientアプリケーションの構造について知ることができるでしょう。この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

インストレーション & PHP-clientのセットアップ

CentOS, Fedora & RHEL:

##### Install PHP, SDK and Dependencies #####
$ sudo yum install php
$ php –v

Debian & Ubuntu ベースのインストレーション

##### Install PHP, SDK and Dependencies #####
$ sudo apt-get install php5 php5-json php5-curl
$ php –v
###### Download Sample Project #####
$ git clone https://github.com/leo-project/leofs_client_tests.git
$ cd aws-sdk-php
$ curl -sS https://getcomposer.org/installer | php
$ sudo php composer.phar install

例について

この例のアプリケーションは以下をどうやって行うかを示すために設計されました:

  • Composerを使ってPHPのためのAWS SDK上の依存を宣言します。
  • 環境変数からアクセスキーを読み込むか、静的に宣言します。この例では静的なエントリを使っています。
  • Amazon Simple Storage Service (Amazon S3) クライアントをインスタンス化する。
  • Amazon S3 とバケットを作成したりファイルをアップロードしたりして様々な方法でやり取りする。

プロジェクトのREADME ファイルはこの例のコードについてもっと多くの情報を含んでいます。この例のコードについてセットアップで問題があった場合やその他のフィードバックがある場合は、GitHub上で教えてください。

API 機能リスト

ストレージ API はAmazon S3 REST API と互換性があります。このことは、一般的に利用可能なS3ライブラリあるいはツールを使ってリストされているどのようなオペレーションも実行することができることを意味します。

更には

楽天でのソフトウェア開発

Multi Data Center Replication (1st phase)

Apr 11, 2014

LeoFSでの大きな思想を探しているのであれば、私たちが本当に集中しているのは高スケーラビリティ、高可用性、および高コストパフォーマンスレシオです。知っての通り非構造データが日ごとに指数関数的に増えているため、グローバルなスケールストレージシステムを安価で構築する必要があるからです。

LeoFSのマルチデータセンターリプリケーションをSPDF無しにもっと単純に理解できないかを考えています - 単一障害点とパフォーマンスの低下

クラスタを設定する

slide-002

まず、一貫性レベル, join可能なクラスタの最大数 およびローカルクラスタとリモートクラスタの両方での データセンターのレプリカの数設定する必要があります。

The 1st phase of multi data center replicaion also supported asynchronous replication between clusters

更には

LeoFS v0.14.0のベンチマーク結果

Apr 18, 2013

4月12日に LeoFS v0.14.0のベンチマークを行いました。テスト環境は以下の通りです。一般的なスペックのサーバとCentOS 6.3を使いました。また、LeoFSの一貫性レベルは製品の設定と同じです。

テスト結果

テストの結果は以下の通りです。各べんちーまくから、ボトルネックはディスク I/Oだったことが分かりました。また、小さなファイルサイズ(平均 128KB) の扱いには改善の余地があります。ですので、この週からLeofs の object-cache libを改良していました。

leofs の v0.14.0の結果のベンチマーク

更には

LeoFS の概要

Apr 16, 2013

会社内でストレージの問題に気づきました。多くのサービスがイメージ、ドキュメントなどのような構造化されていないデータを保持している高価な ストレージに依存しています。

3つの問題を解決しなければなりません:

  • LowROI - 低予算のサービスは高価なストレージを使う時に支払うことができません。
  • SPOFの可能性 - 予算によりますが、高価な製品を使った冗長構造を作ることは難しいです。
  • データが増加する間のストレージの拡張が難しい - "高価なストレージ"を追加(拡張)することは簡単では無い。

目的

試行錯誤の結果、以下の3つのことでストレージの要求を満たすことができました:

  • 一つの大きなストーレジ:
    • ストレージプラットフォームと呼ばれます。
  • 停止しないストレージ:
    • ストレージシステムは多くのwebサービスからリクエストされるため、常に動作することが求められます。
  • Webに特化:
    • 全てのwebサービスはストレージシステムと簡単に通信できる必要があります。そこで、NOT FUSE ではなく REST-API over HTTPを提供することに決めました。FUSEの使用は特定のストレージに依存するため、完全にスケールすることができません。

更には

TOP
inserted by FC2 system