Javaクライアントを使ったLeoFSのクイックスタート

July 28, 2014

はじめに

この文章で開発の仕方やLeoFSのJava-clientアプリケーションの構造について知ることができるでしょう。この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

インストレーションとS3 Java-clientのセットアップ

マシーンにJavaをインストールする一番簡単な方法は、yumあるいはaptパッケージインストーラを使うことです。そして更にApache Antが必要です。

更には

楽天でのソフトウェア開発

Ruby-clientを使ったLeoFSのクイックスタート

June 25, 2014

はじめに

この文章で開発の仕方やLeoFSのRubyアプリケーションの構造について知ることができるでしょう。この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

インストレーションとS3 Ruby-clientのセットアップ

マシーンにRubyをインストールする一番簡単な方法は、yumパッケージインストーラを使うことです。そして更にRubyに依存するものが必要です。

更には

楽天でのソフトウェア開発

ストックホルムでのErlangユーザカンファレンス2014

June 16, 2014

私はErlang ユーザカンファレンス 2014に参加しプレゼンテーションをしました - the 20th Conference in Stockholm、Erlangプログラミング言語に注目した二日間のテクノロジカンファレンスです。私にとってとても参考になるものでした。

image

このカンファレンスでの印象深いいくつかのセッションを共有します。

1st Day - June 9th, 2014

スケーリングとハイパフォーマンス ストレージシステム: LeoFS - Yosuke Hara

I made a presentation about design and architecture of LeoFS as well as demonstrate how developers/users are able to easily run and manage LeoFS in their environments for 45min, which was forcused on the overview, the benchmark report and the multi datacenter replication.

image

I shared the future plan of LeoFS. We’re aiming to centralise huge amount and various kind unstructured data in LeoFS. We have been tackling to implement NFS Support as another way of the connection. Because we thought we support both S3/REST-API for online transaction and NFS not FUSE for backend services in order to realise DATA-HUB which is needed at our company and services.

Also, Rakuten software engineer, Hiroki, He shared LeoFS administration at Rakuten for 7min in this presentation. He introduced two use cases of LeoFS, which are the storage platform and the file sharing service for in-house.

I had the great opportunity to deliver the presentation at the EUC2014 because our presentation got around 40 attendees and sevearal questions for it. And also, I acquired high potential users through this conference.

更には

PHPクライアントを使ったLeoFSのクイックスタート

May 22, 2014

はじめに

This article will get you going with a PHP-client application how to develop and architect applications for LeoFS. この文章は既にLeoFS環境がローカルあるいはリモートノードにインストールされていることを仮定しています。更に詳しい情報はLeoFSを開始する を見てください。

Installation & Setup PHP-client

CentOS, Fedora & RHEL:

##### Install PHP, SDK and Dependencies #####
$ sudo yum install php
$ php –v

Debian & Ubuntu based Installation

##### Install PHP, SDK and Dependencies #####
$ sudo apt-get install php5 php5-json php5-curl
$ php –v
###### Download Sample Project #####
$ git clone https://github.com/leo-project/leofs_client_tests.git
$ cd aws-sdk-php
$ curl -sS https://getcomposer.org/installer | php
$ sudo php composer.phar install

About the Sample

This sample application is designed to show you how to:

  • Declare a dependency on the AWS SDK for PHP using Composer.
  • Read access keys from environment variables or define it statically in this sample we are using static entry.
  • Instantiate an Amazon Simple Storage Service (Amazon S3) client.
  • Interact with Amazon S3 in various ways, such as creating a bucket and uploading a file.

The project's README file contains more information about this sample code. If you have trouble getting set up or have other feedback about this sample codes, let us know on GitHub.

API Feature List

The storage API is compatible with the Amazon S3 REST API which means that any of the operations listed can be executed using any of the commonly available S3 libraries or tools.

更には

楽天でのソフトウェア開発

Multi Data Center Replication (1st phase)

Apr 11, 2014

If you look at the big idea at LeoFS, what we're really focused on is High Scalability, High Availability and High Cost Performance Ratio because as you know, unstructured data have been exponentially increasing day by day, so we need to build Global Scale Storage System at low cost.

LeoFSのマルチデータセンターリプリケーションをSPDF無しにもっと単純に理解できないかを考えています - 単一障害点とパフォーマンスの低下

Set configuration of clusters

slide-002

First, it is necessary to configure consistency-level, max number of joinable clusters and number of replicas a data center both the local cluster and the remote cluster(s).

The 1st phase of multi data center replicaion also supported asynchronous replication between clusters

更には

LeoFS v0.14.0のベンチマーク結果

Apr 18, 2013

4月12日に LeoFS v0.14.0のベンチマークを行いました。テスト環境は以下の通りです。一般的なスペックのサーバとCentOS 6.3を使いました。また、LeoFSの一貫性レベルは製品の設定と同じです。

Test Results

Test results is as follows. From each benchmark, we found the bottle-neck was disc I/O. Also, retrieving of small file size (average 128KB) has the room for an improvement. So We have been improving Leo's object-cache lib from this week.

benchmark results of leofs v0.14.0

更には

LeoFS の概要

Apr 16, 2013

会社内でストレージの問題に気づきました。多くのサービスがイメージ、ドキュメントなどのような構造化されていないデータを保持している高価な ストレージに依存しています。

3つの問題を解決しなければなりません:

  • LowROI - 低予算のサービスは高価なストレージを使う時に支払うことができません。
  • SPOFの可能性 - 予算によりますが、高価な製品を使った冗長構造を作ることは難しいです。
  • データが増加する間のストレージの拡張が難しい - "高価なストレージ"を追加(拡張)することは簡単では無い。

目的

試行錯誤の結果、以下の3つのことでストレージの要求を満たすことができました:

  • 一つの大きなストーレジ:
    • ストレージプラットフォームと呼ばれます。
  • 停止しないストレージ:
    • ストレージシステムは多くのwebサービスからリクエストされるため、常に動作することが求められます。
  • Webに特化:
    • 全てのwebサービスはストレージシステムと簡単に通信できる必要があります。そこで、NOT FUSE ではなく REST-API over HTTPを提供することに決めました。FUSEの使用は特定のストレージに依存するため、完全にスケールすることができません。

更には

TOP
inserted by FC2 system