ホーム » 技術 » Key Value Store » Flareを使う(性能測定編)

SAKURA Internet Inc.

アーカイブ

Flareを使う(性能測定編)

投稿者: in Key Value Store, 技術 投稿日:

当ブログをご覧のみなさまこんにちは。さくらインターネット研究所の大久保です。
今回はFlareのスループット測定を行いましたので、そちらについてご紹介をしたいと思います。

測定環境

今回の測定では、1台のストレージサーバに対して、負荷生成プログラムを動作させた多数のプロキシサーバからクエリを投げ、ストレージサーバ1台あたりのSet/Getスループットを測定します。

測定環境ですが、当研究所では以下のような構成でKVS評価用に50台のサーバを用意しております。

今回はそのうち42台のサーバを用いて測定を行いました。各役割のサーバの台数は以下の通りです。

役割 台数
インデックスサーバ 1台
ストレージサーバ 1台
プロキシサーバ(負荷生成サーバ) 40台

全てのサーバは同じものを設置しており、スペックは以下の通りです。

項目 スペック
CPU Xeon 2.0GHz (2Core)
Memory 4GB
HDD SCSI 37GB
NIC 1000Base-T
OS CentOS 5.4

サーバの設定

各サーバ上で起動するFlareの設定は以下の通りです。

  • インデックスサーバの設定
    data-dir = /home/admin/flare
log-facility = local0
server-name = 192.168.13.21

monitor-threshold=3
monitor-interval=1
monitor-read-timeout=1000
  • ストレージサーバの設定(プロキシサーバも同じ)
    ※ server-nameは各サーバのIPアドレスに置き換える。

    data-dir = /home/admin/flare
log-facility = local0
storage-bucket-size = 16777216
index-server-name = 192.168.13.21
server-name = 192.168.13.22
  • インデックスサーバにてストレージサーバの役割設定
    % telnet localhost 12120
node role 192.168.13.22 12121 master 1 0

負荷生成プログラム

以下のような負荷生成プログラムを40台のプロキシサーバにて10分間走らせ、各プロキシサーバで処理できたクエリ数を合計し、1秒間あたりに処理可能なクエリ数を計算します。

  • 負荷生成プログラム(set)
    #!/usr/bin/env perl

use Cache::Memcached;

$start = shift; die unless ($start =~ /^\d+$/);
$end = shift;   die unless ($end =~ /^\d+$/);

my $a = Cache::Memcached->new({'servers' => ["127.0.0.1:12121"], 'select_timeout' => 100.0, 'connect_timeout' => 2.0});

$value = "01234567890123456789012345678901234567890123456789";

foreach ($start .. $end) {
	$key = sprintf("test%08d", $_);
	unless ($a->set($key, $value)) {
		warn "set failed $_\n";
		sleep(1);
		redo;
	}
	if ($_ % 1000 == 0) {
		print "$_ done.\n";
	}
}
  • 負荷生成プログラム(get)
    #!/usr/bin/env perl

use Cache::Memcached;

$max = shift; die unless ($max =~ /^\d+$/);

my $a = Cache::Memcached->new({'servers' => ["127.0.0.1:12121"]});

$value = "01234567890123456789012345678901234567890123456789";

$count = 0;
while(1) {
	$key = sprintf("test%08d", int(rand($max)));
	unless ($data = $a->get($key)) {
		warn "get failed $key\n";
		sleep(1);
		redo;
	}
	if ($data ne $value) {
		warn "value inconsistent $key -> $data\n";
	}
	$count++;
	if ($count % 1000 == 0) {
		print "$count done.\n";
	}
}

キー名、値、レコード数は以下の通りとなります。

  • キー名: test00000000〜test03999999
  • 値: 01234567890123456789012345678901234567890123456789 (50bytes)
  • レコード数: 400万件

測定結果

比較のために、上記と同様の構成でmemcachedを用いた場合の測定も行いました。結果を以下に示します。

ソフトウェア Set[queries/sec] Get[queries/sec]
memcached 80,838 111,420
Flare 31,933 73,681

グラフにしたものが下図です。

memcachedは完全にオンメモリで動作しますので単純な比較はできませんが、Flareはmemcachedに比べ、Setは約1/2.5、Getについては約1/1.5の性能を有することがわかります。

まとめ

今回は1台のストレージサーバあたりのスループットをFlareとmemcachedで比較してみました。分散KVSではサーバを追加するだけで性能を簡単に増やすことができますので、クエリが均等に分散する理想状態においては、パーティションを2つに増やせば2倍、3つに増やせば3倍になるはずです。そこで、クエリがどの程度分散するかについて今後検証を行う予定です。

タグ: