@johtaniの日記 2nd

@johtani ‘s blog 2nd edition

Riak Meetup #3 #riakjp に参加しました。

またまた、Riak Meetup Tokyo #3に参加してきました。Riak2.0のYokozunaの話があると聞いたので。

ということで、いつものように個人メモです。

今日は自重して、懇親会はアルコールなしにしました。思いがけずfluentd+elasticsearch+kibanaという組み合わせの話も聞けて大満足です。 Yokozunaのデモが見れなかったのがちょっと残念だったかなぁ。

少しだけSolr本の宣伝もしてきちゃいました。

[email protected] 「RiakCSとmixi プライベートクラウド環境」

プライベートクラウドとは?

  • 計算リソースが安い(ストレージは微妙)
  • 開発者が好きに使える環境+運用側のチケットに追われる毎日からの開放

Riak CSの概要

  • S3互換の分散ファイルストレージ

検証とか

  • 検証時はRiak CS 1.3
  • 5ノードで2Mファイルを40万個

  • 削除は遅延で削除される

  • PUT性能とか。

  • Riak CSの死活監視にはRiakのstatsとか

  • 障害対応とか

クラスタ

  • クラスタは3つ。ログ、サービス(画像) 、バックアップ保存用
  • ログの収集にfluentd、解析にelasticsearchkibanaを使っているらしい。

篠原@Basho 「Riak 2.0: 分散データ型、セキュリティ、そしてより容易な運用へ」

  • riak 2.0 pre5をリリース
  • アプリ向け機能強化、運用の容易性

設計ポリシーとか、1.xとか

  • 運用、高可用性、水平拡張性
  • Capabilityネゴシエーションとか

2.0の機能強化

バケットタイプ

  • キーの名前空間としてバケットがあったけど、同種のバケットをまとめて管理とかしたくなった。
  • データ型の導入(CRDT)
  • Setデータ型
  • セキュリティとか
  • 強い整合性…

[email protected] 「Yokozuna: Riak 2.0の新しい全文検索機能」

YokozunaやSolrの概要

  • 1ノードにRiakとSolrが1プロセスずつ
  • SolrプロセスはRiakが管理してくれる
  • SolrCloudは使ってません。
  • Riakのノードに届いたデータをSolrに裏で書き込んでくれる。
  • 検索時にはRiakのノードが分散検索をしてくれる
  • X-Riak-Metaもインデクシングしてくれる。jsonやxmlの各要素をSolrのフィールドとして認識してくれる。
  • Extractor

Solrは4.4で、JVMは1.7をユーザが入れるらしい。

Comments