目次
先日、Bashoさんにおじゃましたのもあり、Riak Meetup Tokyo #2に参加しました。
Yokozunaの話も聞けるということで。
懇親会も参加しました。Vさん＆リピさんと話し込んじゃってあんまり他の人と話せなかったけど。。。
以下はいつものメモです。
FreakOut 久森さん 「Riak環境をプロダクションで構築＆運用してみた（仮）」
FreakOutとRTB
- ディスプレイ広告の新しい配信の枠の話
- この人には何出すの？いくらで？みたいな感じ
- 純広告：表示保証、期間保証など
- RTB：1回の広告表示ごとに買い付け
- DSP（デマンド・サイト・プラットフォーム）
- 広告表示は大体0.1秒で表示しないといけない。この間に色々やってる。
- 50ms or die.で戦ってます。
- RTBはCPUバウンド
- 多コアを安く並べたい
- Tokyoなんとかとか使ってた。
- スケーラビリティがキツイ（クライアント側でアルゴリズム分散してる）
- データ解析もしたいけど、検索ができない
- RTBに適したRiakがうまくハマるのではと。
構成とかとか
- アプリはPerlなので、PerlでRiakクライアントが必要。Memcached互換とかあると嬉しい。
- ProtobufサポートもPurePerlしかなかった。
- ないなら、作ろうと。githubに上がってます。このへんかな？
- 監視はcloudforecastとかでやってる。
課題
- Redirectがつらい（haproxy？がつらい？）
- Setが詰まるとつらい（ケースがまだわからない）
- 対策１
- memcached＋Riak
- 対応２（案）
- hashからpartitionに直接取りに行くとか
まとめ
- 素のままRiakはちょっとつらい
QA
聞き取れたやつだけ
- Q：1台いくら位ですか？
- A：10万から11万くらい
- Q：どのくらいの性能ですか？
- A：同時1000くらいをさばいてる？
- Q：50ms以下を出すのに、ネットワーク周りで近さとかを考えることありますか？
- A：国内だと10msあればなんとかなる。それよりもアプリ側のチューニングのほうがまだ重要
- Q：Cassandraとか候補に挙がらなかったんですか？
- A：苦しんでる人が知人にいるので。。。あと、用途的に違うので。
- Q：バックエンドとしてはなにを？
- A：bitcaskにしてる
- Q：サーバ構成、ネットワーク構成がどうなってる？
- A：。。。
- Q：Redirectとは？RiakがやってるRedirect？
- A：はい。
- Q：他に候補にあがったのは？
- A：商用のaerospike（これかな？）がスケールできそうだったけど、クライアントがいまいち。。。
感想
広告業界のことをよくわかってないので、微妙にピンときてなかったりもするのですが、以下に素早く返すかって観点でどこに注力して、問題点を潰していくのかってのは面白そうだなぁと。 リクエスト処理の性能がクリアできたらつぎはスケールの観点（ノード追加時の挙動とか）で検証していくんだろうなと。次回の話も聞いてみたい感じです。
IIJ 曽我部さん、田中さん 「Yokozuna 日本語検索性能を評価しました」
Yokozunaって？
- Riak＋Solrでいいとこ取り
- データの登録とかはRiakのAPIで。
- SolrのAPIが使える。
- YokozunaがSolrの分散検索の部分を隠してくれる。
Yokozunaのインストールとか。
- SolrのAPIっぽい形で検索できるし、戻りもSolrのXMLっぽいのが出てくるよ。
Wikipediaデータってstoreの性能とか。
- Riakのノード32台。（Xeon、メモリ24GB、HDD。。。）
- yz_extractor：Riakのコンテンツタイプを見てSolrにデータを入れる処理が書いてある。
- 自分でschema.xmlを書いてYokozunaに指定することもできる。
- スキーマの変更とか登録とか。
- すでに指定済みスキーマを変更した場合の挙動ってどうなるの？
- スキーマの変更とか登録とか。
- デモではSolrからid取って、Riakからその他のデータを取り出していた。
Rubyでの性能評価
- ベンチマークプログラム側の問題が先に影響が出てしまった。
QA
- Q：Riak単体とYokozunaつかった時でディスク容量がどのくらい増えた？
- A：ちゃんと調べてないが、10%くらい増えた気がする。
- Q：Solr側の設定でstored=trueだけど、falseにしてもいいんじゃないの？
- A：デモはfalseにしてます。
- Q：スキーマってあとから変更できるんですかね？
- A：まだ良くわかってないです。
- Q：ノードの追加、削除時の挙動とかも気になります。
感想
今回はStore性能に関してでしたが、今後は検索性能やシナリオによる性能（KVSの処理メインで、時々全文検索とか、全文検索の処理も結構あるパターンとか）の測定とか、耐障害性とかの観点で調査を進めてもらってSolr勉強会で話をしてもらえると面白そうだなぁと勝手に思ってみたり。 Solr勉強会へのコンタクトお待ちしてます！ｗ
comments powered by Disqus
See Also by Hugo
- 第12回Solr勉強会を主催しました。#SolrJP
- Bonfire Data & Science #1に参加しました
- 第11回Solr勉強会を主催しました。#SolrJP
- Basho Japanに遊びに行きました
- Riak Meetup #3 #riakjp に参加しました。