Yokozuna on @johtaniの日記 3rd

Riak Meetup #3 #riakjp に参加しました。

Wed, 06 Nov 2013 23:01:00 +0900

またまた、Riak Meetup Tokyo #3に参加してきました。Riak2.0のYokozunaの話があると聞いたので。

ということで、いつものように個人メモです。

今日は自重して、懇親会はアルコールなしにしました。思いがけずfluentd＋elasticsearch+kibanaという組み合わせの話も聞けて大満足です。 Yokozunaのデモが見れなかったのがちょっと残念だったかなぁ。

少しだけSolr本の宣伝もしてきちゃいました。

古城さん@Mixi 「RiakCSとmixi プライベートクラウド環境」

プライベートクラウドとは？

計算リソースが安い（ストレージは微妙）
開発者が好きに使える環境＋運用側のチケットに追われる毎日からの開放

Riak CSの概要

S3互換の分散ファイルストレージ

検証とか

検証時はRiak CS 1.3
5ノードで2Mファイルを40万個
削除は遅延で削除される
PUT性能とか。
Riak CSの死活監視にはRiakのstatsとか
障害対応とか

クラスタ

クラスタは3つ。ログ、サービス（画像）、バックアップ保存用
ログの収集にfluentd、解析にelasticsearchやkibanaを使っているらしい。

篠原＠Basho 「Riak 2.0: 分散データ型、セキュリティ、そしてより容易な運用へ」

riak 2.0 pre5をリリース
アプリ向け機能強化、運用の容易性

設計ポリシーとか、1.xとか

運用、高可用性、水平拡張性
Capabilityネゴシエーションとか

2.0の機能強化

バケットタイプ

キーの名前空間としてバケットがあったけど、同種のバケットをまとめて管理とかしたくなった。
データ型の導入（CRDT）
Setデータ型
セキュリティとか
強い整合性…

鈴木@Basho 「Yokozuna: Riak 2.0の新しい全文検索機能」

YokozunaやSolrの概要

1ノードにRiakとSolrが1プロセスずつ
SolrプロセスはRiakが管理してくれる
SolrCloudは使ってません。
Riakのノードに届いたデータをSolrに裏で書き込んでくれる。
検索時にはRiakのノードが分散検索をしてくれる
X-Riak-Metaもインデクシングしてくれる。jsonやxmlの各要素をSolrのフィールドとして認識してくれる。
Extractor

Solrは4.4で、JVMは1.7をユーザが入れるらしい。

第12回Solr勉強会を主催しました。#SolrJP

Thu, 10 Oct 2013 11:35:00 +0900

不定期開催ですが第12回Solr勉強会を主催しました。

今回は、前回ほどの過熱ぶりでは無かったですが、70人ほどの参加者の方がいらっしゃったかと。ありがとうございます！

今回は聞きたかったYokozunaの話をしてもらいました。あと、リベンジManifoldCF。 一部、追記しました。Bashoさんからツッコミがあったので。あと、4.5.1の話とか。

ManifoldCFのとSolrの組み合わせ（仮）株式会社ロンウイット　大須賀　稔さん

前回お休みだったのでリベンジですw。

英語だ。。。やっぱ英語がいいですか、スライド。。。
ManifoldCFの概要から。最新版は1.3です。色々サポートしてるなぁ。

デモもありました。（やっぱりちゃんと動かないので、鬼門みたいですが）

デモ

ManifoldCFのGUIで操作しながら。いまいちちゃんと動かなかった。。。

QA

Q:Zipはうまく動かなかった
A:Solr側で処理してくれてる。
Q:Notes対応するの？
A:いまのところない。
Q:ExcelとかPDFはTika？
A:Tika次第です。
Q:認証周りどこから取ってくるの？
A:クローラ側にはなくて、SharePointとかの権限をみてる。
Q:Web系の認証は？
A:まだないのでは。。。（調査します）

あー、デモの続き忘れてましたね。。。

Solrを組み込んだRiak 2.0の全文検索機能 -Yokozuna- Bashoジャパン株式会社　鈴木　一弘さん

Riak色々使われてるよ！アングリーバードとか、Y!とか。 Riakで提供されている1機能としてのYokozuna。単独製品ではないですよと。

Riakの説明。スケールするよ、いつでもRead/Writeできるよ、運用にフォーカスしてるよと。マスターレスですよ。 Riak2.0のリリースは2013年末。Yokozunaもかな？

ダイナミックフィールド使ってるので、Yokozunaをonにするだけで簡単に使えるよ。

RiakがSolrのプロセスを管理。

インデックスの不整合の検知とかってどうやってるのかなぁ？インデックス比較用のハッシュツリーをノード間でコピーしつつ検査してる。（Active Anti-Entropy）

(デモには魔物がいるようだ。。。)

QA

Q:JSONの属性を元にしてフィールドにインデックス可能か？
A:可能です。IIJさんの発表で話が出ます。
Q:ProtocolBufferでSolrにアクセス可能？
A:~~そのうちできそうです。~~リリース時にはできるようになっています。
Q:コアのスワップは？スキーマの変更は？
A:事前に設定するのは可能。
Q:RiakのデータとSolrでデータがずれるってのはあるの？
A:可能性はありますが、~~極力ずれ~~AAEで修復。
Q:復旧中のインデックスにアクセスが行かないようにする仕組みなどはある？
A:今はないです。

Yokozuna ベンチマークしました　株式会社インターネットイニシアティブ　曽我部　崇さん、田中義久さん

いいとこ取りで楽だなぁと。いうことで、試してみてます。デモが動いてる。

extractorでXMLやJSONをパースできる。ベンチマーク結果。

Riak Meetup Tokyo #2の時のQAも入ってるので助かります。素晴らしい。

QA

Q:スナップショットは両方取れるの？
A:Riakは取れますが、インデックスは今は無理です。
フォロー:0.8はYokozunaにボトルネックがあったので、0.9以降だともっと性能が出るはずですとのこと。また次回とかに発表してもらうのもありですかねぇ。

Solr 4.5の新機能など @johtani

発表資料のPDFです。

ツイート見てて誤解を招いたなと思ったのですが、7u40は4.5限定ではなく、すべてのバージョンと考えてください。チケットを見ると分かりますが、影響バージョンの記載はありません。

※あ、4.5のChangesを紹介しましたが、4.5.1が出るかも。このへんが困ってるらしいです。

LT

@haruyama さん

資料：http://haruyama.github.io/solr_20131009/#(1)

記号が捨てられるTokenizer困るので、捨てないのを作ってみました。

Kuromojiの困ったこと。全角数字を分解しちゃう。→MappingCharFilterFactoryで全角から半角にしましょう。 lucene-gosenデフォで半角記号が未知語になってしまい、半角カナと混ざるので、記号を全角にしましょう。

Yokozunaの気になる点というかなんというか

Thu, 11 Jul 2013 01:43:00 +0900

Yokozunaの気になる点というか、自分だったらこのへん調べるだろうなって観点を上げてみます。別に調べるわけじゃないので、完全に自己満足なメモですけど。
ちなみに、分散システムとかRiakの仕組みは詳しくないので、ズレてる点がいっぱいあるかも。
というか、分散システムでテストというか、検討する点とかってまとまってる資料とかあるのかなぁ？

スキーマ変更時の挙動
- フィールド型変更とか、フィールド追加とか
既存RiakクラスタにYokozunaの機能を追加する方法と制限
- タイムラグとかも
Riak＋Yokozunaクラスタに対してノード追加時に発生するオーバーヘッド（ネットワークとかディスクIOとか）
性能検証のためのシナリオ（どっちが先に悲鳴をあげるかとか）
- Riakメインで、Yokozunaはおまけ程度に検索するというシナリオ
- Yokozunaメインで使うシナリオ
- 更新が多い場合のシナリオ
Riakのみ、Riak＋Yokozunaの各種統計情報（CPU、メモリ、ディスクサイズ、ネットワークIO）
運用系（監視とか）の手法とか機能？とか
バージョンアップなどの対応方法
Solrがコケた時とかの対処

とりあえず、こんな感じかなぁ。

Riak Meetup Tokyo #2に参加しました。#riakjp

Wed, 10 Jul 2013 18:57:00 +0900

先日、Bashoさんにおじゃましたのもあり、Riak Meetup Tokyo #2に参加しました。
Yokozunaの話も聞けるということで。懇親会も参加しました。Vさん＆リピさんと話し込んじゃってあんまり他の人と話せなかったけど。。。

以下はいつものメモです。

FreakOut 久森さん「Riak環境をプロダクションで構築＆運用してみた（仮）」

FreakOutとRTB

ディスプレイ広告の新しい配信の枠の話
この人には何出すの？いくらで？みたいな感じ
純広告：表示保証、期間保証など
RTB：1回の広告表示ごとに買い付け
DSP（デマンド・サイト・プラットフォーム）
広告表示は大体0.1秒で表示しないといけない。この間に色々やってる。
- 50ms or die.で戦ってます。
RTBはCPUバウンド
- 多コアを安く並べたい
- Tokyoなんとかとか使ってた。
  - スケーラビリティがキツイ（クライアント側でアルゴリズム分散してる）
  - データ解析もしたいけど、検索ができない
- RTBに適したRiakがうまくハマるのではと。

構成とかとか

アプリはPerlなので、PerlでRiakクライアントが必要。Memcached互換とかあると嬉しい。
ProtobufサポートもPurePerlしかなかった。
ないなら、作ろうと。githubに上がってます。このへんかな？
監視はcloudforecastとかでやってる。

課題

Redirectがつらい（haproxy？がつらい？）
Setが詰まるとつらい（ケースがまだわからない）
対策１
- memcached＋Riak
対応２（案）
- hashからpartitionに直接取りに行くとか

まとめ

素のままRiakはちょっとつらい

QA

聞き取れたやつだけ

Q：1台いくら位ですか？
- A：10万から11万くらい
Q：どのくらいの性能ですか？
- A：同時1000くらいをさばいてる？
Q：50ms以下を出すのに、ネットワーク周りで近さとかを考えることありますか？
- A：国内だと10msあればなんとかなる。それよりもアプリ側のチューニングのほうがまだ重要
Q：Cassandraとか候補に挙がらなかったんですか？
- A：苦しんでる人が知人にいるので。。。あと、用途的に違うので。
Q：バックエンドとしてはなにを？
- A：bitcaskにしてる
Q：サーバ構成、ネットワーク構成がどうなってる？
- A：。。。
Q：Redirectとは？RiakがやってるRedirect？
- A：はい。
Q：他に候補にあがったのは？
- A：商用のaerospike（これかな？）がスケールできそうだったけど、クライアントがいまいち。。。

感想

広告業界のことをよくわかってないので、微妙にピンときてなかったりもするのですが、以下に素早く返すかって観点でどこに注力して、問題点を潰していくのかってのは面白そうだなぁと。リクエスト処理の性能がクリアできたらつぎはスケールの観点（ノード追加時の挙動とか）で検証していくんだろうなと。次回の話も聞いてみたい感じです。

IIJ 曽我部さん、田中さん「Yokozuna 日本語検索性能を評価しました」

Yokozunaって？

Riak＋Solrでいいとこ取り
データの登録とかはRiakのAPIで。
SolrのAPIが使える。
YokozunaがSolrの分散検索の部分を隠してくれる。

Yokozunaのインストールとか。

SolrのAPIっぽい形で検索できるし、戻りもSolrのXMLっぽいのが出てくるよ。

Wikipediaデータってstoreの性能とか。

Riakのノード32台。（Xeon、メモリ24GB、HDD。。。）
yz_extractor：Riakのコンテンツタイプを見てSolrにデータを入れる処理が書いてある。
自分でschema.xmlを書いてYokozunaに指定することもできる。
- スキーマの変更とか登録とか。
  - すでに指定済みスキーマを変更した場合の挙動ってどうなるの？
デモではSolrからid取って、Riakからその他のデータを取り出していた。

Rubyでの性能評価

ベンチマークプログラム側の問題が先に影響が出てしまった。

QA

Q：Riak単体とYokozunaつかった時でディスク容量がどのくらい増えた？
- A：ちゃんと調べてないが、10%くらい増えた気がする。
Q：Solr側の設定でstored=trueだけど、falseにしてもいいんじゃないの？
- A：デモはfalseにしてます。
Q：スキーマってあとから変更できるんですかね？
- A：まだ良くわかってないです。
Q：ノードの追加、削除時の挙動とかも気になります。

感想

今回はStore性能に関してでしたが、今後は検索性能やシナリオによる性能（KVSの処理メインで、時々全文検索とか、全文検索の処理も結構あるパターンとか）の測定とか、耐障害性とかの観点で調査を進めてもらってSolr勉強会で話をしてもらえると面白そうだなぁと勝手に思ってみたり。 Solr勉強会へのコンタクトお待ちしてます！ｗ

Basho Japanに遊びに行きました

Wed, 19 Jun 2013 10:03:00 +0900

ちょくちょく書こうと言いながら、前の記事が1週間以上前になってる。。。

昨日は、Basho Japanに遊びに行って来ました。（Riak触ったことないのに。。。Erlangも。。。ゴメンナサイ）

RiakにSolrを組み合わせたYokozunaというものの名前を最近耳にしていたので、どんなものなのかなぁと興味がありまして。Solrがどんな使い方をされているのかってのが気になったので、情報交換したいなぁと思っていたところ、Vの人が調整してくれたので色々と有意義な話ができたかなぁと。（Yokozunaについての最新のスライドはBerlin Buzzword 2013のものがここに） Twitter上で見かけたことのある方々と話ができたり面白かったです。（やっぱ英語で会話できたりスラスラと読めるの必要だよなぁと痛感したりもしました。。。）

ということで、遊びに行ったのに美味しいピザやこんなおみやげまでもらってしまいました。（ピザの写真撮るの忘れてたw）

Riak＆Bashoグッズ

ちなみに、Yokozunaですが、Riakに登録したデータを裏で起動しているSolにデータを流しこんでくれるものになります。 Solrの機能としては分散検索（Distributed Search）と呼ばれる仕組みを利用しているようです。 YokozunaのI/Fとしては、Solrのインデックスの分散構成は隠してくれていて、かつ、Solr（っぽい？）リクエストを投げれば裏の分散構成に問い合わせた結果をSolrのレスポンスの形で返してくれます。 KVSに全文検索の機能がついてくるお得感が満載な気がしますw。

Riak自身のデータの取り扱いがどんなものかをまだちゃんと理解していないので（ゴメンナサイ。Little Riak Bookは開いてるんですが読んでなくて。。。）またおじゃましてもう少し情報交換したいかなぁとｗ。

Cloudera Searchといい、Yokozunaといい、Solrを利用したものが少しずつ増えてきて嬉しい限りです。 Solrの作りがしっかりしている？活発？、だから取り込む形が多いんですかねぇ。 Solr本を書いてから数年たちますが、やっと検索のニーズが出てきたのかもしれないなぁと思ってみたり。（流れのつながりはあまりないですが）ElasticSearchも少しずつ人気が出てきてるし、日本語の本とかのニーズあったりするかなぁ？