@johtaniの日記 2nd

@johtani ‘s blog 2nd edition

大阪と京都でElasticsearch勉強会を開催しました。 #elasticsearchjp

東京以外での勉強会の第2弾として、関西で勉強会を開催してきました。

会場提供をしていただいた、Yahoo!大阪、はてなのみなさん、ご協力ありがとうございました!

ここからはいつものメモです。 ちなみに、大阪の勉強会に、@takuya_aさんと@5kozawaさんの両名にお越しいただき話をしていただきました。 なので、勉強会の内容はほぼ同一になります。

Introduction Elastic @johtani

スライド:Introduction Elasticsearch

初めての関西での勉強会ということで、ElasticsearchのOSSおよび商用プラグインの紹介をしてきました。 もちろん、Kibanaのデモもちょっとだけ。スプラトゥーンに関するデータをKibanaでちょっとだけ。 突貫でデータをかき集めたのでもう少し改良しないとですが。

Elasticsearch での類似文書検索と More Like This API 詳解 / 株式会社はてな id:takuya-a

スライド:Elasticsearch での類似文書検索と More Like This Query API 詳解

ElasticsearchのMore Like Thisのソースコードリーディングみたいな感じで、 内部でどうやって処理されているかの説明を詳しくしてもらいました。

前のはてなエンジニアセミナーで話をされていた検索精度の件に絡んだ内容になっているかと。 (大阪で発表してもらった時より京都での発表が分かりやすくなってました。1日で改善されたのすごい!) MoreLikeThisだとチューニングつらいので、自分で作るためにTermVectorAPIでやってみたという流れかと。

以下は発表後に出てきた質問のいくつかです。

Q:MoreLikeThisに対してTermVectorで柔軟にできる? A:TermVectorのAPIで統計情報が取れるので、それを使うことでさらなるデータの更新ができる。

Q:TFとかの統計情報が必要なら、すべてインデックスをしたあとじゃないとちゃんとした値はとれないのでは? A:TermVectorで取得したものをどうやって使うか

Q:TermVectorAPi…聞こえなかった A:。。。

Elasticsearchを用いたはてなブックマークのトピック生成 / 株式会社はてな id:skozawa

スライド:Elasticsearchを用いたはてなブックマークのトピック生成

Significant Terms Aggregationを活用してる話。 トピックページの生成のために、Significant Terms Aggregationをどうやって利用しているかなどのお話でした。

トピックの集合の重複だったり、精度の判定方法とかいろいろ詳しく説明していただきました。

Q:2011年と12年で11年の方が多いのは? A:ブックマークの件数に比例

Q:Significant terms aggsのsizeはいくつをつかってますか? A:20を指定してます。

Q:Yahooとかニュースをストップワードとしてますが、Yahoo自体のニュースに関してはどーしてるんですか? A:本文とタイトルから別々に作っていて、タイトルからは弾かれますが、本文から作った時に出てきます。

はてなブックマークにおける Elasticsearch の運用まわりの話 / 株式会社はてな id:hagihala

スライド:未定(おそらく公開される)

体調が回復しきっていない中の発表ありがとうございました。 大幅に修正された資料が出てくるかなと。(ツイートできない数値がちらほらあったので)

Elasticsearchのクラスタの構成、どういった点で困ってたのでどういう調べ方をしたのか、どういった対処をしたのか。 どのあたりが次の課題かなどの話もありました。

感想・反省点など

大阪、京都ともに30名弱の方の参加をしていただきました。ありがとうございました。 反省点としては、ハッシュタグを告知し忘れてました。。。

勉強会はやはり、東京が異常に活発で、大阪や京都はまだそれほどでもないのかなぁとも。 大阪はエンジニアの人や会社も多い気がするんですが。私の告知の仕方もあるかもなぁと。 次回があれば、大阪での事例も聞きたいので、スピーカーをもっと探さないとなと。

関連ブログなど

見つけたら、リンク追加していきます。

その他(余談)

大阪のYahoo!さんは立地条件(梅田のすぐそば)がよく、

夜景も綺麗でした。大阪城とかも見えてました。(夜景じゃないけど。。。)

京都は祇園祭の真っ最中。

水曜日はお休みをいただいて、観光してました。ちょっと日焼けが。。。 おかげで、リフレッシュできました。三十三間堂とか良かった:)

あまり、関西に縁がない(大阪15年ぶり、京都10年ぶり)ので、 もっとユーザが増えて勉強会の機運が高まると嬉しいなと。:)

Comments