久々のブログはElasticSearchネタです。勉強会開催する予定だったりすので、もう少し触っておきたいなと。 お手軽に検索するデータとして、よくWikipediaのデータを使っています。 ElasticSearchにはelasticsearch-river-wikipediaという便利なプラグインがあり、Wikipediaのデータを簡単に検索可能な状態にできます。このRiverを利用して日本語のWikipediaのデータを入れたので、メモを取っておきます。 まずは、river-wikipediaで日本語のデータをインデクシングしてみるまでの説明です。 日本語特有の設定(Kuromojiを利用したインデクシング)などはまた後日。
プラグインのインストール
対象とするElasticSearchは現時点で最新版の0.90.3とします。 最新版でRiver動かないなぁとつぶやいた影響かどうかはわかりませんが、2013/08/19に最新版のElasticSearchで動作するプラグインが公開されました。
まずはインストールです。 HPにも書いてありますが、以下のコマンドを実行すればインストールされます。
1 2 3 4 5 |
|
ElasticSearchが起動している場合はプラグインをインストール後、認識させるためにElasticSearchを再起動します。
日本語Wikipediaのインデクシング
通常は英語のWikipediaがインデクシングされますが、対象となるファイルを変更することで日本語のWikipediaもインデクシング可能です。 手元に日本語Wikipediaのダンプファイルがあるものとします。(ダウンロードはWikipediaデータベースダウンロードのページにあるpages-articles.xml.bz2のファイルです)
ファイルを指定してインデクシングするには、つぎのcurlコマンドを実行します。 コマンドを実行するとすぐにインデクシングが始まりますので注意が必要です。
1 2 3 4 5 6 7 8 9 10 |
|
ここでURLに含まれる「ja-wikipedia」がインデックス名になります。
また、JSONの”url”にはファイルの場所を指定するため、file:
で開始するパスを指定します。
例では、bz2を解凍したファイルを指定していますが、bz2のままのファイルでもOKです。
上記コマンドを実行すると、_river
というインデックスにつぎのようなエントリが増えています。
(curl -XGET 'localhost:9200/_river/ja-wikipedia/_search?pretty
)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
|
"_id": "_meta"
というエントリがさきほど登録したWikipediaのRiverに関する設定です。
"_id": "_status"
というエントリが起動したRiverの状態になります。
Riverの停止
日本語Wikipediaは結構サイズが大きく、手元のAirでインデクシングするのに30分程度かかりました。(bz2圧縮されていないファイルで、何もしていない状態)
途中でRiverを停止したくなった場合は、以下のcurlコマンドを実行します。
1
|
|
先ほど設定した_river/ja-wikipedia
の情報を削除すると、エントリが削除されたのを検知してRiverが停止します。ログにはつぎのようなメッセージが表示されます。
1 2 |
|
Riverを停止してもそれまでインデクシングされたデータは検索できます。
データはちょっとだけで良いという場合は、先ほどの_river
のデータを削除してください。
(◯件だけ登録したいとかできるかは調べてないです。)
サイズとかマッピングとか
サイズ
インデックス前のXMLのサイズが5.7Gのとき、ElasticSearchのインデックスサイズ(Optimize後)は7.2Gとなりました。すこし古いファイルを利用しているため、最新版とはサイズが異なるかもしれません。
あと、データ数が、1540000件とやけにきりがいいのがちょっと気になっています。。。 bulkのサイズを10000で指定してインデックスしたので、切れてるのかなぁと。
ということは、データが欠落しているような気がするのでRiverの作りの問題なのか、ElasticSearchの問題なのかはちょっと調べてみないとわからないなと。
マッピング
出来上がったインデックスのマッピング(Solrでいうスキーマみたいなもの)は次のようになっています。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
|
Wikipediaの各種データが上記のフィールドに入っています。 また、マッピングタイプはデフォルトで「page」というタイプになっています。
検索
先ほどのマッピングを元に検索すればOKです。例えばつぎのような感じです。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
|
結果はこんな感じ。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
|
結果を見やすくするため、タイトルだけを「title_only」という表示にしています。 ただ、この検索だと、一見「千葉」できちんとヒットしているように見えますが、ElasticSearchのフィールドの定義はstring型になっています。なので、実は「千」や「葉」だけのデータもヒットしています。 マルチバイト文字は1文字ずつインデックスされてしまい、query_stringというクエリでは、フレーズ検索などができていないためです。
まとめ
プラグインいれて、XMLファイルがあれば、検索できるデータが出来上がるので、 暇があったら、お試しで触ってみるデータを簡単に入れてみてはどうでしょうか。
ただ、いくつか気になる点も。
- 日本語が検索しにくい(string型のフィールドなのでuni-gramっぽくなっている)
- bulk_sizeの影響で端数が登録できてない(バグ?どうなの?)
ということで、ちょっと使いにくいかもなぁということで、つぎはKuromojiを利用してインデックスしてみてみようかなと。次回のエントリで書く予定です。