Wikipedia on @johtaniの日記 3rd

elasticsearch-river-wikipediaの疑問点

Thu, 12 Sep 2013 02:38:00 +0900

river-wikipediaの前々回の記事で書きましたが、bulk_sizeに関連して登録件数がやけにきりが良いのが気になると書いていました。

で、Riverの仕組みを勉强がてら、elasticsearch-river-wikipediaのソース（1.2.0）を読んでみました。

Riverの作り

Riverはorg.elasticsearch.river.Riverというinterfaceを実装することで作らています。ただ、Riverがinterfaceとなっていますが、o.e.river.AbstractRiverComponentというクラスを継承して作られています。

AbstractRiverComponentにはRiverの名前や設定などが用意されています。ま、ここはそれほど重要じゃないので、軽く流してと。

Riverの設定関連は実装したRiverクラス（ここでは、WikipediaRiverクラス）のコンストラクタで、設定値の読み取りなどの記述を記載します。このコンストラクタが、_river/hogehoge/_metaをPUTした時のJSONを元にElasticSearchから呼ばれて、Riverのインスタンスが作成されます。（たぶん、このへんがその処理だと思う。。。このあたりはまた今度）

実際のRiverの処理はWikipediaRiverクラスのstart()メソッド内部に記述されています。

    @Override
    public void start() {
        logger.info("starting wikipedia stream");
        try {
①            client.admin().indices().prepareCreate(indexName).execute().actionGet();
        } catch (Exception e) {
            if (ExceptionsHelper.unwrapCause(e) instanceof IndexAlreadyExistsException) {
                // that's fine
            } else if (ExceptionsHelper.unwrapCause(e) instanceof ClusterBlockException) {
                // ok, not recovered yet..., lets start indexing and hope we recover by the first bulk
                // TODO: a smarter logic can be to register for cluster event listener here, and only start sampling when the block is removed...
            } else {
                logger.warn("failed to create index [{}], disabling river...", e, indexName);
                return;
            }
        }
②        currentRequest = client.prepareBulk();
③        WikiXMLParser parser = WikiXMLParserFactory.getSAXParser(url);
        try {
④            parser.setPageCallback(new PageCallback());
        } catch (Exception e) {
            logger.error("failed to create parser", e);
            return;
        }
⑤        thread = EsExecutors.daemonThreadFactory(settings.globalSettings(), "wikipedia_slurper").newThread(new Parser(parser));
        thread.start();
    }

内部では

インデックスの作成
バルクアップデート用クライアントの設定
WikiXMLのパーサの初期化
ページごとにキックされるコールバック処理の登録
デーモンスレッドの起動と起動

といった処理の流れになっています。

で、このスレッドの起動後は、4.で用意したparser.parse()処理がグルグル回ります。

1ページがパースされるたびに、WikipediaRiver.PageCallbackクラスのproess()メソッドが呼ばれます。このメソッドの最後で、processBulkIfNeeded()メソッドが呼ばれています。ここで、実際にパースしたページをインデックスに登録する処理が実行されます。

このメソッドの1行目が鍵でした。 bulkSize以上の件数がバルクのリクエストに貯まった時だけ、実際にインデックスに登録する処理が実行されます。このため、スレッドが回っている間は、bulkSize以上のデータが貯まらないと、インデックスへの登録は行われないわけです。

次に、このスレッドを止めるには、前々回書いたように、_riverにPUTした、Riverの設定をDELETEするしかありません。（あとは、ElasticSearchを停止するとかでしょうか。）

で、DELETEが実行される呼ばれるのが、WikipediaRiverクラスのclose()メソッドです。


    @Override
    public void close() {
        logger.info("closing wikipedia river");
        closed = true;
        if (thread != null) {
            thread.interrupt();
        }
    }

見ていただくと分かりますが、スレッド止めて終了です。

問題点は？

ということで、

WikipediaのXMLを読み込んでもRiverは停止しない
Riverの停止を行ってもスレッドが止められるだけ。
bulkSize以下の件数がcurrentRequestに残っているけど、破棄される

とまぁ、こんな流れになっているので、最後の端数のドキュメントがインデックスに登録されないようです。（まだ、ちゃんと確認してないんですが、備忘録のため先に書いちゃいました。。。）

じゃあ、全部うまく登録するにはどうしたもんかなぁと。いまのところ思いついたのはこんな感じです。他にいい案があったら教えて下さい。

案１：close()処理の中で、スレッド停止後に、currentRequestに貯まっているデータをインデックスに登録しちゃう
案２：bulkSize以外に、定期的（指定された時間）で登録処理を実行してしまう。

簡単なのでとりあえず、案１を実装してみるかなぁと。（さっさとコード書けよって話ですね。。。スミマセン）その前にMLで質問ですかねぇ、英語で。

WikipediaのRiverをざっと眺めてみた感じですが、わかりやすい作りだなぁと。他のRiverがどうなってるかをちゃんと見てませんが、他にもbulkSize指定をするRiverの場合は、このように件数がbulkSizeに満たない状態ではデータが登録されないといったことがあるかもしれません。

ElasticSearchのソースを読み始める取っ掛かりとしては面白いかと思いますので、興味ある方は読んで作ってみるといいかもしれません。（私は読んだだけですがｗ）

追記（2013/09/13 21:00）

MLで質問してみました。とりあえず、案1を。

river-wikipedia does not index all pages

他のRiverでは対応してるしバグだね、Issue上げてとのことで、あげときました。ついでにプルリクも出せばいいんでしょうが、プルリクまだやったことないヘタレです。。。

あと、案2についても同じトピックで質問してます。どうやら、BulkProcessorにその機能があるよと。 flushintervalというプロパティがありそうです。どうやって設定して、どうやって動くのかとか見てないので、調査してブログorLTかな。

bulk udpにはその値を設定できそうなのがあるんだよなぁ。

追記その２（2013/09/16 23:50）

さっそく修正版がコミット(コミットログ)されてました。結構変わってます。BulkProcessorにflush_intervalの設定をすれば、よしなにやってくれる仕組みがすでに実装されているようです。 bulkSizeについても同様に、BulkProcessorに設定すれば良いようです。 Riverの仕組みが結構スッキリしています。もともと実装されていた、bulkSizeごとの処理も消されています。確かに、BulkProcessorの仕組みとして実装されている方がしっくりきますね。

ということで、考える暇もなくコミットされてしまいました。こうやって質問しつつ、少しずつソースを読んでいこうかなと思ってるとこです。

日本語Wikipediaをインデクシング（Kuromojiバージョン）

Tue, 03 Sep 2013 01:15:00 +0900

前々回紹介した、日本語Wikipediaのデータをインデックス登録する記事の続きです。

今回は、Kuromojiのアナライザを利用してインデックス登録してみます。

余談（Proxy環境でのプラグインインストール）

ElasticSearchのpluginコマンドはJavaで実装されています。（org.elasticsearch.plugins.PluginManager）プラグインのダウンロードには、java.net.URL.openConnection()から取得URLConnectionを使用しています。

ですので、pluginのインストールを行う際に、Proxy環境にある場合は以下のようにコマンドを実行します。

./bin/plugin -DproxyPort=ポート番号 -DproxyHost=ホスト名 -i elasticsearch/elasticsearch-analysis-kuromoji/1.5.0

elasticsearch-analysis-kuromojiのインストール

WikipediaのデータをKuromojiを使って、形態素解析ベースの転置インデックスを作成していきます。まずは、Kuromojiを利用するために、Analysisプラグインのインストールです。 ElasticSearchのバージョンに対応したプラグインのバージョンがあります。（プラグインのページに対応したバージョンの記載あり）今回はElasticSearchの0.90.3を利用しているため、1.5.0をインストールします。

./bin/plugin -i elasticsearch/elasticsearch-analysis-kuromoji/1.5.0

インストール後は再起動しておきます。なお、Kuromojiを利用して、Wikipediaのデータを登録するばあい、デフォルトの設定では、ヒープが足りなくなるおそれがあります。 ElasticSearchの起動時に以下のオプションを指定して、最大ヒープサイズを2Gとしておきます。

export ES_HEAP_SIZE=2g;./bin/elasticsearch

Indexの作成（デフォルトでKuromojiのAnalyzerを利用する）

Wikipediaのデータを登録する際に、Kuromojiのアナライザを利用したいのが今回の趣旨でした。一番ラクな方法として、Wikipediaデータのインデックスの設定として、デフォルトのアナライザをKuromojiにしてしまいます。（きちんと設計する場合は、必要に応じてフィールドごとに指定しましょう）

curl -XPUT 'localhost:9200/ja-wikipedia-kuromoji' -d '{
    "settings": {
        "analysis": {
            "analyzer": {
                "default" : {
                    "type" : "kuromoji"
                }
            }
        }
    }
}'

これでkuromojiのアナライザがデフォルトで利用される形となります。あとは、Riverを起動して登録するだけです。

Riverの実行

前回と一緒です。インデックス名（_river/<インデックス名>/_meta）だけは、先ほど作成した「ja-wikipedia-kuromoji」に変更してください。

curl -XPUT localhost:9200/_river/ja-wikipedia-kuromoji/_meta -d '
{
    "type" : "wikipedia",
    "wikipedia" : {
        "url" : "file:/home/johtani/src/jawiki-latest-pages-articles.xml"
    },
    "index" : {
        "bulk_size" : 10000
    }
}'

あとは、インデックスされるのを待つだけです。

データ量とか

5.8gbになりました。Kuromojiを利用したため、形態素解析により単語にきちんとトークないずされた結果でしょう。 Uni-gramだと、転置インデックスのボキャブラリも単語に対してヒットするドキュメント数も大きくなるため、インデックスサイズも大きくなっているのかと。

検索クエリのサンプルなどはまた後日。（夜遅いので。。。）

ElasticSearchにプラグインで日本語Wikipediaデータを入れてみました

Fri, 23 Aug 2013 12:02:00 +0900

久々のブログはElasticSearchネタです。勉強会開催する予定だったりすので、もう少し触っておきたいなと。お手軽に検索するデータとして、よくWikipediaのデータを使っています。 ElasticSearchにはelasticsearch-river-wikipediaという便利なプラグインがあり、Wikipediaのデータを簡単に検索可能な状態にできます。このRiverを利用して日本語のWikipediaのデータを入れたので、メモを取っておきます。まずは、river-wikipediaで日本語のデータをインデクシングしてみるまでの説明です。日本語特有の設定（Kuromojiを利用したインデクシング）などはまた後日。

プラグインのインストール

対象とするElasticSearchは現時点で最新版の0.90.3とします。最新版でRiver動かないなぁとつぶやいた影響かどうかはわかりませんが、2013/08/19に最新版のElasticSearchで動作するプラグインが公開されました。

まずはインストールです。 HPにも書いてありますが、以下のコマンドを実行すればインストールされます。

$ ./bin/plugin -install elasticsearch/elasticsearch-river-wikipedia/1.2.0
-> Installing elasticsearch/elasticsearch-river-wikipedia/1.2.0...
Trying http://download.elasticsearch.org/elasticsearch/elasticsearch-river-wikipedia/elasticsearch-river-wikipedia-1.2.0.zip...
Downloading ..........DONE
Installed river-wikipedia into /opt/elasticsearch/plugins/river-wikipedia

ElasticSearchが起動している場合はプラグインをインストール後、認識させるためにElasticSearchを再起動します。

日本語Wikipediaのインデクシング

通常は英語のWikipediaがインデクシングされますが、対象となるファイルを変更することで日本語のWikipediaもインデクシング可能です。手元に日本語Wikipediaのダンプファイルがあるものとします。（ダウンロードはWikipediaデータベースダウンロードのページにあるpages-articles.xml.bz2のファイルです）

ファイルを指定してインデクシングするには、つぎのcurlコマンドを実行します。コマンドを実行するとすぐにインデクシングが始まりますので注意が必要です。

curl -XPUT localhost:9200/_river/ja-wikipedia/_meta -d '
{
    "type" : "wikipedia",
    "wikipedia" : {
        "url" : "file:/home/johtani/src/jawiki-latest-pages-articles.xml"
    },
    "index" : {
        "bulk_size" : 1000
    }
}'

ここでURLに含まれる「ja-wikipedia」がインデックス名になります。また、JSONの"url"にはファイルの場所を指定するため、file:で開始するパスを指定します。例では、bz2を解凍したファイルを指定していますが、bz2のままのファイルでもOKです。

上記コマンドを実行すると、_riverというインデックスにつぎのようなエントリが増えています。 (curl -XGET 'localhost:9200/_river/ja-wikipedia/_search?pretty)

{
   "took": 5,
   "timed_out": false,
   "_shards": {
      "total": 1,
      "successful": 1,
      "failed": 0
   },
   "hits": {
      "total": 2,
      "max_score": 1,
      "hits": [
         {
            "_index": "_river",
            "_type": "ja-wikipedia",
            "_id": "_status",
            "_score": 1,
            "_source": {
               "ok": true,
               "node": {
                  "id": "gdyvwpiAR52lqUCcRhVwsg",
                  "name": "Blitzschlag, Baron Von",
                  "transport_address": "inet[/192.168.100.7:9300]"
               }
            }
         },
         {
            "_index": "_river",
            "_type": "ja-wikipedia",
            "_id": "_meta",
            "_score": 1,
            "_source": {
               "type": "wikipedia",
               "wikipedia": {
                  "url": "file:/home/johtani/src/jawiki-latest-pages-articles.xml"
               },
               "index": {
                  "bulk_size": 100
               }
            }
         }
      ]
   }
}

"_id": "_meta"というエントリがさきほど登録したWikipediaのRiverに関する設定です。 "_id": "_status"というエントリが起動したRiverの状態になります。

Riverの停止

日本語Wikipediaは結構サイズが大きく、手元のAirでインデクシングするのに30分程度かかりました。（bz2圧縮されていないファイルで、何もしていない状態）

途中でRiverを停止したくなった場合は、以下のcurlコマンドを実行します。

$ curl -XDELETE 'localhost:9200/_river/ja-wikipedia'

先ほど設定した_river/ja-wikipediaの情報を削除すると、エントリが削除されたのを検知してRiverが停止します。ログにはつぎのようなメッセージが表示されます。

[2013-08-26 18:26:50,130][INFO ][cluster.metadata         ] [Blitzschlag, Baron Von] [[_river]] remove_mapping [ja-wikipedia]
[2013-08-26 18:26:50,130][INFO ][river.wikipedia          ] [Blitzschlag, Baron Von] [wikipedia][ja-wikipedia] closing wikipedia river

Riverを停止してもそれまでインデクシングされたデータは検索できます。データはちょっとだけで良いという場合は、先ほどの_riverのデータを削除してください。（◯件だけ登録したいとかできるかは調べてないです。）

サイズとかマッピングとか

サイズ

インデックス前のXMLのサイズが5.7Gのとき、ElasticSearchのインデックスサイズ（Optimize後）は7.2Gとなりました。すこし古いファイルを利用しているため、最新版とはサイズが異なるかもしれません。

あと、データ数が、1540000件とやけにきりがいいのがちょっと気になっています。。。 bulkのサイズを10000で指定してインデックスしたので、切れてるのかなぁと。

ということは、データが欠落しているような気がするのでRiverの作りの問題なのか、ElasticSearchの問題なのかはちょっと調べてみないとわからないなと。

マッピング

出来上がったインデックスのマッピング（Solrでいうスキーマみたいなもの）は次のようになっています。

{
   "ja-wikipedia": {
      "page": {
         "properties": {
            "category": {
               "type": "string"
            },
            "disambiguation": {
               "type": "boolean"
            },
            "link": {
               "type": "string"
            },
            "redirect": {
               "type": "boolean"
            },
            "special": {
               "type": "boolean"
            },
            "stub": {
               "type": "boolean"
            },
            "text": {
               "type": "string"
            },
            "title": {
               "type": "string"
            }
         }
      }
   }
}

Wikipediaの各種データが上記のフィールドに入っています。また、マッピングタイプはデフォルトで「page」というタイプになっています。

検索

先ほどのマッピングを元に検索すればOKです。例えばつぎのような感じです。

curl -XPOST 'localhost:9200/ja-wikipedia/_search?pretty' -d '
{
    "size" : 3,
    "script_fields": {
       "title_only": {
          "script": "_source.title"
       }
    }, 
    "query" : {
        "query_string": {
            "default_field": "title",
            "query" : "千葉"
        }
    }
}'

結果はこんな感じ。

{
   "took": 51,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 8616,
      "max_score": 5.8075247,
      "hits": [
         {
            "_index": "ja-wikipedia",
            "_type": "page",
            "_id": "3582",
            "_score": 5.8075247,
            "fields": {
               "title_only": "千葉"
            }
         },
         {
            "_index": "ja-wikipedia",
            "_type": "page",
            "_id": "2352241",
            "_score": 4.94406,
            "fields": {
               "title_only": "千葉千枝子"
            }
         },
         {
            "_index": "ja-wikipedia",
            "_type": "page",
            "_id": "14020",
            "_score": 4.8754807,
            "fields": {
               "title_only": "千葉千恵巳"
            }
         }
      ]
   }
}

結果を見やすくするため、タイトルだけを「title_only」という表示にしています。ただ、この検索だと、一見「千葉」できちんとヒットしているように見えますが、ElasticSearchのフィールドの定義はstring型になっています。なので、実は「千」や「葉」だけのデータもヒットしています。マルチバイト文字は1文字ずつインデックスされてしまい、query_stringというクエリでは、フレーズ検索などができていないためです。

まとめ

プラグインいれて、XMLファイルがあれば、検索できるデータが出来上がるので、暇があったら、お試しで触ってみるデータを簡単に入れてみてはどうでしょうか。

ただ、いくつか気になる点も。

日本語が検索しにくい（string型のフィールドなのでuni-gramっぽくなっている）
bulk_sizeの影響で端数が登録できてない（バグ？どうなの？）

ということで、ちょっと使いにくいかもなぁということで、つぎはKuromojiを利用してインデックスしてみてみようかなと。次回のエントリで書く予定です。