Lucene on @johtaniの日記 3rd

ローマ字入力のゆれと読み（JapaneseCompletionAnalyzerその2）

Wed, 10 Aug 2022 11:50:02 +0900

前回は日本語用オートコンプリートのためのAnalyzerとして、どうやって使うのかを簡単に紹介しました。

今回はもう少し、いろんなパターンを試してみたいと思います。

ローマ字入力のゆれ

前回のサンプルでも「吾輩…」のデータをサジェストするためのサンプルとして、「wagah」という「わがはい」をローマ字にしたものを利用しました。

ちなみにローマ字というとどんなものを思い起こしますか？普通は学校で習ったヘボン式あたりだと思います。 Kuromojiの読みでローマ字出力するには通常、kuromoji_readingformでuse_romajiをtrueにします。以下、「吾輩」のサンプルです。

GET _analyze
{
  "text": ["吾輩"],
  "tokenizer": "kuromoji_tokenizer",
  "filter": [
    {
      "type": "kuromoji_readingform",
      "use_romaji": true
    }
  ]
}

レスポンス

{
  "tokens": [
    {
      "token": "wagahai",
      "start_offset": 0,
      "end_offset": 2,
      "type": "word",
      "position": 0
    }
  ]
}

「吾輩」の場合は特に問題ないのですが、ローマ字による日本語入力の場合、次のような単語を入力するときに、ゆれが生じます。

シャボン＝「shabon」
新橋＝「shimbashi」

括弧内はkuromoji_readingformで出力したもの（＝ヘボン式のローマ字）です。ですが、ローマ字入力の場合は「syabon」や「shabon」と入力したり、「sinbasi」や「sinnbasi」と入力すると思います。 JapaneseCompletionAnalyzerを利用したCompletion Suggesterの場合、これらのゆれも考慮してサジェストしてくれるようになっています。前回のサンプルデータを用いると次のような感じです。

GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "sha",
      "completion": {
        "field": "suggest_ja"
      }
    }
  }
}


GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "sya",
      "completion": {
        "field": "suggest_ja"
      }
    }
  }
}

これらのリクエストは、「しゃ」について2パターンになっていますが、結果はどちらも次のものが返ってきます（このレスはsyaのレスになります）。

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "sya",
        "offset": 0,
        "length": 3,
        "options": [
          {
            "text": "シャドウ・ワーク",
            "_index": "aozora_index",
            "_id": "000739",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "シャドウ・ワーク",
                "朝倉 克彦"
              ]
            }
          },
          {
            "text": "シャボン玉",
            "_index": "aozora_index",
            "_id": "045054",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "シャボン玉",
                "豊島 与志雄"
              ]
            }
          },
          {
            "text": "上海",
            "_index": "aozora_index",
            "_id": "050899",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "上海",
                "横光 利一"
              ]
            }
          },
          {
            "text": "斜坑",
            "_index": "aozora_index",
            "_id": "002095",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "斜坑",
                "夢野 久作"
              ]
            }
          },
          {
            "text": "社会事情と科学的精神",
            "_index": "aozora_index",
            "_id": "053864",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "社会事情と科学的精神",
                "石原 純"
              ]
            }
          }
        ]
      }
    ]
  }
}

「sinnba」や「shinba」も試してみました。

GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "sinnba",
      "completion": {
        "field": "suggest_ja"
      }
    }
  },
  "_source": ["suggest_ja"]
}

GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "shinba",
      "completion": {
        "field": "suggest_ja"
      }
    }
  },
  "_source": ["suggest_ja"]
}

これらも同じ結果です。

{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "shinba",
        "offset": 0,
        "length": 6,
        "options": [
          {
            "text": "しんばい",
            "_index": "aozora_index",
            "_id": "044942",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "しんばい",
                "村山 籌子"
              ]
            }
          },
          {
            "text": "新橋",
            "_index": "aozora_index",
            "_id": "002409",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "新橋",
                "北原 白秋"
              ]
            }
          }
        ]
      }
    ]
  }
}

入力されるパターンを想定した実装がされているので対応できている形です。使い方が楽なだけでなく、より使いやすくなってるのは便利ですね。

うまくいかないパターン

万事OKかというと残念ながらそうでもありません。うまくいかないパターンもあります（これが本当にうまくいかないかは難しい話な気がしますが）。「日本」という漢字ですが、「にほん」「にっぽん」どちらとも読めますよね？これらを試してみると次のようになります（リクエストは省略します）。

まず「にほん」

{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "にほん",
        "offset": 0,
        "length": 3,
        "options": [
          {
            "text": "日本橋",
            "_index": "aozora_index",
            "_id": "004565",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本橋",
                "泉 鏡花"
              ]
            }
          },
          {
            "text": "日本橋",
            "_index": "aozora_index",
            "_id": "045357",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本橋",
                "牧野 信一"
              ]
            }
          },
          {
            "text": "日本橋あたり",
            "_index": "aozora_index",
            "_id": "047648",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本橋あたり",
                "長谷川 時雨"
              ]
            }
          },
          {
            "text": "日本橋附近",
            "_index": "aozora_index",
            "_id": "055666",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本橋附近",
                "田山 花袋"
              ]
            }
          }
        ]
      }
    ]
  }
}

次に「にっぽん」

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "にっぽん",
        "offset": 0,
        "length": 4,
        "options": [
          {
            "text": "日本アルプスの五仙境",
            "_index": "aozora_index",
            "_id": "056269",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本アルプスの五仙境",
                "木暮 理太郎"
              ]
            }
          },
          {
            "text": "日本出版協会論",
            "_index": "aozora_index",
            "_id": "049436",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本出版協会論",
                "嶋中 雄作"
              ]
            }
          },
          {
            "text": "日本文化と科学的思想",
            "_index": "aozora_index",
            "_id": "055750",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化と科学的思想",
                "石原 純"
              ]
            }
          },
          {
            "text": "日本文化のために",
            "_index": "aozora_index",
            "_id": "003183",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化のために",
                "宮本 百合子"
              ]
            }
          },
          {
            "text": "日本文化の特殊性",
            "_index": "aozora_index",
            "_id": "055290",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化の特殊性",
                "戸坂 潤"
              ]
            }
          }
        ]
      }
    ]
  }
}

最後に「日本」

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "日本",
        "offset": 0,
        "length": 2,
        "options": [
          {
            "text": "日本アルプスの五仙境",
            "_index": "aozora_index",
            "_id": "056269",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本アルプスの五仙境",
                "木暮 理太郎"
              ]
            }
          },
          {
            "text": "日本出版協会論",
            "_index": "aozora_index",
            "_id": "049436",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本出版協会論",
                "嶋中 雄作"
              ]
            }
          },
          {
            "text": "日本文化とは何ぞや（其二）",
            "_index": "aozora_index",
            "_id": "002940",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化とは何ぞや（其二）",
                "内藤 湖南"
              ]
            }
          },
          {
            "text": "日本文化と科学的思想",
            "_index": "aozora_index",
            "_id": "055750",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化と科学的思想",
                "石原 純"
              ]
            }
          },
          {
            "text": "日本文化のために",
            "_index": "aozora_index",
            "_id": "003183",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "日本文化のために",
                "宮本 百合子"
              ]
            }
          }
        ]
      }
    ]
  }
}

最初の「にほん」は「日本橋」がヒットしているようです。返ってきたoptionsの数は4件しかなく、どうやらこれがすべてのようです（取得件数はデフォルト5件）。 2番目の「にっぽん」は「日本」という単語から始まるものがヒットしていますが、「日本橋」はなさそうでした。最後に「日本」という漢字を入力にした場合は2つの合計が帰ってきているようです（今回のレスポンス例にはありませんが、サイズを大きくすると「日本橋」が帰ってきていました）。

どうしてそうなるの？

JapaneseCompletionAnalyzerの基本的な動作としては、

Kuromojiが単語に区切る
区切られた単語ごとに読みを持っている
元の単語と読みをローマ字にしたものが最終的に出てくる

というような動きです。この時、単語には「1つ」の読みが対応しています。読みから単語を探そうとすると、読みの違い（ゆれ）を吸収することはできないためです。 JapaneseCompletionAanlyzerは3点目のローマ字のゆれに対応していますが、入力となる読みのゆれまでは対応できないです。対応しているといいかどうかというのも難しい判断になる気もします。。。

そのほかの例としては次のようなものもあります。これは、今回のオートコンプリートの話とは少しずれてるかもしれませんが、1番目の処理の結果が変わってくる例です。「南方熊楠」という名前の間にスペースがあるかないかで、出力される読みが変わってくる例です。

GET _analyze
{
  "text": ["南方 熊楠"],
  "tokenizer": "kuromoji_tokenizer",
  "filter": ["kuromoji_readingform"]
}

GET _analyze
{
  "text": ["南方熊楠"],
  "tokenizer": "kuromoji_tokenizer",
  "filter": ["kuromoji_readingform"]
}

# GET _analyze
{
  "tokens": [
    {
      "token": "ナンポウ",
      "start_offset": 0,
      "end_offset": 2,
      "type": "word",
      "position": 0
    },
    {
      "token": "クマグス",
      "start_offset": 3,
      "end_offset": 5,
      "type": "word",
      "position": 1
    }
  ]
}
# GET _analyze
{
  "tokens": [
    {
      "token": "ミナカタ",
      "start_offset": 0,
      "end_offset": 2,
      "type": "word",
      "position": 0
    },
    {
      "token": "クマグス",
      "start_offset": 2,
      "end_offset": 4,
      "type": "word",
      "position": 1
    }
  ]
}

人名や地名は1つの漢字に対して多くの読みが存在しているので大変です。。。どうしてこれは出てこないんだろう？と不思議に思った場合は、_analyze APIを使ってどういう動きなのかを見てみるのがいいかと。

まとめ

ということで、少しだけですが、こんなことができるよ、できないよというのを書いてみました。挙動をしっていれば、なんでこうなってるんだっけ？といったことを調べる役に立つかと思います。入力された文字をもとにどれをサジェストするかなどについてはもう少し違う動きなので、中の仕組みをそろそろ書かないとなぁ。

参考

同形異音語 - Wikipedia

日本語用オートコンプリートのためのAnalyzer

Tue, 09 Aug 2022 16:00:02 +0900

風のうわさで、日本語用のオートコンプリートのためのTokenFilterとAnalyzerがLuceneに取り込まれたと聞きました（LUCENE-10102）。 Elasticsearchでも使えるかなぁ？ということで調べたところ（調べた？聞いた？）、どうやら8.1から利用できるようになっている（GitHub Issue #81858）みたいです（まだ、公式ドキュメントには記載がないのですが）。

8/17追記

作者の打田さんがブログ書いてたの見落としてた（もしくは見たけど忘れてた）ので貼っておきます。マルチテナンシー下での Query Auto Completion 設計・運用戦略 - LegalForce Engineering Blog

ということで、こんな感じで使えるよというのを試してみました。

どういうもの？

日本語入力方法を考慮したオートコンプリート用のトークンを生成してくれるTokenFilterと、それをLuceneのSuggesterで動くようにしたAnalyzerが用意されています。 Elasticsearchでは、Kuromojiプラグインにそれらを使えるようになっています（バージョン8.1.0以降）。 KuromojiTokenizerと一緒に利用する前提の仕組みとなります。

オートコンプリートとは？

検索窓などでキー入力をしていると、入力した文字で始まる単語の一覧が現れることがあると思います。あの機能がオートコンプリートと呼ばれるものです。search-as-you-typeとも呼ばれることもあります。（検索ペンギン本にも書いてあるので興味のある方はぜひ！（ステマ））入力された文字列を含むパターンもありますが、今回紹介するものは入力された文字で始まる単語を見つけてくる機能になります。

何がなんで追加されたの？

日本語の入力方法は、かな入力の人もいればローマ字入力の人もいます。ですので、オートコンプリートでの入力として、「しゃ」という入力が来る場合もあれば、「sha」というローマ字入力途中のものが来る場合もあります。これらを考慮したトークンの扱いができるように、 JapaneseCompletionFilterというクラスが追加されています。内部的にはKuromojiTokenizerでトークンに分割された後に、もともとのトークンと同じポジションで読みをローマ字にしたものを出力します。 JapaneseCompletionAnalyzerは上記Filterをすぐに使えるようにしたAnalyzerです。

動かし方

百聞は一見に如かずということで、Elasticsearchでの使い方を見たほうが分かりやすいので、簡単に動かしてみることにします。

インストールとインデックスの用意

Elasticsearch（8.1以上）とKuromojiのプラグインをインストールします（今回試したのは8.3.1）。

サンプルデータ

なにかいいデータはないものか？と思っていたところ夏休みだというのを思い出しました。夏休みといえば読書感想文だ、ということで、書籍のタイトルがいいかもなと。青空文庫の著者名と書籍のタイトルの一覧を見つけたのでそちらのデータを使って試してみました。

CSV to JSON

CSVファイルは最後の参考にある青空文庫のページから、「公開中　作家別作品一覧：全て(CSV形式、zip圧縮）」をダウンロードしたものを利用しました。 CSVファイルだったので、jqコマンドで必要な部分だけをNDJSONの形でとりあえずファイルに出力します。

cat list_person_all_utf8.csv | tr -d '"' | jq -c -R 'split(",") | {"auth_id": .[0] | tonumber, "author": .[1], "id": .[2] , "title": .[3], "suggest_ja": [.[3], .[1]]}'

次のようなJSONが1行ずつ出力されます。

{"auth_id":1257,"author":"アーヴィング ワシントン","id":"056078","title":"駅伝馬車","suggest_ja":["駅伝馬車","アーヴィング ワシントン"]}

suggest_jaがオートコンプリートの対象となるデータになります。今回は著作と著者にしてみました。あとは次に紹介するスキーマでインデックスを作成して、適当なプログラムを使ってBulkでElasticsearchに登録しましょう（私は個人作のツールで入れました）。

インデックス

オートコンプリート用のSuggesterを利用するための特殊なフィールド（completion）を利用したフィールドを用意します。ちなみに、今回はLUCENE-10102に記載があった設定をそのまま使わせていただきました。そのほかのフィールドは今回は特に必要はないのでおまけです。

PUT aozora_index
{
  "mappings": {
    "properties": {
      "suggest_ja": {
        "type": "completion",
        "analyzer": "japanese_completion_index",
        "search_analyzer": "japanese_completion_query",
        "preserve_separators": false,
        "preserve_position_increments": true,
        "max_input_length": 50
      },
      
      "auth_id": {
        "type": "long"
      },
      "author": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        },
        "analyzer": "kuromoji"
      },
      "author_id": {
        "type": "integer"
      },
      "id": {
        "type": "integer"
      },
      "title": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        },
        "analyzer": "kuromoji"
      }
    }
  },
  "settings": {
    "index": {
      "number_of_shards": "1",
      "analysis": {
        "analyzer": {
          "japanese_completion_index": {
            "mode": "index",
            "type": "kuromoji_completion"
          },
          "japanese_completion_query": {
            "mode": "query",
            "type": "kuromoji_completion"
          }
        }
      }
    }
  }
}

動作確認

ここまでで、インデックスとデータの用意ができました。オートコンプリートを実現するためにはElasticsearchのSuggesterという機能の、Completion Suggesterを利用します。検索の仕方が通常のものとは少し異なります。ちなみに、速度重視のためにインメモリで動いているとの記載がドキュメントにあります。

Completion Suggesterのクエリ

Suggester用のクエリがあるのでこちらを使います。例えば、「wagah」という入力がある時に、サジェストする内容を取得するには次のようなリクエストになります。

GET aozora_index/_search
{
  "suggest": {
    "title-suggest": {
      "prefix": "wagah",
      "completion": {
        "field": "suggest_ja"
      }
    }
  },
  "_source": ["title", "author"]
}

最初の「suggest」がsuggest用のパラメータを意味しています。
次の「title-suggest」は好きな名前をつけられます。レスポンスにこの名前がついた配列がサジェストの結果になります（同時に3. 複数suggestを呼び出せるので、対応した結果が分かるように名前が付けられます）。
「prefix」に入力の文字列を渡します。
「completion」がsuggesterのタイプの指定です。今回はCompletion Suggesterなので「completion」を指定します。その中に「field」でcompletionに利用するフィールド名を指定します。先ほどのスキーマでcompletionタイプを指定したフィールドです。今回は「suggest_ja」になります。
「_source」は結果を見やすくするために、ヒットしたデータの一部だけ取得するオプションです。

すると、次のような結果が返ってきます。

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "wagah",
        "offset": 0,
        "length": 5,
        "options": [
          {
            "text": "『吾輩は猫である』中篇自序",
            "_index": "aozora_index",
            "_id": "002671",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "『吾輩は猫である』中篇自序",
                "夏目 漱石"
              ]
            }
          },
          {
            "text": "わが俳諧修業",
            "_index": "aozora_index",
            "_id": "003771",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "わが俳諧修業",
                "芥川 竜之介"
              ]
            }
          },
          {
            "text": "わが母をおもう",
            "_index": "aozora_index",
            "_id": "003997",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "わが母をおもう",
                "宮本 百合子"
              ]
            }
          },
          {
            "text": "わが母を語る",
            "_index": "aozora_index",
            "_id": "049723",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "わが母を語る",
                "上村 松園"
              ]
            }
          },
          {
            "text": "吾輩は猫である",
            "_index": "aozora_index",
            "_id": "000789",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "吾輩は猫である",
                "夏目 漱石"
              ]
            }
          }
        ]
      }
    ]
  }
}

「suggest」の「title-suggest」がCompletion Suggesterのレスポンスになります。
最初の「text」は入力の「prefix」の値です。「offset」、「length」もこの文字に関する情報なので特に気にしなくてもいいかと。
「options」がサジェストされた内容になります。それぞれの「text」がサジェストされた文字列になります。「suggest_ja」には著作と著者名を入れましたが、今回は著作が「text」に帰ってきていることがわかります。

次に著者名でもやってみましょう。「太宰」という入力が来たものとしてリクエストを投げます。

GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "太宰",
      "completion": {
        "field": "suggest_ja"
      }
    }
  }
}

レスポンスは次のようになります。

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "太宰",
        "offset": 0,
        "length": 2,
        "options": [
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "000236",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "ア、秋",
                "太宰 治"
              ]
            }
          },
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "001572",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "I can speak",
                "太宰 治"
              ]
            }
          },
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "001578",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "愛と美について",
                "太宰 治"
              ]
            }
          },
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "046597",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "青森",
                "太宰 治"
              ]
            }
          },
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "004357",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "青森",
                "太宰 治"
              ]
            }
          }
        ]
      }
    ]
  }
}

先ほどとは異なり、「options」の中の個々の「text」はすべて「太宰治」になってしまいました。登録したデータは著作の一覧ですが、「suggest_ja」には著作と著者名を入れたためです。これでは、実際に検索窓に実装したときに同じものが並んでしまいます。こんな時のためのオプション「skip_duplicates」が用意されています。先ほどのリクエストに「“skip_duplicates”: true」を追加します。

GET aozora_index/_search
{
  "explain": true, 
  "suggest": {
    "title-suggest": {
      "prefix": "太宰",
      "completion": {
        "field": "suggest_ja",
        "skip_duplicates": true
      }
    }
  },
  "_source": ["suggest_ja"]
}

するとレスポンスは次のように変化します。

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "suggest": {
    "title-suggest": [
      {
        "text": "太宰",
        "offset": 0,
        "length": 2,
        "options": [
          {
            "text": "太宰 治",
            "_index": "aozora_index",
            "_id": "000236",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "ア、秋",
                "太宰 治"
              ]
            }
          },
          {
            "text": "太宰治との一日",
            "_index": "aozora_index",
            "_id": "042582",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "太宰治との一日",
                "豊島 与志雄"
              ]
            }
          },
          {
            "text": "太宰治情死考",
            "_index": "aozora_index",
            "_id": "043137",
            "_score": 1,
            "_source": {
              "suggest_ja": [
                "太宰治情死考",
                "坂口 安吾"
              ]
            }
          }
        ]
      }
    ]
  }
}

「options」は3つに減り、重複していないことがわかります。「text」が同じ場合は最初に出てきたものを返すようです（注意：結果から観測しているだけで、実装はまだ見ていません）。（なお、今回は説明を省きますが、入力データでスコアを指定することも可能になっています）。そのほかにもCompletion Suggesterにはいくつか仕組みが用意されているのですが、それはまた今度にでも。

まとめ

ということで、Luceneコミッターの打田さんに感謝です。便利な仕組みが簡単に使えるようになるのはとてもありがたいですね。

まずは簡単にどういうものかとどうやって使うのかを記事にしてみました。中の動きや、注意点、これまでとの違いなどは次の記事にしようと思います。そういえば、公式ドキュメントにはまだ出てきてないな、それを書こうと思ってついでに動かしてみたんだけど、追加するのはまた後日かな。。。

参考資料

luceneutil - Analyzer性能テストへのkuromojiの追加

Thu, 25 Jun 2020 11:01:58 +0900

luceneutil - マニアックなツールのセットアップの続きです。今回も誰得?なブログなので興味ない場合は飛ばしましょう。

一応、luceneutilのREADMEにあるlocalrun.pyを動かせるところまでいったんですが、そこで一旦本題を思い返してみました。

Kuromojiの性能が落ちてるらしいし、Analyzer系のベンチマーク測ってるグラフに載せたほうがいいよね。

これが、そもそも動かしてみようと思った本題です。 READMEに書いてある手順で動いたんですが、よくよく調べてみると、Analyzer系の性能テストをやってるのは、別物っぽいぞと。なんとなく、「ソフトウェア考古学」っぽくなってきましたね。

Analyzerの性能テストやってるのは?

Analyzerのパフォーマンステストのグラフに出てきたTokenizerの名前を元にluceneutilのリポジトリを検索してみました。 EgdeNGrams当たりで検索するとヒットしたのが以下のファイルです。

本命はsrc/main/perf/TestAnalyzerPerf.javaっぽいですね。これを動かしている人はどれかな?ということで、今度はこのファイル名で検索します。

src/python/runAnalyzerPerf.py

どうやら、このPythonのファイルが先程のJavaファイルを実行して、性能を計測しているみたいです。最初に出てきた、sumAnalyzerPerf.pyはrunAnalyzerPerf.pyの実行結果をAnalyzerの計測結果のグラフに追加する処理をしているようだということまでがわかりました。

KuromojiをTestAnalyzerPerfに追加してみる

動かす対象がわかったので、あとは、やることを追加しましょうと。

Kuromojiの実行をTestAnalyzerPerfに追加
- 引数を追加して日本語版のWikipediaのファイルも読み込むようにする
runAnalyzerPerf.pyに引数の追加とクラスパスの追加
- JapaneseAnalyzerはlucene/analysis/kuromojiにビルドされるのでクラスパスを追加
- 引数に日本語版のWikipediaのファイルを追加
日本語版のWikipediaのデータの用意

こんなものかな?と。

1と2はそれほど大変ではないので、3をまずはというところから始めてみました。

WikipediaのXMLから1行1データのTSVファイルに

まずは、どんなファイルを想定して動いているのかな?ということで、英語版のファイルがどんなものかを探してみることに。

TestAnalyzerPerf.java (77行目)では入力ファイルから1行ずつ文字列を読み込んでAnalyzerに処理させているだけというのがわかっています。なので、とりあえず、1行ずつ読めるような形式だと。次に、runAnalyzerPerf.pyの55行目でenwiki-20130102-lines.txtというものを読み込んでいます。が、これがよくわからないw

前回とりあえず動いたときに、src/python/constants.pyにいろんなファイルへのパスとかが記載されていたのを覚えていたので、その当たりから調べてみます。 52行目に約665万件のドキュメントだというような記載があります。前回のlocalrun.pyのファイルと似たような構造(1行に1記事が埋め込まれたTSVファイル)だろうと判断して、それを作りそうなプログラムを探してみました。 Wikiとかで検索して見つけたのがこのソースたちでした。

src/python/wikiXMLToText.py - それっぽい名前ですよね?
- 中身を見ると、第1引数のファイル(XML)からpageタグごとにデータを抜き出し、処理をしてからタブ区切りで第2引数のファイルに書き出してます。
src/python/WikipediaExtractor.py - これもそれっぽいですね。
- WikipediaExtractory.pyは界隈では有名なhttps://github.com/attardi/wikiextractorみたいです。こっちはなんとなく使い方はわかっています。
src/python/combineWikiFiles.py - これまたそれっぽい。
- 中身を見ると、1番目のコードで出力したデータに、2番めのコードで出力されたデータを元になにかしら処理をして、引数で与えられたファイルに出力する感じになってます。

ということで、完全に憶測ですが、日本語のWikipediaのXMLファイルを元に次のような流れでファイル作ってみればいいのかな?と。

jawiki-20200620-pages-articles.xml.bz2をwikimediaからダウンロードして、unbzip2で展開
python src/python/wikiXMLToText.py jawiki-20200620-pages-articles.xml jawiki-lines.txtで、1行ごとのデータを作る
- ちなみに、このプログラムは2箇所ほど修正しました。usernameタグが存在しないpageが出力されなさそうなので、デフォルトでusername: ""みたいなデータをattrってディクショナリに設定しました。
cat jawiki-20200620-pages-articles.xml | python -u src/python/WikipediaExtractor.py -b102400m -o extractedで別途XMLからデータを抽出
python src/python/combineWikiFiles.py jawiki-lines.txt extracted/AA/wiki_00 jawiki-20200620-lines.txtで2と3の出力をかけ合わせる

で、まぁ、一応ファイルはできたんですが。。。前回のブログ記事でセットアップしたときにダウンロードされたファイルはtitle、日付、本文の3つのカラムしかないんですが、上記の手順で作り出したファイルにはいろんなカラムが存在するんですよね(2が出力する項目が結構ある)。。。

性能テスト用プログラムの書き換え

入力ファイルは出来上がったので、あとは、性能テストを走らせる部分の修正です。修正部分はプルリク見たほうが明確なので省略で。

実行してみた

で、実行してみました。せっかくなので、ブランチをbranch_8_5とmasterを対象にしてやってみました。実際にはsrc/python/runAnalyzerPerf.pyにディレクトリ名やブランチ名が直書きされてたので書き換えつつ実施した結果はこちら。

他の英語系のAnalyzerと同じグラフに載せてみたのですが、遅いので、下の方に表示されてます。で、下に凹んだ部分(23 Juneのところ)がbranch_8_5で実行したときの性能値でした。実際に遅くなってますね。ただ、他のAnalyzerの振れ幅も大きいので、別のグラフにしたほうがわかりやすくなるのかもなぁと思った次第です。

ということで、一応動いたんでプルリク出してみました。採用されるかなぁ?

一応誰得ブログはこれでおしまい。 Noriとかもこの感じで対応できるんじゃないかな?

luceneutil - マニアックなツールのセットアップ

Tue, 23 Jun 2020 21:58:29 +0900

LuceneのFSTの修正に関連して、Kuromojiのパフォーマンス問題が出ているようです。この問題自体はLucene 8.6.0以降で直る予定のようなのです(Elasticsearchへの影響範囲についてはこれが参考になるかな?)。で、これに関連して、ベンチマーク計らないとねという話が出ていて、昔から、LuceneのMikeさんがやっているベンチマークのグラフに載せるのがいいよねという話になっていました。どうも、これについては、Luceneの中にあるbenchmarkというプロジェクトではなく、MikeさんのGitHubリポジトリにあるプログラムで計測しているようです。

じゃあ、手元でこれどうやって動かすんだろう?ということでやってみたブログになります。おそらく、99.99%の人は興味ないと思うのでスルーしていただくのがいいと思います。備忘録のために書いてます。

とりあえずgit clone

公開されているリポジトリはこちらです。

手順通りに?

とりあえず、READMEにセットアップなどのやり方があったんで追っていくことに。とりあえず動くまでの手順は以下のとおりです。

ディレクトリを決める
- $LUCENE_BENCH_HOMEが起点になります。名前は何でもいいみたいです。
- cd $LUCENE_BENCH_HOME
リポジトリをクローン - git clone https://github.com/mikemccand/luceneutil.git utilです。
- コレ自体は問題なし。
- cd util
セットアップスクリプトを実行 - python src/python/setup.py -download
- ここがすごく時間かかります。6GBのファイルをゆっくりダウンロードしてきますので、一晩置いておきましょう(起きたら終わってた)
- $LUCENE_BENCH_HOME/dataにenwiki-20120502-lines-1k.txt.lzmaとwikimedium500.tasksいうファイルがダウンロードされている。
ダウンロードした圧縮ファイルを展開 - unlzma enwiki-20120502-lines-1k.txt.lzma
- macOSにlzmaのコマンド入ってるんですね。知らなかった。
- 終わったらcd ../で$LUCENE_BENCH_HOMEに戻っておく
ベンチマーク対象となるLuceneを用意 - git clone https://github.com/apache/lucene-solr.git
- READMEにはlucene_candidateとlucene_baselineって名前でって書いてあったのですが、これだと、この後の実行フェーズでエラーになりました。
- trunkとpatchというディレクトリにそれぞれ変更しました。localrun.pyを実行したらこのディレクトリ名だったので(相変わらず、自分、行きあたりばったりな対応してるなぁ。。。)
- とりあえず動くかどうかを確認したかったので、trunkとpatchはどちらもリポジトリをcloneしたものになってます。動いたのを確認したら、タグを指定して比較したいブランチをチェックアウトする予定。
trunkとpatchをビルド - ant jar *
localrun.pyを実行 - cd utilそして。。。
- 5.で記述したディレクトリ以外に1箇所Pythonのコードを書き換えた。
- src/python/benchUtil.py内部にhppc-0.8.1.jarのファイルの存在チェックをしているのだが、2020/06/23時点でのLuceneのリポジトリの依存関係だとhppc-0.8.2.jarになっており、ファイルが見つからないエラーが出たため、0.8.2に書き換えた。970行目付近。
- 改めて実行したら成功した。

まだ途中

とりあえず、実行するところまではできましたが、結果の見方とかちゃんと調べないとなぁ。いくつかローカルで対応したものについてはあとでGitHubにIssue立てとくべきだな。

と、動くのを確認したので、日本語周りの準備をしてみてるところです。

終わったこと
- 日本語のWikipediaのデータjawiki-20200620-pages-articles.xml.bz2をダウンロードして展開
試している途中
- WikipediaExtractorでXMLからデータを抽出 - cat ~/tmp/wiki/jawiki-20200620-pages-articles.xml | python -u src/python/WikipediaExtractor.py -b102400m -o extracted
  - これは手順が違うかも????
- python src/python/wikiXMLToText.py ~/tmp/wiki/20200620-pages-articles.xml ./hoge.txt
  - これで、title、日付、本文が抜き出せそう?
  - この後にcombineWikiFiles.pyの実行かな?

って感じです。誰得だろうこれ???

Apache LuceneのKuromojiのUniDicビルド対応パッチについて

Wed, 04 Dec 2019 00:00:00 +0900

これは、情報検索・検索エンジン Advent Calendar 2019 の 4 日目の記事です。

1日目から、質の高いエントリーが続いていましたが、一旦休憩して頂く感じの記事になってます。気軽に読んでくださいw。Advent Calendarつくらないの？と煽ったのもあり、穴を埋めようかなと。　

発端

ちょっと先ですがこういうのやります。実装寄りの話やOSS開発に興味がある方，きてください～ / Lucene 版 #Kuromoji のコードを読む会（辞書ビルダー編） https://t.co/NgEmUohoPo #kuromoji
— Tomoko Uchida (@moco_beta) September 6, 2019

「Lucene 版 #Kuromoji のコードを読む会（辞書ビルダー編）」という勉強会があり、参加したところ、UniDicの辞書のビルドがコケるという話を聞いたんで、ちょっとやってみるかと。

ちなみに、Kuromojiとは、Apache Luceneに入っている、日本語向けの形態素解析ライブラリです。IPAdicの辞書を内包しており、SolrやElasticsearchといった、Apache Luceneを利用している検索エンジンで手軽に使える形態素解析ライブラリになっています。が、対応している辞書がデフォルトだとIPAdicなのです。

問題点

LUCENE-4056というIssueが上がっています。

build.xmlには記載はないけど、辞書のビルダーは対応していそうな雰囲気を醸し出しているので、試してみたというのが発端？かと。で、実際に動かしてみると動かない点がありましたと。

また、Issueの会話で出ていたUniDicの辞書のライセンスの話もありました。ただ、UniDicがライセンスを変更したので、このあたりはクリアできそうかなと。

パッチ

ということで、動かしてみていくつか修正してパッチを作りました。

https://github.com/apache/lucene-solr/pull/935

最近のLuceneはGitHubでプルリク遅れるのが便利ですね。そんなに大したことはやってないです。以下の点が問題だったので直しています。

IPAdicとUniDicで語彙定義ファイルのCSVの形式（カラムの数）が異なる
unk.defのカラム数も異なる

あとは、辞書のダウンロードの部分やbuild.xmlでの処理を追加した形です。このプルリクを適用したlucene-solrのソースディレクトリを持ってきて、手元でjarをビルドすれば普通はIPAdicの辞書を内包したkuromojiのjarファイルが出来上がります。

lucene/analysis/kuromoji/build.xmlファイルを、このGistにあるように変更して、ant build-dictとやれば辞書のビルドが可能です。また、cd lucene/;ant jarとすれば、UniDicの辞書を内包したjarファイルもビルドできます(lucene/build/analysis/kuromojiの下にjarファイルができあがります)。

確認？

一応、パッチは動くのですが、パッチ自体はUniDicの辞書をビルドする仕組みはオフのままです。なので、テストをどうやろう？というところでやなんで止まっています。。。

ただ、実際に作ったパッチできちんとIPAdicとUniDicがそれぞれビルドできているかの確認はしないとなと。

ということで、2つのjarファイルを読み込んで、それぞれトークナイズして、その出力を表示するツールを作ってみました。

上記パッチを適用したlucene-solrのソースを持ってきて、IPAdicの辞書を内包したkuromojiのjarファイルと、UniDicの辞書を内包したjarファイルを用意し、ツールの支持に従って、ファイルをディレクトリに配置して、実行すれば以下のような出力がされるようになっています（とりあえず作ったものなので、Javaファイルにトークナイズしたいテキストを書かないといけないのですが）。

たとえば、「自転車と自動車の違いはなんでしょう？」という文字列を入力すると、以下のような出力になりました。

+++ ipadic ++++++++++++++
token[0] is [自転車]
token[1] is [と]
token[2] is [自動車]
token[3] is [の]
token[4] is [違い]
token[5] is [は]
token[6] is [なん]
token[7] is [でしょ]
token[8] is [う]
+++ unidic ++++++++++++++
token[0] is [自転]
token[1] is [車]
token[2] is [と]
token[3] is [自動]
token[4] is [車]
token[5] is [の]
token[6] is [違い]
token[7] is [は]
token[8] is [なん]
token[9] is [でしょう]

UniDicは[短単位]で語彙が扱われるため、「自転車」や「自動車」がそれぞれ「自転」「車」、「自動」「車」という形でトークナイズされていることがわかります。

どちらがより便利なのか？というのは用途によっても変わってくるかと思いますが、検索の転置インデックスとしては、より短い単語で区切られている方が、より多くの文書にヒットする可能性が高くなるので、便利な可能性が高いです。

まとめ

ということで、パッチを作ってみたものの、まだ取り込まれていない状況です。着地点をどうするかって話かなと思っています。興味があれば遊んでみていただければと。

将来的には、辞書をjarから切り離して別のディレクトリやjarとして使えるようにしようというIssueも作られています。こちらがすすめば、UniDicだけでなく、その他の辞書を切り替えながら使えるようになる日が来るのではないでしょうか？

lucene-gosen 4.6.1のリリースに関する注意点

Tue, 28 Jan 2014 12:34:00 +0900

Lucene/Solr 4.6.1がリリースされそう(バイナリ配布待ち)lucene-gosenの4.6.1対応版をリリースしました。

ライブラリのインタフェースなどは特に変更はないのですが、ライブラリのダウンロード先が変更になっているため、注意喚起です。

Google Project Hostingの仕様変更により、Downloadsに新規ファイルがアップロードできなくなっています。（2014年から）

このため、プロジェクトの選択肢としては以下の3点となっています。

Google Driveにファイルをアップロードしてダウンロードしてもらう
他のソースコード管理サイトなどを利用する。
他のダウンロードサイトを利用する

1.と3.は場所が違うだけで、方法は一緒です。今回は、暫定的に1.を利用してダウンロードするように対応しました。

ダウンロード先はプロジェクトのページにリンクが有りますが、わかりにくいのでキャプチャを撮ってみました。

ダウンロード先

これまでのFeatured - Downloadsとは異なり、Links - External linksの下に Downloads lucene-gosen 4.6.1というリンクを用意してあります。

フォルダとなっており、各種jarファイルがリストされていますので、こちらからダウンロードをお願いします。今後は、この下にダウンロードリンクを追加していく予定です。

ただし、2.で述べたように「別のソースコード管理サイト」も検討中です。