@johtaniの日記 3rd

@johtani's blog 3rd edition

ローマ字入力のゆれと読み（JapaneseCompletionAnalyzerその2）

前回は日本語用オートコンプリートのためのAnalyzerとして、どうやって使うのかを簡単に紹介しました。今回はもう少し、いろんなパターンを試してみたいと思います。ローマ字入力のゆれ前回のサンプルでも「吾輩…」のデータをサジェストするためのサンプルとして、「wagah」という「わがはい」をローマ字にしたものを利用しました。

2022-08-10 by johtani

日本語用オートコンプリートのためのAnalyzer

風のうわさで、日本語用のオートコンプリートのためのTokenFilterとAnalyzerがLuceneに取り込まれたと聞きました（LUCENE-10102）。 Elasticsearchでも使えるかなぁ？ということで調べたところ（調べた？聞いた？）、どうやら8.1から利用できるようになっている（GitHub Issue #81858）みたいです（まだ、公式ドキュメントには記載がないのですが）。

2022-08-09 by johtani

luceneutil - Analyzer性能テストへのkuromojiの追加

luceneutil - マニアックなツールのセットアップの続きです。今回も誰得?なブログなので興味ない場合は飛ばしましょう。一応、luceneutilのREADMEにあるlocalrun.pyを動かせるところまでいったんですが、そこで一旦本題を思い返してみました。

2020-06-25 by johtani

luceneutil - マニアックなツールのセットアップ

LuceneのFSTの修正に関連して、Kuromojiのパフォーマンス問題が出ているようです。この問題自体はLucene 8.6.0以降で直る予定のようなのです(Elasticsearchへの影響範囲についてはこれが参考になるかな?)。で、これに関連して、ベンチマーク計らないとねという話が出ていて、昔から、LuceneのMikeさんがやっているベンチマークのグラフに載せるのがいいよねという話になっていました。どうも、これについては、Luceneの中にあるbenchmarkというプロジェクトではなく、MikeさんのGitHubリポジトリにあるプログラムで計測しているようです。

2020-06-23 by johtani

Apache LuceneのKuromojiのUniDicビルド対応パッチについて

これは、情報検索・検索エンジン Advent Calendar 2019 の 4 日目の記事です。 1日目から、質の高いエントリーが続いていましたが、一旦休憩して頂く感じの記事になってます。気軽に読んでくださいw。Advent Calendarつくらないの？と煽ったのもあり、穴を埋めようかなと。　

2019-12-04 by johtani

lucene-gosen 4.6.1のリリースに関する注意点

Lucene/Solr 4.6.1がリリースされそう(バイナリ配布待ち)lucene-gosenの4.6.1対応版をリリースしました。ライブラリのインタフェースなどは特に変更はないのですが、ライブラリのダウンロード先が変更になっているため、注意喚起です。

2014-01-28 by johtani