@johtaniの日記 3rd

@johtani's blog 3rd edition

第3章終了(言語処理100本ノック2020)

Rustで言語処理100本ノックの第3章です。前回はこちら。少し間が空きましたが、再開しました。間が空いた理由は。。。「正規表現」ですかね。。。苦手なんです、正規表現。なので、28はちょっとギブアップしてしまいました。

2020-09-04 by johtani

TerraformでAzure Cognitive Searchのクラスターを起動

負荷を計測するために、数回、Azure Cognitive Searchのクラスターを起動したり、停止したりしてました。これは、Terraformでやると楽できるのでは?と思ったので、やってみました。 1パーティションのクラスターなので、全然大したことはないのですが、メモを残しておくためにブログに書いておきます。

2020-08-18 by johtani

検索システムを構成するパーツ(検索システムに関する妄想その2)

先日は「システムの特徴と検索機能について」という感じでふんわり書きました。まぁ、頭の中でぼんやり考えてることを文章にしてみた感じです。他にもぼんやりしてるものはいくつかあるので今日も書いてみることに。検索システム?みたいなツイートも見かけたので、検索システムってこんなイメージですというブログを書いてみました。

2020-07-28 by johtani

システムの特徴と検索機能について(検索システムに関する妄想その1)

今年の頭からシステムの検索周りを手伝う仕事をフリーランスとしてやっています。検索の仕組みを知れば知るほど面白くなってきたからという理由になるのかな? LuceneやSolr、Elasticsearchなどを長く触っているというのもあるかと思います。

2020-07-27 by johtani

Rust the book - 第15章

前回の記事はこちら。自分用のメモなので、読みにくいかもです。 Rust the Bookを読み始めた Rust the book - 第4章 Rust the book - 第5章 Rust the book - 第6章 Rust the book - 第8章 Rust the book - 第9章 Rust the book - 第10章 Rust the book - 第13章 14章は飛ばして、15章です(Cargoはまた別途調べればいいかな?と思って)。

2020-07-09 by johtani

Berlin Buzzwordsにオンライン出張してた

6月7日の週に開催されたBerlin Buzzwordsにオンライン出張してました。 Berlin Buzzwordsとは? ベルリンで開催されている、Big Data、Scarability、Storage and Searchabilityに関するカンファレンスです。今年はコロナウイルスの影響で、オンラインで開催されました。また、同時期に検索に関する他のカンファレンス(以下の2つ)もベルリンで毎年開催されているのですが、今年はこれら3つのカンファレンスが1つのチケットで参加できる形で開催されました。

2020-07-06 by johtani

luceneutil - Analyzer性能テストへのkuromojiの追加

luceneutil - マニアックなツールのセットアップの続きです。今回も誰得?なブログなので興味ない場合は飛ばしましょう。一応、luceneutilのREADMEにあるlocalrun.pyを動かせるところまでいったんですが、そこで一旦本題を思い返してみました。

2020-06-25 by johtani

luceneutil - マニアックなツールのセットアップ

LuceneのFSTの修正に関連して、Kuromojiのパフォーマンス問題が出ているようです。この問題自体はLucene 8.6.0以降で直る予定のようなのです(Elasticsearchへの影響範囲についてはこれが参考になるかな?)。で、これに関連して、ベンチマーク計らないとねという話が出ていて、昔から、LuceneのMikeさんがやっているベンチマークのグラフに載せるのがいいよねという話になっていました。どうも、これについては、Luceneの中にあるbenchmarkというプロジェクトではなく、MikeさんのGitHubリポジトリにあるプログラムで計測しているようです。

2020-06-23 by johtani

Azure Cognitive Searchでの日本語向けAnalyzerの違い

Azure Cognitive Searchで日本語を扱うときに、形態素解析器を使いたい場合、2種類のAnalyzerが用意されています。今回はこれらの違いがどんなものかを見ていくことにします。

2020-06-09 by johtani

Rust the book - 第13章

前回の記事はこちら。自分用のメモなので、読みにくいかもです。 Rust the Bookを読み始めた Rust the book - 第4章 Rust the book - 第5章 Rust the book - 第6章 Rust the book - 第8章 Rust the book - 第9章 Rust the book - 第10章 11章、12章はちょっと飛ばして、13章です。

2020-06-04 by johtani