@johtaniの日記 3rd

@johtani's blog 3rd edition

Dozen0を作成した #DIYキーボード

今年の春くらいから、セパレートタイプのキーボードが気になっています。また、なんか知らないですが、Twitterのタイムラインが自作キーボード(DIYキーボード)で盛り上がってる気がします。 (たぶん、気になってるから余計目についてる)。これとか。このスライドから、自分がやってるのは「まだ」DIYキーボードだなということで、タイトルに使ってみました。

2020-10-11 by johtani

LinderaのFSTをDoubleArrayTrieに変更した話

2020/10/06 11:00くらいにマージされました。 @minoru_osuka さんが開発を引き継いだLinderaというKuromojiのRustクローンがあります(リポジトリ) 。最近趣味でRustを勉強しているので、こちらを少し手伝っています。 Rustの勉強仲間である@takuya_bさんや@ikawahaさんと話をしているときに、FST部分をDouble Array Trieに置き換えると速度が向上するのでは?という話が出まして、@takuya_bさんがDouble Array Trieを作るらしいという話になったので、下準備などをしつつ、作ってもらったライブラリyadaを組み込んでみたという話です。

2020-10-05 by johtani

検索対象のデータとデータソース(検索システムに関する妄想その3)

先日は「検索システムを構成するパーツ」ということで検索システムを構成しているパーツについて書いてみました。大体、検索がうまくヒットしないといった場合に、問題になるのがコンテンツ自体のデータもしくは、転置インデックスのキーワードだったりします。そこで今回は、前回のパーツの「データソース・コンテンツ」周りについて少し書いてみようと思います。言葉の定義、それぞれがどんなことをやるのか、とりあえず導入したあとにコンテンツ周りでどんな改善ができるかなどを書いてみます。

2020-09-15 by johtani

自宅の作業環境(2020/09)

自宅環境に少しアップデートがあったので更新版です。お客さんのおかげで相変わらず自宅で作業させてもらってるのもあり、昨今のコロナウイルスの影響で出かけることもないので、自室の作業環境が更新されている感じです。前回のブログはこちらです。前回のまとめで触れていた2点について更新されています。

2020-09-08 by johtani

meteredクレートの紹介

Rustで便利なクレートを見つけたので、紹介がてら、自分のメモのためにブログに残しておきます。そもそもの問題 Rustで処理を書いていて、なんかちょっと遅いな?どこの処理で時間がかかってるんだろう? ということがありませんか?ありますよね?

2020-09-07 by johtani

第4章終了(言語処理100本ノック2020)

Rustで言語処理100本ノックの第4章です。前回はこちら。今回は早めに続きをやりました。「形態素解析」ですしね。第4章の概要吾輩は猫であるの文章が用意されていて、MaCabで形態素解析した結果をファイルに保存したところからが開始となります。

2020-09-07 by johtani

第3章終了(言語処理100本ノック2020)

Rustで言語処理100本ノックの第3章です。前回はこちら。少し間が空きましたが、再開しました。間が空いた理由は。。。「正規表現」ですかね。。。苦手なんです、正規表現。なので、28はちょっとギブアップしてしまいました。

2020-09-04 by johtani

TerraformでAzure Cognitive Searchのクラスターを起動

負荷を計測するために、数回、Azure Cognitive Searchのクラスターを起動したり、停止したりしてました。これは、Terraformでやると楽できるのでは?と思ったので、やってみました。 1パーティションのクラスターなので、全然大したことはないのですが、メモを残しておくためにブログに書いておきます。

2020-08-18 by johtani

検索システムを構成するパーツ(検索システムに関する妄想その2)

先日は「システムの特徴と検索機能について」という感じでふんわり書きました。まぁ、頭の中でぼんやり考えてることを文章にしてみた感じです。他にもぼんやりしてるものはいくつかあるので今日も書いてみることに。検索システム?みたいなツイートも見かけたので、検索システムってこんなイメージですというブログを書いてみました。

2020-07-28 by johtani

システムの特徴と検索機能について(検索システムに関する妄想その1)

今年の頭からシステムの検索周りを手伝う仕事をフリーランスとしてやっています。検索の仕組みを知れば知るほど面白くなってきたからという理由になるのかな? LuceneやSolr、Elasticsearchなどを長く触っているというのもあるかと思います。

2020-07-27 by johtani