@johtaniの日記 3rd

@johtani's blog 3rd edition

「IDの秘密」を読みました。(Jugemより移植)

IDの秘密 (丸善ライブラリー―情報研シリーズ) 非常に面白く読めました。バーコードの話に始まり、最後はシステムで付与するIDに関する考慮点まで幅広くIDについて語られています。

2012-04-30 by johtani

Heroku JP Meetup ＃4に参加しました。#herokujp(Jugemより移植)

WebSolrの話があるらしいというのを嗅ぎつけて、初めてHeroku JP Meetupに参加しました。 herokuもWebSolrも知りつつ、手を出していなかったので、いい機会でした。（SignUpだけ、勉強会直前に済ませましたｗ）

2012-04-21 by johtani

Solr 3.6.0のCJKの設定とSynonymFilterFactoryの気になる点(Jugemより移植)

先日、Solr入門のサンプルschema.xmlの3.6.0対応版の作成をしていて、気になったことがあったので、メモとして残しておきます。 SynonymFilterFactoryの属性「tokenizerFactory」に関連する話です。（「Apache Solr入門」の36-37ページに記載があります。）

2012-04-17 by johtani

「Apache Solr入門」のサンプルのKuromojiとlucene-gosen対応（2章～4章）(Jugemより移植)

先日の続きです。「Apache Solr入門」の2章から4章の説明について、Solr3.6.0で動作させる時の変更点を以下に書いていきます。なお、前回も説明しましたが、3.6.0からKuromojiという形態素解析器がSolrに同梱されるようになりました。これから説明する2章の変更点の手順ですが、Kuromojiとlucene-gosenそれぞれの利用方法について説明します。添付のschema.xmlについては、基本的にKuromojiを利用する形に変更してあります。それに加えて、lucene-gosen用のフィールドを別途追加で定義しました。これらのフィールド名については、次の表の用になります。適宜、書籍のフィールド名と置き換えながら読み進めたり、試したりしてください。

2012-04-14 by johtani

Lucene/Solr 3.6.0リリース / 「Apache Solr入門」のサンプルのKuromojiとlucene-gosen対応（1章）(Jugemより移植)

以前より、アナウンスしていた、Kuromojiという日本語形態素解析が含まれるLucene/Solr 3.6.0がリリースされました。以下、各リリース内容について簡単に説明されているページへのリンクです。

2012-04-14 by johtani

【メモ】Amazon CloudSearchが出てきましたよ(Jugemより移植)

Twitterでこのブログ流れてきて、気になったので、流し読みして簡単にメモ。 Amazonのサービスでスケールする検索サービスみたい。主に、機能面です。価格とかはみてないです。データと検索トラフィックに対して自動でスケール（※automaticってのがどういう感じかは調べてないです） CloudSearch APIsでアクセス可能。AWS管理コンソールからオペレーションできる。コマンドツールもあるデータ登録にHTTPSも使えますよ。データ形式はJSON、XML、SDF（Search Document Format）と呼ばれるものに準拠したもの near real-timeで検索可能になる。RAMにインデックスを保持して更新処理が早くなる（Lucene/Solrと一緒か？）ステミングとかストップワードの設定変えたらre-index ファセット、フィールド指定検索が可能。（ファセットはファセットクエリみたいなのもできるのかな？）データ量が増えたら、サーチインスタンスを追加するか、インスタンスタイプを大きくしてスケールする？トラフィックが増えたら新しいインスタンスにデータをレプリケートしてインスタンスを追加する簡単に実現できるよ。ファセット検索、全文検索、And/OR検索式、ランキングのカスタマイズ、フィールド指定ソート、フィールド指定検索、テキスト処理オプション（ストップワード、類義語、ステミングのような）ここから詳細のドキュメントが見れるみたいなので、また、見てみます。

2012-04-12 by johtani

Java One Tokyo 2012 に参加しました。#JavaOneJp(Jugemより移植)

JavaOne Tokyo 2012に参加してきました。 4/4-4/5の2日間開催されていたのですが、子供が体調を崩してしまい、4/5のみの参加となりました。 4/4はTwitterのTLを眺めて、羨ましがってました。

2012-04-06 by johtani

lucene-gosenのJava7でのテスト失敗問題の対応(Jugemより移植)

先日、2.0.0リリースの記事にも記載しましたが、Java7でテストケースが失敗する問題がありました。 @haruyamaさんと@hideaki_tさんの協力により問題を解消し、trunkと4xブランチにコミットしました。 issueにも記載しましたが、Java6からJava7にバージョンアップするタイミングで変更されたUnicodeのバージョンが原因でした。 Java6ではUnicodeのバージョンが4.0です。Java7ではUnicodeのバージョンが6.0に変更されています。今回の問題は「・」（0x30FB）の文字列のCharacter.getType()がCONNECTOR_PUNCTUATIONからOTHER_PUNCTUATIONに変更されたのが原因です。（この変更自体はUnicode 4.1で変更されたみたい）カタカナ文字種の判別をlucene-gosenのnet.java.sen.tokenizers.ja.JapaneseTokenizerのgetCharClass(char c)メソッドで行なっています。修正前は、ここで、charの範囲が0x30A0～0x30FFにある文字でかつ、Character.getType()がCONNECTOR_PUNCTUATIONでないものがカタカナとして判別されていました。 issueの添付ファイルにJava6とJava7で上記範囲の文字のCharacter.getType()のリストを生成して、該当する文字を探した所、「・」（0x30FB）のみであることがわかりました。ということで、このコードの意図としては、「・」はカタカナではないと判別したかったのだと。上記の確認を行えたので、ソースコードを修正してコミットしました。 2.0.1としてリリースするかは、Issue29のボリュームを見て考えますので、もう少しお待ちください。

2012-04-05 by johtani

【重要】lucene-gosen 2.0.0リリース(Jugemより移植)

先日、宣言したとおり、lucene-gosenのパッケージ名＋クラス名の変更を行ったlucene-gosen 2.0.0をリリースしました。 Lucene/Solr 3.6.0のリリースを待つつもりだったのですが、なかなか出ないので先にリリースを行いました。現時点では、branches/4xについては、パッケージ名、クラス名の修正が追いついていません。明日までに4xブランチについても修正を反映する予定です。

2012-04-02 by johtani

【重要】lucene-gosenの次期リリースについて(Jugemより移植)

lucene-gosenを利用して頂いてる皆様に連絡があります。連絡事項次期lucene-gosenのリリース（2.0を予定）にて、org.apache系のパッケージ名および、クラス名の変更を行います。 Lucene/Solrの次期リリース版である3.6.0以降では、lucene-gosen 2.0（予定）を利用するようにしてください。

2012-03-27 by johtani