本 on @johtaniの日記 3rd

データ分析基盤構築入門を一部執筆しました。

Thu, 21 Sep 2017 10:02:30 +0900

久々に執筆しました。といっても、以前の書籍の更新版です。まぁ、更新版といっても、私以外の方々は結構な量を書き直しor新規書き起こしされてますが。。。

ということで、みなさん「買って」から感想をいただけるとうれしいです！（以下の画像でAmazonにジャンプできます！Kindle版も発売中です。）

今回もElasticsearchの章を担当しました。 5.4ベースで書きましたが、ちょっとずつ6でどう変わるかなども記載してあります。また、付録ではLogstashやBeatsにもちょっと触れています。また、自分が一番好きなKibanaの機能であるDev ToolsのConsoleについても記載してあります。こちらも合わせて目を通していただければと。

みなさんのフィードバック（ツイート、ブログ、Amazonのコメントなどなど）をお待ちしております！

「自然言語処理の基本と技術」を読んでる

Mon, 14 Mar 2016 22:34:12 +0900

久々のポスト。。。

久々に、技術書読んでます。「自然言語処理の基本と技術」という本です。

監修の方のツイートを見て気になったので、買ってみました。書籍のサイトの説明はこんな感じでした。

本書は、この未来に不可欠となるに違いない自然言語処理の、技術的、ビジネス的基礎知識をくまなくコンパクトに図解した一冊です。著者陣もそれぞれの分野の第一線で活躍するエキスパート揃い！

確かに著者陣がすごいです。

まだ、「はじめに」と自分に関係のある「情報検索」の章を流し読みしただけなんですが、次のような特徴がある本です。

平易な単語で説明してある（難しい専門用語が少ない）
数式が出てこない（多分。少なくとも読んだ部分では見てない）
説明には例と図解がある

情報検索の章で言うと、全文検索でよく使われる転置インデックス（索引という単語が使われてる）がなぜ必要なのか、どういう感じで作られるのか、転置インデックスに利用する索引の単語をどうやって作るのか（文字N-Gramや形態素解析）、単語の正規化（ステミングやストップワード）などの説明が本当にわかりやすく書かれています。スコアリングについても触れられています。

Elasticsearchも転置インデックスを用いた検索を行っており、 MappingでAnalyzerの指定をしている理由などの理解に役に立つと思います。

全文検索システムがどのように検索を処理しているかをざっくり理解するのにはもってこいじゃないかと。 1点残念だなと思ったのは、書籍に「索引」がありませんでした（本の索引を思い浮かべてくださいっていう説明あったんだけど）。。。 Kindle版を購入すれば「検索」できるのかな？

ということで、まだ、流し読みしただけなんですが、「すごく」オススメです。購入はこちらから！

elasticsearch.もうちょっと入門という話をしてきました #gihyo_efk

Tue, 16 Sep 2014 13:21:00 +0900

先日2014年9月9日(火)に『サーバ/インフラエンジニア養成読本ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！で、「elasticsearch.もうちょっと入門」というタイトルで発表してきました。会場のGMOのみなさま、Treasure Data、技術評論社のみなさま、どうもありがとうございました。

書籍に興味のある方は、右のリンクから購入してもらえるとうれしいです。Kindle版も用意されています。

提供のTDの方に目をつぶってもらいながらLogstashについての発表となってしまいましたが、楽しんでいただけたかなぁと。書籍では主にKibana3をメインにしたElasticsearchの使い方だったので、それ以外の機能ということで、Aggregationについて説明してみました。

そのあとは、おそらく初めてですが、パネルディスカッションにも参加しました。 @naoya_itoさんをモデレーターに、rebuild.fm風に進めていただき、話しやすかったかなと。（少なくとも私は楽しめました！）ただ、私だけバックグラウンドが少し異なることもあり、話をうまく繋げられなかったかもと気にしていたりもしますが。。。

パネルディスカッションでもありましたが、エンジニアが「趣味」で入れて試してみるのにはもってこいのツール群だと思います。ちょっと入れてみて、可視化をしてみるといろいろと発見があると思います。何かを発見するためにもまず試してみるのが何事も重要かなと最近思ってるのもあるので、気軽に試してみてもらえればと。

不明点などあれば、著者陣に気軽に聞いていただけると良いかと思います（いいですよね、みなさんｗ）。 Fluentd（もちろん、Logstashも）、Elasticsearch、Kibanaを利用して、データについて試行錯誤してもらって、システムやビジネスに必要なものを探索して見てください。

参考

他の方々のブログをメモとして。

サーバ/インフラエンジニア養成読本ログ収集~可視化編を手伝いました

Mon, 04 Aug 2014 21:54:00 +0900

懲りずにまた、執筆してみました。みなさん「買って」から感想をいただけるとうれしいです！

本書について

共著者の方々のブログが詳しいので、そちらを読んでもらいつつ。実際にログを収集して解析されている方々と一緒に書かせていただくことで色々と勉強させていただいています。

共著者の方々のブログ

どの辺を書いたの？

「特集３：Elasticsearch入門」（なんか、入門ばっかりだなぁ）を書かせていただきました。データストア入門ということで、ほんとうに簡単な他のデータストアを説明し、Elasticsearchってどんなものかを単語の説明をしつつ紹介してみました。

Elasticsearch自体は多くの機能を持っており、それ単体で分厚い書籍がかけるので、ログ検索に関係ありそうな部分をピックアップしてみました。あとは、運用時に気をつける点や便利なツール（Curatorなど）の紹介をしています。

また、Hadoopと合わせて利用してみたい、すでにHadoopにあるデータも活用してみたいという話もありそうだということで、elasticsearch-hadoopについても簡単ですが紹介してあります。

その他感想

個人的に、忙しい時期（参考記事）だったので、あんまり力になれてないので大変申し訳なく思っています。。。ただ、素晴らしい出来（カラーでKibanaの解説が日本語で読めたり、Fluentdの逆引きのリストがあったり、ログを貯めて可視化する意義を説明してあったり）です。

ぜひ、読んだ感想をいただければと！

Elasticsearch server 2nd editionのファーストインプレッション

Mon, 16 Jun 2014 17:47:00 +0900

Elasticsearch server 2nd editionが発売されています。

私が翻訳したのは前のバージョンですが。。。まずは、目次を元にどのくらい変わってるかを見てみました。（全部まだ読んでなくて。。。）

1章 Getting Started with the Elasticsearch Cluster

冒頭に、全文検索とは、転置インデックスとはどんなものか、 Luceneの簡単なアーキテクチャの仕組みについて説明が追加されています。検索の仕組みを知らない人が読んでもわかりやすくなっています。

インストール方法なども少し追記されています。バージョニングと簡単なデータ登録と検索方法についてもここで触れられています。検索結果の構造の説明もちょっとあります。まず簡単に触ってみるというところまでが1章でまとめられた感じです。

2章 Indexing Your Data

新しく、切りだされた形です。前のバージョンでは1章で説明されていた、Mapping周りが切りだされています。シャードやレプリカの説明もこちらです。

IPアドレスタイプ（IPv4のみ）とtoken_countタイプの説明も追加されてます。 similarityやpostingsフォーマットなどは新しく追記されています。また、メタフィールドと呼ばれる_typeなどはこちらに移動しているようです。マージ処理などの説明も追記されています。このあたりは、Mastering ElasticSearchに記載されているものが移植された感じでしょうか。

3章 Searching Your Data

前のバージョンでは2章だった章です。クエリについては1.0で追加されたsimple_query_stringなどが追記されています。 constant_scoreやdismaxなどもです。

また、前のバージョンの3章で説明されていたハイライトや8章で触れられていたvalidate APIについても移動しています。

4章 Extending Your Index Structure

前のバージョンの3章で触れられていた、データの構造に関する部分がこの章になります。親子や配列、ネスト等のデータのインデックスや検索の方法です。

5章 Make Your Search Better

スクリプティングや言語判定などの仕組みが記載されています。また、ブーストについても同様です。Synonymについてもここです。スパンクエリについては省略されたのかな？

6章 Beyond Full-text Searching

1.0の目玉機能の一つであるAggregationの説明から始まります。その後、ファセットやPercolatorについてです。メモリに関する注意点もありそうです。また、Geoについての説明がこちらに移動されていました。 scroll APIについてもこちらで説明されています。

7章 Elasticsearch Cluster in Detail

前の7章で記載されていたElasticsearchの分散の仕組み（Node Discovery）についての記載があります。また、1.0で追加されたcircuit breakerやスレッドプール、インデックスのリフレッシュレートなど、Mastering ElasticSearchの内容も追記されている気がします。

インデックスやマッピングのテンプレート機能についてもここで説明があるみたいです。

8章 Administrating Your Cluster

1.0で追加されたsnapshot/restoreの説明から始まります。あとは、前のバージョンの7章で説明されていたクラスタ管理用のAPIについての説明です。いくつか（例えばcat API）、1.0で追加されています。

また、シャードのリバランスの話も追加されているようです。エイリアスやプラグインの話はこちらに移動してるみたいです。

感想

ということで、とりあえず、駆け足で目次ベースで違いを見てみました。 Mastering ElasticSearchでの知見がフィードバックされ、しかも1.0（すでに1.3が出そうな勢いですが。。。）にバージョンアップされた内容になっています。冒頭がわかりやすくなっているので、検索をやったことのない方にもおすすめな書籍になった気がします。英語が苦にならなければ、おすすめの一冊だと思います。

来月から読み進めるつもりなので、また、面白い内容があったら感想を書いていこうと思います。（また翻訳できるといいかもなー）