アジャイルデータサイエンスが届きました

Fri, 09 May 2014 00:45:00 +0900

「アジャイルデータサイエンス」の見本をいただいてしまいました。

なので、感想文でも書いてみようかと。

どんな本？

想像以上に薄かったです、物理的に。なのに、とても幅広い範囲をカバーしています。

データの分析にどんな人が関わっているのか、アジャイルにデータを分析する目的から始まり、データから何かを見つけるための手順、考え方などをさらっとですが、システムに取り込む流れから取り込んだあとに改良するという流れまで紹介してくれます。流れはこんな感じ。

イベント：ログとかのイベントの発生
コレクタ：イベントの収集
バルクストレージ：イベントの一時保存
バッチ処理：ストレージにあるデータに対して処理
分散ストア：処理結果をWebアプリなどで表示するために保存
Webアプリ：処理結果をユーザに提供

Webアプリでデータを見えるようにして、そこから更にフィードバックを受けることで、データの分析などを進めていくという流れです。

私はデータサイエンス系の人ではないのでこの流れで作業をされているかはわからないのですが、検索のシステムについてもこの流れに似ているなと感じました。

検索システムでも、検索したいデータを収集して、加工（検索したい項目の洗い出しやファセットにする項目の選定とか）して、インデックスを生成するといった処理が必要になるからです。

この本では、Python、Hadoop（Pig）、MongoDB、ElasticSearch（バージョンが0.90だから）、d3.jsなどが出てきます。また、日本語版の付録では、Fluentd、Kibana+Elasticsearchといった組み合わせの紹介もあります。

コードも書かれていますが、すみません、そこまでちゃんと読んでません。。。

後半では、データを活用して行くためには順序があるという話が書かれています。

レコード：レコード1件のアトミックな処理と表示
グラフ：レコードを元に集計したりグラフ作ったり
レポート：関係性やトレンドを抽出し、インタラクティブに探求
予測：構造を利用して、推論やレコメンドとか
行動：上記の結果を元にユーザに行動を促す

前のステップがおろそかだと次のステップがうまくいかないという話です。後半はこの流れに沿って、先ほどのシステムの流れを変更していく方法が展開されます。

注意点

ちょっとだけ気になる点があったので。

Elasticsearch周りについては少し注意が必要かと。（Pigとかは詳しくないので不明です。）紹介されているElasticsearchのバージョンが0.90と少し古いのと、 Hadoopとの統合（Pigで処理したデータをElasticsearchに出力）に利用されているWondordogというツールも最近更新がされていないみたいです。おそらく、1.0系では動かないのではないかと。

1.0系の場合は、Elasticsearchが提供しているelasticsearch-hadoopを利用するのが良いと思います。

付録については1.0系で記載されているので問題ないかと。ただし、Elasticsearchは更新が早いので、公式サイトで最新情報を入手するのが良いと思います。

感想

データを解析するシステムってどんなことやってるの？という全体像を俯瞰するのに良い本なのではないかと思います。また、データの解析を活かすために、必要な順序と疎かにできない点もあって面白かったです。

紹介されているツール類については、OSSのトレンドや開発速度が早いので、参考程度にとどめておいて、自分たちで使いやすいものを探してきて検討するのがいいと思います。

付録がとても豪華です。FluentdやKibanaがわかりやすく解説されてます。

あと、薄いのでさらっと読めます。ｗ

『プログラミング Hive』『Hadoop 第3版』刊行記念セミナーに参加しました！ #oreilly0724

Thu, 25 Jul 2013 02:11:00 +0900

Hadoopとか離れちゃってるし、Hive触ったこと無いにもかかわらず参加しました！
（たまたま近くにいるからって理由なのは内緒で）
玉川さんの四方山話を聞くのが主目的で参加しました。（ちょっと翻訳が気になってるので）

イベントページはこちら
刊行記念イベントにも関わらず、想像以上の人の入りでびっくりしました。Hadoop、Hive界隈はまだまだ人気なんだなぁと。
プレゼントじゃんけん大会もあったのですが、早々に負けてしまったのが悔やまれます。。。 Team Geek欲しかったなぁ。もちろん、懇親会まで参加しました。

以下、いつものメモです。

Hiveの正しい使い方（Cloudera 嶋内さん）

残念ながら、マサカリは持ってなかったです。

スライドの各所に本の章番号が書いてあるのがうれしい。
Hiveロゴが回ってたのでスライドの時に集中できなかったｗ
Impalaの話も出てきた。
- 速いけど、色々足りない。Hiveの置き換えじゃないよと。

HiveとImpalaのおいしいとこ取り（セラン　須田さん）

スライド：http://www.slideshare.net/sudabon/20130724-oreilly-org

オンプレだとCDH便利だよと教えてもらう
いくつかSlideshareにImpalaの性能評価の資料を上げてある（必要になったら検索で。。。）
リリースされたその日に性能評価やってレポート書くとかすごすぎ！

翻訳の四方山話（玉川さん）

翻訳＝写経です
締め切り駆動勉強法ｗ
4page/day
自分から電突してオライリーさんに翻訳させてくださいと。
他の方の本が読めない（チェックしちゃうのでｗ）
動機があるから読めるってのはあるだろうなぁ。
選び方：わくわくするもの、仕事に活きるもの
今年もあと2冊やる予定（Hadoop Operations、Vagrantを翻訳中）
来年の候補（Chefとか）

高可用性HDFSのご紹介（Cloudera 小林さん）

スライドにどの版で書いてあったかがわかりやすく書いてある。
3段階の開発フェーズを経てる
QJMのお話

Cloudera UniversityとHadoop認定試験（Cloudera 川崎さん）

Clouderaデータアナリスト向けトレーニング（3日間、10月日本語で開催予定）
- Hive、Pig、Impalaなど
Data Science入門コースも準備中
出版記念！
- 8月管理者向け先着20 or 30名にHadoop第3版贈呈予定
- 先着20名にプログラミングHive贈呈予定

オライリー on @johtaniの日記 3rd