Fluentd on @johtaniの日記 3rd

データ転送ミドルウェア勉強会に参加しました。#dtm_meetup

Tue, 27 Jan 2015 19:01:01 +0900

データ転送ミドルウェア勉強会に参加しました。

以下は、テキトー自分メモです。

『バルクデータロードツール「Embulk」リリース〜 fluentdの柔軟性と堅牢性をバルクでも』トレジャーデータ古橋貞之氏

スライド：未定

パラレルにデータをバルクロード、プラグインで
CSVデータとか、ロードするの辛いよね。パース失敗→書き換えてリトライ→パース失敗。。。さて、できたからcronで。。。また失敗
Fluentdはストリームデータを流すのはいいけど、すでにある大量データをロードするのがつらい。なので。
名前はembarkにかけてembulk
コアはJava、プラグインはRuby
デモ。実行の仕方とプラグインの実装の仕方
プラグインはrunメソッドとinitializeを実装。runメソッドがスレッド実装される。
ロードマップ（いくつか未実装のもの）
コントリビューションの方法。
- ブログとか、プラグイン書くとか、Windowsサポートとか、とか。
QA
- Q：JSONだとスキーマフリーだけど？
- A：Guessでスキーマを固定させたかった。
- Q：なんでJava？
- A：性能です。性能です。
- Q：executorでいろんなところで動かせるという話ですが、どういうexecutorを考えてますか？
- A：まずは、Hadoopでの実行。Yarnなどでタスクを投げるってもアリじゃないかと。
- Q：できるできないがプラグインによってありそうだけど、embulk的には許容するか？
- A：許容するしかないすね。

『世界で利用されるファイル転送ツールHULFT』セゾン情報システムズ HULFT事業部庄司吉徳氏

20年近い歴史あり
MFT＝Managed file transfer
FTPだけだと、整合性の保証ととかジョブとの連携とかが足りない
QA
- Q：クライアントとサーバのソフトに違いがないとの話でしたが、セキュアな環境でTCPポート開けないといけないとかありますが、どーやってますか？
- A：エンタープライズのお客様は基本的に専用線を引くのであんまりきにする人はいないです。もちろん、専用のプロキシ製品もあります。

『Fluentd 2015 - v1に向けて -』トレジャーデータ中川真宏氏

Fluentdのロードマップとか
v0.11は存在しないので、話にあげないで下さい。
v0.12（current stable）、FilterとLabelが導入された

『H2O - HTTPを、より便利に、より速く』ディー・エヌ・エー奥一穂氏

第2回elasticsearch勉強会を開催しました！ #elasticsearchjp

Tue, 12 Nov 2013 18:16:00 +0900

第2回を開催しました！すごい、140人くらいくらいの参加登録者（参加者は１００人ちょっと！）がいて、びっくりです。ステキな会場を提供していただいた、リクルートテクノロジーズさん、運営していただいた方々、スピーカーの皆さん、参加者の皆さん本当にありがとうございました。今回も素敵な看板ありがとうございます。

今回もしっかり楽しめたので、次回も頑張ります！

今回は、elasticsearch-jpMLの紹介とかをできたのでよかったかなぁと。ぜひ、活用してください！どんな質問でもいいので。

あと、スライドに入ってた例の本もよろしくです。

ということで、懇親会も盛り上がったし楽しかったです。今後も場の提供＋自分の勉強のトリガーとして、開催していくので、ご協力お願いします！聞きたい話など、MLや@ツイートしていただければと。

elasticsearchのRouting機能：株式会社シーマーク　大谷　純　（@johtani）

スライド：Routing機能※スライドはPDFです。

ド緊張で、大した発表ではなかったですが。。。どちらかと言うとSolr本の紹介だったかもなぁ。スミマセン。

※スライドが一部文字が消えてるので、作りなおすかも。

ElasticSearchを使ったBaaS基盤の開発(仮)：株式会社富士通ソフトウェアテクノロジーズ滝田聖己さん（@pisatoshi）

スライド：https://speakerdeck.com/pisatoshi/elasticsearch-trial-and-error

本日はお越しいただきありがとうございました！しかも静岡から！今後もよろしくお願い致します。

EnchantMoonでシステム構成ｗ
0.17.0から利用されていると。（スゴイ）
プライマリのデータストア！ただし、登録元データはMySQLにもある。
階層も深く、大きめのドキュメント。
レプリカ１、インデックスのバックアップも取ってないと。。。
ルーティングの機能
DynamicMappingの問題点
マッピング定義が肥大、型がコンフリクト。。。苦労しっぱなし
データ登録は１台にして、１台で一気に登録してから再配置
実際に運用とかされてるので、いろんなノウハウがまだまだありそう！

Kibana入門：水戸祐介さん（@y_310）

スライド：https://speakerdeck.com/y310/kibanaru-men

（やっぱりru-menになってるｗ）

実は、押しかけて話してもらうように説得したのでした。今後もよろしくです。

COOKPADの方によるKibanaのお話。
Kibanaの利点とかなんで？とか。
画面構成の説明から
ダッシュボードは必ず保存して！リロードしたら悲しい思いをしてしまうので。
sparkline便利そうだなぁ。ほんとに、データサイエンティスト系のツールを目指してるのかな
一通り、ダッシュボードに配置できるパネルの説明してもらえたのですごく参考になりました！
Tips周りが役に立ちそう。not_analyzedは重要ですよね。

LT

「データ集計用ダッシュボードブラウザとしても使えるElasticSearch＋Kibana v3を利用する際の運用ノウハウ紹介」：株式会社リブセンス Y.Kentaro さん (@yoshi_ken) さん

スライド：http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips

Kibanaの紹介とかFluentdの紹介。
Tips満載すばらしい。
JDBC riverは0.90.6ではうまく動かないので、気をつけてと。

「Fluentd as a Kibana」：@repeatedly さん

スライド(gist)？：https://gist.github.com/repeatedly/7427856

Kibanaがfluentdの中で動くと！？

「Authプラグインでアクセスコントロール」：株式会社エヌツーエスエム菅谷信介さん (@shinsuke_sugaya)

スライド：http://www.slideshare.net/shinsuke/es-auth-plugin

API毎？インデックスごと？にアクセス制御ができるプラグイン

apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ

Mon, 10 Jun 2013 23:34:00 +0900

もう何番煎じだ？ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch＋Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。

参考URL

インストールと起動

今回はCentOSへのインストールです。基本的にはmemorycraftさんのブログの流れのままです。

elasticserchのインストールと起動

ダウンロードして、起動するだけ。お試しということで、-fオプションにてコンソールにログ出力。

curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.tar.gz
tar zxvf elasticsearch-0.90.1.tar.gz
cd elasticsearch-0.90.1
./bin/elasticsearch -f

Kibanaのインストールと起動

git cloneしてbundleインストール

git clone --branch=kibana-ruby https://github.com/rashidkpc/Kibana.git
cd Kibana
bundle install
ruby kibana.rb

これで、Kibana＋ESのインストール＋起動が完了。下地が完了。

td-agentのインストールと起動

ログの流し込みはlogstashなのですが、fluentdのelasticsearchプラグインにて流しこむこともできます。 td.repoとしてtd-agentのリポジトリを登録してから以下を実行します。

yum install td-agent -y
/usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
vim　/etc/td-agent/td-agent.conf
/etc/init.d/td-agent start

これで、td-agentがインストール出来ました。次は設定です。

<source>
  type tail
  format apache
  path /var/log/httpd/dummy_access_log
  tag dummy.apache.access
</source>

<match *.apache.*>
  index_name adminpack
  type_name apache
  type elasticsearch
  include_tag_key true
  tag_key @log_name
  host localhost
  port 9200
  logstash_format true
  flush_interval 10s
</match>

以上が設定です。td-agentはtd-agentというユーザで起動されるので、/var/log/httpdディレクトリにアクセスできるかだけ確認が必要です。
いくつかの設定値について気になったので調べました。

index_name：adminpackとなってるが、elasticsearchではlogstash-xxxとなってる。
- これは、logstash_formatがtrueの場合は、利用されないので、指定しなくてもいい。
type_name：Elasticsearchのタイプ名 *　これはlogstash_formatを指定しても有効。ただし、Kibana側で画面からのtype指定は不可能。KibanaConfig.rbにて指定することは可能。
logstash_format：Kibana用にlogstashフォーマットで出力するオプション
- この指定があるときは、index名が「logstash-YYYY.mm.dd」となる
- record（ログ）に@timestampとして時刻が追加される。
tag_key：include_tag_keyがtrueと指定されているため、record（ログ）にtag_keyで指定した文字列をキー、値としてtagの値（上記例だとdummy.apache.access）が付与されて登録される。

apache-loggenのインストールと起動

タムタムさんが作成されたApacheのログのダミーを生成するツールです。
gem化されてるので、インストールは非常に簡単です。

gem install apache-loggen

で、ログを出力します。出力先は先程設定したdummy_access_logです。

apache-loggen --rate=10 --progress /var/log/httpd/dummy_access_log

秒間10アクセスログを出力してくれます。これで、Kibanaでログが見れるようになりました。なんて簡単なんでしょう。。。簡単なログの検索ができてしまいました。他の形式のログがどうなるのかとかは、また時間があれば。。。

感想とか

非常に簡単でした。素敵です。いくつかこうなるのかな？というのを試してみたのでメモを。

いくつか疑問点です。

溜まったログの削除は手動？
- おそらく。日付ごとにindexが出来上がっているので、削除は楽そう。「logstash-年月日」なので。
認証とかかけれるの？
- ログ検索は内部でするだろうから、まぁ、なくていいのかな。ログインすらないし。
複数行のログとかってどーすんだろう？（JavaのExceptionとかが混ざるやつ）

本格的に触るようになれば調べるかなぁ。。。

あと、ログが増えてきた時にどういった分割構成ができるだろう？って思って考えてみたのが以下になります。

構成パターン

ログを複数扱う場合は次のようなパターンがありそうかと。

タグ（fluentdのタグ）で識別

「@log_name」という名前＝fluentdのタグにてログを識別することで、異なるログを検索することができそうです。タグであれば、プラグインによってはログ出力時に制御も可能だと思うので、td-agentの設定を変更したりすることもなく対応が可能かと。ただ、ログの種別ごとにKibanaのプロセスを別にして起動したいといった用途には向いてなさそうです。

type_nameによる識別

ElasticSearchの機能であるtypeを利用したログの識別パターンです。
fluent-plugin-elasticsearchの設定でtype_nameを指定しました。ここを別の名前にすることで、識別することも可能です。

~~ただし、この場合はKibanaの画面から指定して検索することができません。~~ →コメント頂きました。検索条件に「_type:タイプ名」と検索することでtypeを利用した検索が可能です。
タグ（@log_name）でも識別できるようにするなどの工夫が必要です。その代わり、タグ識別ではできなかったKibanaのプロセスを別にして起動することは可能になります。
KibanaConfig.rbのTypeに値を設定することで、起動したKibanaが対象とするログを絞り込むことが可能です。こうすることで例えば、apache用のKibanaとtomcat用のKibanaは別プロセスにして、ElasticSearchのクラスタは1つという構成も可能になります。

ElasticSearchサーバを別立て

ElasticSearchサーバをそもそも別のプロセスor別のサーバで起動し、Kibanaも別々にすればログの識別も可能です。可能ですが、色々と管理するものが増えてめんどくさそうですね。。。

インデックス名変更

最後は、fluent-plugin-elasticsearchの設定で「logstash_format」をfalseにすれば、好きなindex_nameを付与できるので、ログ種別ごとに名前を変更することで識別できます。
ただ、logstash形式でないインデックス名の場合、日付ローテーションができなかったり、Kibana内部で検索時に日付で検索対象を絞り込んで検索することで高速化するといった処理など、使えない機能が多々出てきてしまうのであまりおすすめじゃないかと。。。

ということで、流行りものは触っておこうということで、さわってブログ書いてみました。
開発中に立てておいて、各サーバのログを流しこんでおくなどにも利用できるかもしれないです。アラート通知などの機能が出てくるともっと便利かもしれないです。

fluent-plugin-zoomdata作りました＋悩み事とか

Mon, 03 Jun 2013 13:43:00 +0900

憧れ？のfluentを使ってみました。こちらの記事で紹介したZoomdataを最近触っているのですが、お試しにfluentdでデータ流し込むプラグインを作ってみようかなぁと。（今は、Javaでの接続も書いていて、主にそっちを使っています。）ということで、作ってみました。fluent-plugin-zoomdata。

基本的にはtagomoris先生のfluent-plugin-growthforecastを参考（パクリ？）にさせてもらいました。作っている最中もここわからんってツイートに反応していただき、大変助かりました。私はベースがJavaの人間なので、手探り状態でRubyを書いています。そこおかしいんじゃないの？とかあればコメントもらえると嬉しいです。

ZoomdataのAPI

ZoomdataのAPIはこんなかんじで、JSONをHTTPSでPOSTするものになります。

指定する必要があるものは、以下の項目です。

source：Zoomdataのデータ保存先（Zoomdataでのデータを保存する単位。）
user：Zoomdataのユーザ名
password：Zoomdataのユーザのパスワード
JSONデータ：Zoomdataでグラフ化するデータ

sourceはデータ保存先の名称で、この単位でZoomdataはデータを保存、描画します。fluentdのタグをこれにするとわかりやすいかなぁ？と考えていったん、実装してみています。

で、作成したプログラムを使いつつ、Zoomdataの検証をしたかったので、つぎのような簡単なプログラムを作って動かしてみました。

サンプルプログラムの構成

基本的にJavaの人なので、クライアントはJavaで書いてます。 CLIプログラムで適当なJSONを作って、fluent-loggerを使って、fluentdに投げ込みます。

fluentdにfluent-plugin-zoomdataを設定して、localのZoomdataサーバに対してHTTPSでJSONをPostする仕組みです。(初keynote)
利用しているライブラリなどのバージョンは次の通り

td-agent.x86_64：1.1.12-0
fluent-logger：0.2.8
Zoomdata：1.0.3

バグ？

で、Zoomdataにいろんなデータを流し込んでみたのですが、つぎのようなエラーが出て、エラーが出力されたあとはZoomdataにデータが流れ込まなくなってしまいました。

2013-06-03 14:42:33 +0900 [warn]: emit transaction failed  error="SSL_connect returned=1 errno=0 state=SSLv3 read finished A: sslv3 alert handshake failure"
  2013-06-03 14:42:33 +0900 [warn]: /usr/lib64/fluent/ruby/lib/ruby/1.9.1/net/http.rb:799:in `connect'
  2013-06-03 14:42:33 +0900 [warn]: /usr/lib64/fluent/ruby/lib/ruby/1.9.1/net/http.rb:799:in `block in connect'
  2013-06-03 14:42:33 +0900 [warn]: /usr/lib64/fluent/ruby/lib/ruby/1.9.1/timeout.rb:54:in `timeout'

全ログはこちら。

まだきちんと問題を調査しないでブログを書いています、すみません。

現象

ログが発生した時の症状です。

クライアントプログラムは送信が続いており、エラーは出ない
td-agent.logに先ほどのエラーが出力
別途type fileにて出力しているログも停止

想像

とりあえず、ログを見た想像、所感です。

問題の箇所はfluent-plugin-zoomdataからZoomdataサーバへのデータ送信部分
emit処理内部で、HTTPSでデータをPOSTする処理でエラーが起きて
リトライ処理とか書いてないので、emitがコケて、その後データが送信されなくなる
emitで例外をつかみそこねてるのがあるから止まってる？

とまぁ、ちゃんと仕組みを理解しないでRubyとか書くからこうなるんですねぇ。あとでちゃんと調べて考えて、改良してブログ書きます。

悩んでいる点、今後手を入れたい点

上記バグとは別に作りの点でいくつか悩んでる点も書いてみます。

BufferedOutputにしてみたい

fluentdのバッファリングを使って、Zoomdataが落ちていても使えるようにしたいと思っているのでBufferedOutputで書くのがいいのかなぁとか。ちょうどいいスライドがあったので、読みながらまずは中身を理解してみよう。

Zoomdataのsource、userなどの扱い

基本的には設定ファイルで切り替えるのが妥当かなぁと思っています。
ただ、Zoomdataのsourceやuserが増えるたびにfluentdの設定を書き換えて再起動するのかなぁと。userはしょうが無いにしても、sourceは設定じゃない所で切り替えたいなぁと。

で、切り替えるのにつぎの案があるかなぁと。

タグで指定（今実装してるもの）
メッセージにメタ情報とボディ構造を設ける
設定をどんどん増やす（やりたくない）

1と3はまぁ、いいかと。2.のパターンはどうなのかなぁと。毎回のメッセージでヘッダ部分が送信されるのはなんだか無駄だなぁというのが否めないので悩ましいところです。1、2の両方対応できるように作るのもありか。

{
	"header": {
		"source": "source_name", 
		"user": "userid",
		"password": "userid",
	},
	"body": {
		"label": "label1",
		"count": 1
	}
}

ということで、fluent触って遊ぶの楽しいですね。Rubyの勉強にもなりそうだし。ちょっとずつ頑張ってみようかなぁと。まぁ、まだ私以外にニーズは無さそうなプラグインですが。