Fluentd meetup in Japan #2 #fluentd に参加しました。(Jugemより移植)

まずは、作者古橋さんによるFluentdの魅力や次期バージョンのお話。あいかわらずわかりやすいスライドで話もわかりやすくてよかったです。どうしても実績という点を懸念事項として上げる人が多いというアンケートを元に、各社が使ってるし導入もしやすいですというお話。ここまでしてもらってるのに触ってないなんてほんと申し訳ないです。。。

次は楽天の方によるCloud Foundryのログの問題点解消のためのFluentd導入のお話。 EC2でもそうですが、ファイルが永続化されない？のでログが消えてしまうという問題があるので、集約しましょうと。いままでとは少し違う問題点からの話でした。

次はドリコムの方（浴衣？甚平？でかっこ良く発表）のIDCをまたいだFluentdの活用と、Fluentd自体の監視などについてのお話。実際にログが増殖して苦労された点を解決するために考えられた監視項目など、あとで見返したくなる資料でした。実際に試行錯誤されたあとの話はやはりありがたいです。あと、お子さんが可愛かったｗ

つぎのCROOZの方のPCがWindowsだったため（？）プロジェクターに繋がらず、急遽QAタイム。このあたりの@doryokujinの話のつなぎの旨さとかほんとすごいなぁと感心します。

で、Macに乗り換えてCROOZの方の発表。 Fluentd＋TreasureDataのお話。少人数（というか一人？）でも簡単にログ収集の仕組みが作れて、しかも保存先のサーバを用意せずに簡単な解析もできるというお話。これは、ちょっとやってみようと思う人（少なくとも、私はやろうと思った）が増えたんじゃないかなぁという発表でした。スライドがなぜか最後のほうが見えなくなってしまったので、第３回でも発表されるということになってましたｗ最後は新大阪から文字通り駆けつけた玉川さんのHBase本＋そのた今後の翻訳本の紹介。つぎはHiveの本も出てくるみたいでした。日本語の資料ってホント助かります。購入しないと翻訳本が出る機会もないみたいなので皆さん買ってくださいとのこと。 HBaseはまだ触りそうにないから９月に出るAWSの本でも買おうかなぁ。あ、日本語で解説してあるSolrの本もあるので是非買ってください！

その後は懇親会でした。今回もTL上でズケズケと私が勝手に絡んでいる方たちにリアルにお会いできたので楽しかったです。

自分もフロントよりも、バックエンドに興味があるし、実際に運用されてる人の話が多く聞けるので次回も参加したいです。それまでにどこかで触るかplugin作るかしないとなぁ。

ということで、以下はいつもの適当メモです。


開催日時：2012/08/22 18:00  ～  22:00
場所：グリー株式会社 14F セミナールームYosemite

◎「Fluentdの現在と未来」　Treasure Data, Inc.　古橋　貞之 (@frsyuki)
　◯アンケートの内訳
　◯ドキュメント欲しい？
　　※思ったより日本語のドキュメントじゃなくてもよさそうだった。
　◯loggingってなんでいるの？
　　いろいろな解析ってあるよね。
　◯ログの集約、保存、などの問題点について
　　フォーマットが混在
　　集約するのもいろんなスクリプトが混在
　◯メリット
　　・プラグインアーキテクチャ
　　　in/outに合わせてプラグインが用意/開発可能
　　・フォーマットがJSON
　　　アプリでの解析が楽
　　・HA構成が可能
　◯実績がない？→
　　誰が使ってる？
　　　COOKPADとか、NHNとか
　◯次期バージョンの構想
　　・設定ファイルで色々とらくできるよ。
　　・MessagePackのv5に対応
　　・td-agent-lite
　　などなど

　◯QA
　　Q：時刻にミリ秒を持つことは可能？
　　A：互換性も気になりますが、検討します。
　　Q：JSONで構造化が売りだが、Flumeとかはテキストだけど、テキスト
　　A：ログのパース時にやるというスタンス。
　　Q：日本語ドキュメントがやっぱり欲しい。手伝います！
　　A：別ブランチで翻訳しながら公開して欲しいし、バラバラにやるよりいいので。
　　Q：Windowsでも動かしたいけど、cool.ioの移植とか考えてないですか。
　　A：次期で、fluentdのコアからはcool.ioを外す予定です。

◎「Logging Infrastructure in PaaS by Fluentd」　Rakuten, Inc.　Yohei Sasaki (@yssk22), Waldemar Quevedo (@wallyqs)

　◯Cloud Foundryの説明
　◯Cloud Foundryの問題点
　　解析しようにもログが消えてしまう。。。
　　なので、Fluentdでログを集める仕組みを作ったよと。
　これかな？ https://github.com/rakutentech/dea/
◎「Fluentdを優しく見守る監視事例」　株式会社ドリコム　外道父 ( @GedowFather )
　◯概要：
　　Fluentdをより穏やかに安定稼働させるための監視項目と自動処理について。また，その実運用における障害例なども紹介したいと思います。
　◯目次
　◯動作環境
　　・IDCもバラバラな環境のログを一箇所に集約。
　　　グローバルなネットで、圧縮、暗号化し、VPN使ってない
　　・tailのプラグインを改良して利用
　　　copy、flow counterを利用
　　　forwardも改良
　　Flume OGとは比較にならないし、FlumeNGはOGと全然違うから論外だった。
　◯ローカル監視
　　・monit使って監視してる。
　　ログを記録してるか、内容が正しいか
　　td-agentが正しく起動してるか、Collectorに送っているか
　　　重複起動してないかとか、起動してるかとか。
　　　※重複起動でログが増えてた（@mazgi濡れ衣事件）
　　HDFSに送ってるか、保存されてるか
　　
　◯リモート監視
　　アラート/グラフ作成の集約
　　状態の可視化
　　Collectorのキャパシティ管理
　　Agentにキャパシティの心配はほぼないが、Collectorは足りなくなる可能性がある。
　◯野望
　　CollectorでAgentを把握したい
　
　◯QA
　　Q：圧縮はどうやって？
　　A：forwardを改造してやっている。

◎QAタイム
　Q：秒間どのくらい出るの？
　A；秒間8000メッセージくらいらしい。
　Q：ハートビートの取りこぼしは？
　A：案1：UDPじゃなくて、TCPにする。案２：TCP接続してたらハートビートのカウントとしてしまう。
　Q：CollectorのCPUに影響があるのってなに？
　A：ロックがCPUを食う＝ロックが影響→リクエスト量を減らす
　Q：Windows対応はいつ？（発生源がWindows）
　A：td-agent-liteをWindows対応にしたいと思ってる。
　Q：F#の実装とかテストは？
　A：性能値の測定までは行ってない。メッセージが送れたなぁくらい。
　Q：設定のDSL化はv11ではなくなったの？
　A：ホスト名は入れたい。設定はやっぱり設定だけにしたい（プログラムは入れたくない）
　　　プラグイン側がDSL対応してればDSLできるようなものは入れようかと思ってるが、
　　　DSLは延期したい。
　A（tagomoris）：DSL化したいパターンが幾つかに絞れるなぁと思ってて、それに合わせたプラグインをいくつか作ってるよー。

◎「Fluentd & Treasure Data でこっそり始めるログ集計」　CROOZ 株式会社　池田 朋大（ @mikeda ）
　◯概要：
　　FluentdとTreasureDataプラットフォームを使って、1インフラエンジニアが勢いでログ集計システムを作ってみたお話です
　◯アクセスログ、エラーログ、メールログ（試験中）を集めてる。
　◯TreasureData
　　500Gまで無料なのかー。
　◯ダマで入れてもばれないぞ！
　◯最後は心の目で見えるスライドでした。

◎祝・O'Reilly HBase 訳本発売。訳者本人によるPR。　Sky株式会社 玉川 竜司　※ O'Reillyの新刊「HBase 」　http://www.oreilly.co.jp/books/9784873115665/


◎懇親会

そうそう、ステッカーもらったのでアンケート書きましたｗ

Fluentd meetup in Japan #2 #fluentd に参加しました。(Jugemより移植)

目次

See Also by Hugo

Related by prelims-cli

FEATURED TAGS