Elastic on @johtaniの日記 3rd

Kibana 4.2.0リリース（日本語訳）

Thu, 29 Oct 2015 16:20:19 +0900

※この記事は次のブログを翻訳したものになります。

Elasticsearch 2.0 + Kibana 4.2 = 💚 Elasticsearch 2.0サポートのKibanaの最初のリリースです。これが何を意味するでしょう？速さ、安定さ、新しい機能。試してみたい方は、いますぐダウンロードしてください。そうでない方は、Kibana 4.2の楽しい機能について読んでみてください。

暗黒面は怖い？

そんなことありません。私たちは常にチャートチャートとダッシュボードを組み立てている組み立てている間は明るいバックグラウンドを使うことを推奨してきましたが、時々、巨大なスクリーンで暗い部屋で誰も明るい画面から目を背けないようにしたいでしょう。その影響を小さくするためにダークモードを導入しました。あなたは、NOCや天文台、その他の暗い場所でKibanaのダッシュボードを楽しむことができます。

画像あり。 ※画像に関しては原文をご覧ください。

地図のカスタマイズ

Kibanaの地図は素晴らしいですが、もっと多くのオプションが望まれていると聞きました。もし地図に関して知識があるなら、Kibana 4.2のWMSバックグラウンド地図サポートを試してみてください。 WMSは非常に強力で、US Geological Surveyを含む多くの無料サービスがあります。 http://viewer.nationalmap.gov/example/services/serviceList.html

画像あり。 ※画像に関しては原文をご覧ください。

シナリオは？

何かおかしい時、何が起こっているかを正しく知ってもらいたいので、Kibanaがそのタイミングで注目したいコンポーネントがあるなら、どのように動いているかという概要を知るためのサーバステータスページを作りました。もちろん、全てがOKであるというのを知りたいだけの場合でも、settingメニューのStatusタブからいつでも呼び出せます。

画像あり。 ※画像に関しては原文をご覧ください。

全てにおいて速く

ブラウザリフレッシュはKibana 4.2の新しいコードビルディングシステムのおかげで、さらに早くなりました。また、メモリを覚えてます？~~Pepperidge Farm~~Kibanaが覚えています。

Kibana 4.2は小さな小さな小さなメモリフットプリントを管理している間、長い長い長い時間実行されているダッシュボードを見ることができるような

大きなメモリのクリーンアップも含んでいます。

もっとありますが。。。

小さな微調整がいくつもあります。また、今後紹介する本当に刺激的なものの基礎を気づき上げてきました。これからもElasticのブログ、Twitter、KibanaのGitHubリポジトリに注目し、~~モンスタートラック~~アナリティクスの瞬間に立ち会ってください。

Logstash 2.0.0リリース（日本語訳）

Thu, 29 Oct 2015 16:19:57 +0900

※この記事は次のブログを翻訳したものになります。

原文：Logstash 2.0.0 released

Logstash 2.0.0が本日（10/28）リリースされました。このリリースはいくつかの設定に関する重要な変更があります。詳細については、changelogまたは、新しいbreaking changesドキュメントをご覧下さい。

これまでの2.0.0直前のリリースに関する変更点はこちらをご覧ください。

ここでは、2.0の主な変更点の概要を説明します。

Elasticsearch 2.0との互換性

多くの機能および改善を含んだElasticsearch 2.0がリリースされました。 Logstash 2.0はこのリリースに対応しています。 Logstashのこれまでのリリースでは、デフォルトで、Javaの node clientをElasticsearchとの通信として使用してきました。 2.0では、HTTPクライアントがデフォルトになります。これにより、シームレスにユーザのデータを取り込み、付加価値をつけ、Elasticsearchに保存して解析することができます。

HTTPは他のプロトコル（nodeやtransport）同等の機能を持っていますが、単一のクライアントに接続する時に、少しだけ遅いですが、管理や動作がより簡単です。 HTTPプロトコルを使うことで、Elasticsearchのバージョンのアップグレードが、Logstashのアップグレードすることなく行うことができます。デフォルトをHTTPに変更したさらに詳しい情報についてはbeta1のブログをご覧ください。

他のプロトコル（nodeとtransport）もサポートしますが、これらを利用する場合には、プラグインを別途インストールする必要があります。

bin/plugin install --version 2.0.0 logstash-output-elasticsearch_java

互換性のマトリックス

LogstashとElasticsearchのバージョンの互換性は次のようになります。

画像あり。 ※画像に関しては原文をご覧ください。 #Image https://www.elastic.co/assets/bltde5b69e2164aa82f%2Fcompat_matrix.png

Shield 2.0との互換性

このリリースはShield 2.0リリースにも対応しています。 HTTPプロトコルで、追加のプラグインは必要ありません。こちらのドキュメントをご覧ください。 transportプロトコルでは、Shield 2.0対応のプラグインを個別にインストールする必要があります。

bin/plugin install --version 2.0.0 logstash-output-elasticsearch_java_shield

パフォーマンスの改善

このリリースはまた、多くの部分のパフォーマンスの改善を含んでおり、Logstashを利用してデータをより早く処理することができます。いくつかをここで説明します。

UserAgentとGeoIPフィルタ：これらのフィルタで、LRUキャッシュを追加して改善しています。これにより、IPとユーザエージェントがまとまって現れるというWebリクエストの特性を用いています。ユーザエージェントフィルタのケースでは、サンプルデータセットにおいて3.7倍ほど早くなりました。 GeoIPでは、1.69倍早くなっています。
JSONプロセシング：LogstashでJSONのsiriaraizu/でシリアライズに利用しているJrJacksonを新しいバージョンにしました。これにより、JSONの処理が改善されています。
フィルタワーカーのより良い値をデフォルトに：以前のリリースでは、filter_workersの設定は1がデフォルトでした。これは、フィルタの処理を行うワーカーが1つであるという意味です。 filter_workersの設定のデフォルト値はCPUコア数の半分の値を設定します。フィルタ実行の並列性が上がります。ですので、複雑なgrokパターンやuseragentフィルタの処理がにとっては重要です。

Filebeat Support

Filebeatのベータバージョンを先日リリースしました。これは、Logstash Forwarderの次期バージョンです。 Filebeatはファイルベースのログをさらに処理するためにLogstashに送るためのエージェントです。 2.0.0はlogstash-input-beatsプラグインを使えばFilebeat 1.0.0-beta4とすぐに動作します。

シャットダウン操作

これまでのLogstashでは、シャットダウンが開始した時に、例外の機構でシャットダウンが開始したことをプラグインに通知していました。この処理はサードパーティのコードを使ったプラグインで問題を起こしていました。 Logstashはどの例外を処理するか知らないため、予期しない動作をしていました。これを修正するためにAPI呼び出し（例えばstop）を各プラグインにシャットダウンのイベントを通知し、プラグイン自身がきちんと停止するようにしました。これは、200以上のプラグインに新しいAPIを利用するように修正しないといけないことを意味しました。しかし、Logstashの停止についてはまだ完全にはフィックスしていません。とちゅうでおわっているoutputがシャットダウンを遅らせる可能性があるからです。 2.0でAPIの破壊的な変更は適切なリリースでの変更を繰り返すことができる出発点です。

プラグインの開発者へ：もし、Logstash　1.5のプラグインを開発しているなら、シャットダウンに関する新しいAPIのリストに関するbreaking changesのドキュメントに助言をください。また、example inputリポジトリにて、新しいシャットダウンメカニズムの使い方のサンプルコードを提供しています。

ドキュメント

2.0に更新されたドキュメントはこちらです。設定の変更についてもこちらをご覧ください。

2.0へのアップデート

2.0へアップデートする前に、アップデートガイドもご覧ください。

フィードバック

2.0のリリースできたことに、多くのコントリビューター、ユーザに感謝しています。このリリースに含まれている多くのパッチと全てのプレリリースのテストにも感謝しています。将来の修正やリリースなどについてはロードマップをご覧ください。 2.0は今日リリースされました。ご意見ご感想はWebフォーラムで！

#elasticon に参加中

Wed, 11 Mar 2015 16:46:31 +0900

サンフランシスコからこんにちは。

今、私は、弊社初のユーザカンファレンスelastic{ON}に参加するために、初のアメリカ出張中です。初のユーザカンファレンスですが、世界各国から約1300人！の登録がありました。

本日が初日（Welcome Receptionが昨晩開催されましたが）です。初日のキーノートで重要な発表が2つありました。

ブランド名の変更（Elastic: For - You Know, More Than Search）
Found.noの加入（Welcome Found）

です。

昨日までは、elasticsearchでした。本日からは、elasticになります。ブランド名の変更と同時にサイト、ロゴなども変更されました。

もう一つのビッグニュースがFoundの加入です。 found.noはElasticsearchをクラウドサービスとして提供している会社です。彼らがジョインすることで、elasticsearchをより気軽に利用できるような環境ができてきます。

Keynoteでの驚きのニュースこれらでした。もちろん、このカンファレンスはそれだけには止まりません。

NetflixやGitHub、Verison Mobile、WikimediaといったElasticsearch,ELKスタックのユーザの話や、弊社の人たちによる今後のロードマップや私たちの考え方など多岐にわたる話を聞くことができます。

このような機会を今後も提供できるような会社になれるよう、頑張っていきたいなと思っています。

ちなみに、弊社のカンファレンスは私がこれまで経験したことのないカンファレンスになっています。 DJや各種ゲーム（ビリヤードとかパックマンとか）が楽しめるようなパーティが懇親会として開催されたり、スポンサーブースでウェルカムレセプションが行われたりと、面白い取り組みにあふれています。次回開催されることがあれば、ぜひ日本の方達にも参加してもらえたらうれしいなと。

ウエルカムFound

Wed, 11 Mar 2015 08:02:18 +0900

※この記事は次のブログを翻訳したものになります。

原文：Welcome Found

Author : Shay Banon

Elasticsearchの初期から、検索が多くの異なるユースケースを満たす多目的のプラットフォームであることを熟知していました。それを開始した初期の頃と、検索に関する会社を開始したころから、私たちはそのことを実現することに投資していました。

私たちはただのElasticsearchでは止まりません。過去の数年の間に、私たちは多くの人気のあるプログラミング言語のクラアイアンとを開発しました。ユーザがデータを可視化し、探索することができるようにするために、 Kibanaを受け入れ開発してきました。 Lostashにより大量の時系列データを処理してElasticsearchに集中させることができるようになります。 Elasticsearch for Apache HadoopはHadooと多くのエコシステムをネイティブに統合できるようにします。