elastic stack

Elastic Stack 7.7がリリースされた

Posted by johtani on Friday, May 15, 2020

目次

ElasticのWorkplace Searchを触ってみています(その1、その2)が、Elastic Stackの7.7.0がリリースされてしまいました。

簡単ですが、リリースブログを見ながら気になった点をメモしとこうかと。

本家のリリースブログ

いっぱいあるんですよ、これが。まぁ、内容かぶってるのもあるんですが。

Elastic Stack

Enterprise Search系

Observability系

個人的に気になったもの

で、全部読んだわけではないのですが、個人的に気になった機能についてメモを残しておきます。 多分に検索によっている可能性がありますが、お気になさらず。 また、ブログとドキュメントを元に気になるところをピックアップしてます。 実際の実装とか動作に関してはまだ未調査の段階です。

Async Search - Elasticsearch

ElasticsearchのAPIとして非同期に検索できるAPIが実装されました (公式リファレンス)。 大量データを検索が終了してから検索結果を返すのではなく、クエリは実行しつつわかったところまでは都度取得したいという要望だったり、Coldインデックスのように遅いストレージ上にあるデータへの検索でも少しずつ取得できるようにという具合だと思います。ログとか大量に扱う場合にまぁ、ほしいですよね。今回はEsのリリースがメインで、今後はKibanaなどとの連携だったり色々改善していくよという話みたいです(Kibanaの一部の機能は利用しているみたい)。

ライセンスとサブスクリプションのレベル

  • Elastic License
  • Basic

気になるところ(と、予想とか)

  • 仕組みがどうなっているか?
    • Search APIと同等のリクエストパラメータが使える。が、いくつか制約はありそう
    • おそらくTask Manageerで検索してる処理が管理され、レスポンスにはIDが発行されて、そのIDで処理の進み具合を取得する感じ。
  • Shard単位?Segment単位?
    • 内部的にはShard単位で検索処理を扱ってるので、Shard単位がとりあえず楽そう?
  • Aggsとかも?
  • Sortは?
    • 有効。ソートのフィールドがインデックス対象だった場合は、そのデータの統計値を使ってShardをソートするっぽい(公式リファレンスのNOTE参照)

関連しそうなGitHubのIssuesとか

まだ読んでない

Reduced consumption of heap - Elasticsearch

ヒープの使用量が7.7で減ってるよというブログも別途ありました。

元になっているLuceneの実装に関するIssueが「［LUCENE-8635］ Lazy loading Lucene FST offheap using mmap - ASF JIRA」です。ヒープ上に展開していたデータをmmapで扱えるようにすることで、ヒープのメモリを削減してる。

で関連して、これがLuceneで操作できるようになって(「Use reader attributes to control term dict memory useage by s1monw · Pull Request #42838 · elastic/elasticsearch」)、そこからEsに取り込まれたと。

_idをoff-heapにする話は[ここ](Move the terms index of _id off-heap. by jpountz · Pull Request #52405 · elastic/elasticsearch)にあった。

これに関連して、ヒープサイズの推奨について再考が必要かも?というIssue(Reconsider our recommendations for heap size? · Issue #52561 · elastic/elasticsearch)も上がってる。

Painless Lab - Kibana

ほんとにPainless?と言う話はさておき、_script APIでexecuteはできていましたが、やはりもう少し楽に実行したいですよね?ということで画面ができたみたいです。

シンタックスハイライトとかもできるので、より簡単に使えるようになってますね。 まだ、ベータなので足りないContextとかもあるっぽいけど。

ライセンスとサブスクリプションのレベル

  • Elastic License
  • Basic?

まだベータだからか、サブスクリプションのページにはなかった。 公式ドキュメントとGitHubのリポジトリから、Elastic Licenseであることは判明。

気になるところ(と、予想とか?)

  • 制限事項がどんなものか?
    • 使えるContextがまだ少ない?まだGAではない
  • サジェストがどのくらい効くのか?

その他Elasticsearch関連

7.7リリースのハイライトが別途用意されています。

こっちで気になるのは、ClassificationとかTransformsあたりかなぁ。ML関連の機能で。

Workplace Search GA

これは別のブログに書くかな。

気になるところ

  • Betaと何が変わったのか?
  • APIとかどういう形で提供されるのか?そもそも提供されるのか?

どんな機能?みたいなのも書く予定です。

Data VisualizerでFilebeatのConfigをサジェスト - Kibana and Filebeat

Kibanaの画面からデータをちょっと?(100MB)だけアップロードして、Elasticsearchにサクッとデータ登録できる機能が実はあります。この機能の拡張として、Filebeatの設定だとこんな感じに作れるよ?というのを提示してくれるようになったみたいです。 手元にあるファイルを定期的に読み込むときに、設定を書く下地ができるのは便利じゃないかな?

ライセンスとサブスクリプションのレベル

  • Elastic License
  • Basic

Data Visualizerってどんなもの?というのはここにブログがあります。残念ながらKibanaとかの公式リファレンスには使い方のページがないんだよなぁ。

APMのサービスマップ - APM and Kibana

アプリケーションアーキテクチャのどこでAPMが動作しているか、どこと通信しているかという、APMのエージェントが入っているアプリ間のつながりをKibana上で可視化できる機能っぽいです。まだ、ベータみたいですが、面白そう。Azure Application Insightのアプリケーションマップに似てる気がします。

ライセンスとサブスクリプションのレベル

  • Elastic License
  • Platinum

気になるところ

  • どうやって作ってる(つながりをどうやて判断してる)のか?
    • 分散トレーシングのデータを元に誰がどこと通信してるってのは取れるんじゃなかろうか?

Log categorization and contextual examples - Kibana and Elasticsearch

7.6から入ってたっぽいですが、ログの分類をMLの機能を使ってできるものが、LogsのUIとかでさらに使いやすくなった模様。

ライセンスとサブスクリプションのレベル

  • Elastic License
  • Platinum

気になるところ

  • 7.6の機能から追いかけないとなぁ。。。
    • 似たようなログをカテゴリーごとに分析できるようになるので、プラスMLの仕組みでこれまでとは異なる種類のログが出始めたみたいなことが分析できそう。

まとめ

眺めるだけで時間かかりましたが、まぁ、相変わらずいっぱいありますね。 興味のあるところの濃淡が出た感じになりましたが、気になる点をピックアップしてみました。 おかしなところとか、ここはどういう意味?などあればツッコミお願いします。

comments powered by Disqus

See Also by Hugo

Related by prelims-cli

FEATURED TAGS
aws azure search berlin buzzwords bot cloudera cloudera search conference curator dev container diyキーボード elastic elasticsearch fluentd hadoop hugo java kibana kuromoji logstash lucene lucene-gosen manifoldcf marvel misc morphlines music nlp100 octopress opensearch paper plugin python riak rust rust-the-book search shield solr visual studio code wikipedia windows workplace search yokozuna zipkin オライリー ブログ 備忘録 勉強会 振り返り 本 検索 読書 転職