第19回elasticsearch勉強会に行きました

www.meetup.com

こちらの勉強会に参加したときのメモです。
Elastic{ON}のFBをメインにしつつ、Elstic Stackの新機能紹介の会でした。

話聞きながらメモ取ってたので、間違ってるところがあれば教えてもらえると助かります。

大谷さんの話

Elastic{ON}の特徴

  • Ask me anythingコーナーがメイン
    Elastic Stackの開発者が1箇所に集まっているので、自由に質問することができます。 リストを持参して質問している人もいたとか。

  • カンファレンスのご飯が美味しい
    会場の向かいに駐車場があり、ケータリングがやってくるので好きなものを食べられコーナーです。いいなあ。
    これに関しては企業ブログとかTwitterのハッシュタグで追いかけていただくといいと思います。

  • Cause Awards
    Elastic Stackを用いて社会貢献しているプロジェクトを紹介するコーナーがkeynote内にありました。 犯罪防止への取り組み方法などを紹介していたようです。

新機能の紹介

センサーの可視化

はじめにセンサーデータをKibanaで可視化したユースケースの紹介動画を見せていただきました。
バレエダンサーの体につけたセンサーデータをKibanaグラフでリアルタイムに可視化したのが売りらしい。あまり用途がよくわからなかったけどなんかすごかったです。

コミュニティ数

コミュニティ数は世界に8500ほどあるようです。
ダウンロード数もそこそこ。日本からのダウンロード数もそこそこ。

決してダウンロード数を聞き逃したとかいうわけではない

UPDATE情報

KibanaとBeatsの機能拡張をメインにしつつ、ElasticsearchとLogstashもちょこちょこUPDATEがあるよ、という印象を受けました。 日本だと"検索エンジンとしてのElasticsearch"利用が多い感あるのでどのくらい受けるのかは未知数だなと思いました。

range型の登場

データを保存するときにrangeも保存することで、データの検索時に重複しているのかなどを考慮する必要がなくなります。
「何時から何時まで」みたいなデータを取得するときに便利です。

TileMapサービスの拡張

X-Pack(無償版もあるで)を入れるとズームレベルを10まで上げることができます。
X-Packは無償版もあるんですね。有償版だけかと思ってた。

Beatsの拡張

BeatsはGo言語で書かれている軽量パッケージです。まだあまり使っている人は少なそうですね。
新登場のHeartbeatとファイル取り込みができるFilebeatの機能拡張について紹介がありました。

  • Heartbeat
    pingを打ってサーバなどの死活監視ができます。
  • Filebeat Modules
    よくあるファイル種別(Apacheのaccess.logとか)であれば、Modulesの設定をするだけでファイルデータを自動でパース・KibanaのDashboardも自動で生成できる機能が追加となるようです。

Elasticsearch ingest

elasticsearchのindex内にデータを格納する前に処理を追記できる機能。
こちらを利用することで、Filebeat Modulesの機能を実現している。

KibanaグラフのVisual Builder

KibanaやTimelionのビジュアル(グラフ)を簡単に描くことができる機能を提供している。

機械学習への参入

データの波形を元に正常系を学習し、もし基準値から外れた場合は異常検知してくれるツールです。 Elastic Stack5.4からの登場だそうで。
30日間無料なので試してみるのは面白そうです。

Elastic Cloud Enterprise

Elastic Stackの基盤を提供するサービスです。AWSと似ていますね。
大規模クラスター運用したい、とか

今後の構想

Elasticsearchに対してSQL検索できる

待ってましたあ! Elasticsearchに対してSQLのクエリを投げて検索できるようになります。標準SQLのみの対応予定だそうです。いいことだ。
ついでに悪しきwhere句でのテーブル結合も未対応にしといてくれるといいなあ。 まずはSelect文を中心に開発を行うようです。Elasticsearchの中にSQLを解釈するエンジンを組み込む予定なので、JDBC接続とはちょっと違うようです。
まだ開発中ですが、X-Packに組み込まれる予定だそう。

Kibana Canvas

Kibanaの画面上でインフォグラフィック的なグラフを作成することができるようになります。公式の動画とか見た方が雰囲気わかると思います。
データ分析をした結果をプレゼンテーションするときにPowerPointなどにグラフを描くのではなく、Kibana上でElasticsearch内のデータを表示しながら話をすることができるようになるかもしれません。

これはElastic{ON}当日にハッシュタグに張り付いて見てたんですが、めっちゃ驚きましたねー。ブログ記事もちらほら見かけましたが、Elastic{ON}のYouTubeが1番イメージ掴みやすいと思います。

大谷さんがハッピーになるようにみんなYouTubeを見るんだ。

そのた

Elastic Stack5.3の情報とか先々の情報とかも紹介いただきました。

  • 将来Elastic Stack5系から6系にUPDATEする場合、ポーリングによるUPDATEを可能とする予定なんだそうです。サービス停止しなくていいのは嬉しい。
  • 日本語化
    ymlファイルなどに日本語で表示したい箇所の設定を記載し、テンプレートすることでKibanaの日本語表示を行うことができるようにする機能を実装予定だそうです。エンドユーザー向けにはいいかも。
  • Logstash設定のVisualize化
    Logstash設定をKibanaから行うことで、設定の記載を簡素化することができるようにする機能が登場予定だそうです。

全体的に新機能はBeatsとKibana UIの活用をメインとしているような感じに見えました。

LTコーナー

実際にカンファレンス参加された方の感想をLTとして紹介頂きました。

前原さんの話

Elasticsearch勉強会ですが、AndroidのTシャツを着用しての登場でした。なんでAndroid?
Elastic {ON}に参加したときの感想がメインだったと思います。

  • スポンサーに競合企業が多い
    確かに日本だとあまりない習慣ですよね。
  • ディスカッション多し
    みんなずっとディスカッションしてたそうです。技術的なことで議論できる人が近くにいるのはいいよなー。

白井さんの話

営業観点から見たElastic Stackのおすすめ新機能をランキング形式で紹介されていました。 実際は第3位からの発表でしたが、こんな感じのランキングでした。

  1. 機械学習
  2. Kibana Canvas
  3. Logstash設定のGUI化

自動検知は確かに便利そうですよね。

感想とか

会場のせいもあると思いますが、めっちゃ講義感ある勉強会でした。
ふつーの勉強会ってこういう感じなんですかね?