りまりま団員のもふもふです。
この記事はElasticsearch Advent Calendar 2017の15日目の記事です。
まあそんな技術記事って感じでもないし、個人ブログからお送りいたします。
Elasticビギナーズのもふちゃん、Elastic{on}Tour Tokyoに突入する
タイトルにもある通り、Elastic{on}Tour Tokyoに、ねこのにゃおにゃおと行ってきました。
なんで同人誌サークルのひとがカンファレンスに突撃してるのかって?
次の即売会のタイミングで、Elastic Stack6の同人誌出したいからですよ。
公式様の発表はちゃんと抑えといて、推しポイントを網羅した同人誌書きたいじゃん?オタクは推しに課金するのだ。
ってことで、参加レポート + 感想を書きたいと思います。
グラレコも頑張ったからみてくれよな!ってか、内容はグラレコをみて!
カンファレンス開始前
場所は虎ノ門ヒルズにあるフォーラム会場でした。トラえもんで有名ですな。
駅から遠くて迷いそうだったからと家をでたら、早く着きすぎました。
#elasricon にきたねこちゃん
— もふもふ (@froakie0021) 2017年12月14日
「ちょっと来るの早すぎたんじゃない?」
…いや、道に迷うかなと思ったんだけど迷わなかった pic.twitter.com/VyRCHHN6m9
間に合って満足した
— もふもふ (@froakie0021) 2017年12月14日
あ、クッキー美味しかったです!ごちそうさまでしたー!
ドーナツがある #elasricon
— もふもふ (@froakie0021) 2017年12月14日
会場に入ったらElastic社の大谷さんと大輪さんに声をかけていただきました。1
ただの同人サークルを覚えてもらってて、本当にありがたやです。ありがたい!
@johtani さんに声をかけてもらってびびるなど #elasticon
— もふもふ (@froakie0021) 2017年12月14日
基調講演
日本法人のマネージャーである、Jun Fujitaさんの講演から始まりました。 日本法人は2014年設立で、3年で100社以上と取引してると発表がありました。 1年で30社超のペースでお客さんが増えてるってことですね。やば。
今は11人チームで日本法人を運営しているとのこと。え、1人10社持ちですね。 ちょっと大変そう…。基本的な疑問や知識はりまりま団の同人誌からもお送りしていきたいので、 法人の方には踏み込んだ内容の対応をしてもらいたいですねー。
で、Elastic社CEOのShay Banonさんの基調講演の内容ですが、各Elasric Stackの役割をおさらいしつつ、6系で目指すビジョンについてお話してもらいました。
Elastic Cloud Enterpriseの監視UI、Datadog感あるー #elasticon
— もふもふ (@froakie0021) 2017年12月14日
Securityに力を入れてきているみたいですねー。Slack社のセキュリティホール解消のため、Auditbeatなどを使用しデータをElasticsearchにストア・分析する話が印象的でした。
あと、「日本ではfluentdコミュニティあついよねー」って話があったのがよかった。競合を完全に排除しない姿勢、すきですぞ〜。
基調講演でした、同時通訳で最初混乱したので色々と申し訳ないクオリティ #elasticon pic.twitter.com/VuUGkvlfzv
— もふもふ (@froakie0021) 2017年12月14日
Elasticsearch Deep Dive
この配分ミスりました感、超恥ずかしいんですけど。
Elasticsearchは5系から大幅な機能改善を行い、安全性や操作の利便性をアップさせてきました。が、6系でさらに機能改修を行ってますよ!データの持ち方の変更(空いているカラム内のデータは圧縮するっぽいですね、ドキュメントよも)により、約6割のデータ削減が可能になりました。はーこれは移行せざるを得ないな。
5.6と6系のclusterを混合運用(新しいデータは6系に)して、データが古くなったら5.6のclusterを削除すれば良いって天才的な発想じゃん #elasticon
— もふもふ (@froakie0021) 2017年12月14日
同人マンは試せないけど、5.6系と6系のクラスターを同時に稼働させ、新規データは6系のクラスターに投入しつつ運用するのはいいなーと思いました。すげーな。誰か本書いてや。
@johtaniさんのElasticsearchに関する講演でした、6系すげー! #elasticon pic.twitter.com/4h4Zhm8sQm
— もふもふ (@froakie0021) 2017年12月14日
Ingest and the Elastic Stack
Logstash・Beatsの話でした。
Packetbeat Modules、監視用途でもSecurity用途でもアプリのトラフィック解析用途でも役立ちそ #elasticon
— もふもふ (@froakie0021) 2017年12月14日
あー文字のグラフ、アクセス元をGeoIPから抜いて表記するだけじゃなく、どんなプロトコル通信してるかを表示するのでも使えんのか〜 #elasticon
— もふもふ (@froakie0021) 2017年12月14日
もう自分でポチポチする時代は終わったな🙂(でも設定方法はわかっといたほうが良いと思うけど) #elasticon
— もふもふ (@froakie0021) 2017年12月14日
Modulesが便利だなーと思いました。あと、昔よりもかなり運用しやすくなっている印象です。デモでMetricbeats Modulesを稼働させると、Elasticsearchに接続してKibanaのDashboardまでセットアップしてもらえます。実際に見ると「あっ神だな」って思います。そのくらい起動がはやい!サーバースペックはどんな感じなのかきになる。
LogstashのpipelineをKibanaで表示できるようにしたのは、やっぱMultiple pipelineと一緒につかってやーってことなのかなー #elasticon
— もふもふ (@froakie0021) 2017年12月14日
可視化できると、スキルにばらつきがある人と一緒にやるときや引き継ぐときに意思疎通できるもんなー #elasticon
— もふもふ (@froakie0021) 2017年12月14日
X-Pack(Gold)が必要ですが、Logstash pipelineを使ってpipelineの処理を可視化できるのも良いなと思いました。コンフィグに慣れていない人や、処理内容の確認を複数人で確認する場合はGUIがあると便利ですよね。Multiple pipeline(設定によるプロセスの分離)は6系からの基本機能なので、それだけでも試す価値はあると思いますよ。
そんでAaronさんがAtom使ってるのになぞの親近感😊 #elasticon
— もふもふ (@froakie0021) 2017年12月14日
LogstashとBeatsについてでした、Modulesは神 #elasticon pic.twitter.com/6x4udHQi0s
— もふもふ (@froakie0021) 2017年12月14日
Kibana Deep Dive
Kosho Owaさんがデモを交えつつ、Kibanaの新機能を中心に紹介していくセッションでした。 KibanaはElastic Stackの入り口として使ってもらう(Elasticsearchのデータを可視化するだけではない)っていうコンセプトが面白いなあと思いました。Logstashとの連携を強化しているところからも、方針が読み取れますね。
なんでー6系でー色をー変えたんでしょうかー #elasticon
— もふもふ (@froakie0021) 2017年12月14日
あー、赤系は見えづらい方がいるから、そういう方でもちゃんと見えるようにしたのか!世界平和じゃん #elasticon
— もふもふ (@froakie0021) 2017年12月14日
あと、色覚異常の方に配慮してUIの色を変更したのがすごく良いなあと思いました。誰でもElastic Stackを使って欲しい!っていう気持ちが伝わってきます。PowerPointやKeynoteのようにプレゼンができるCanvasを展開していくためには、ユーザーフレンドリである必要があるんだろうなーと思いました。
Kibanaの話でした、でも多めで嬉しい #elasticon pic.twitter.com/fNHjsDSlqM
— もふもふ (@froakie0021) 2017年12月14日
ランチ (ネットワーキング&デモ展示)
今半って高いとこの焼肉屋さんなんですかね、お弁当美味しかったですぞ〜。
人の弁当をとるな pic.twitter.com/rvyXpsqm33
— もふもふ (@froakie0021) 2017年12月14日
これがやりたかっただけ
15分でお届けするElastic Stack on Azure設計・構築ノウハウ
Azureの宣伝だった!この話おわり!2
Machine Learning Deep Dive
Machine Learningで検知できるのは今までとは違うデータ/突出して違うデータ #elasticon
— もふもふ (@froakie0021) 2017年12月14日
処理量が多くてメモリ食いそうだけど、どういうスペックのサーバーで運用するんだろ、積み積みなのかな? #elasticon
— もふもふ (@froakie0021) 2017年12月14日
同人マンは使えないMachine Learning(X-Pack Platinumじゃないと使えない)。今までのデータから大きく外れているデータを検知して、お知らせしてくれる機能なのだ!Security系やアプリ監視で強みになりそうですね。
データは常に変化するので、毎度閾値をセットするのは大変だよねって話にわかりみを感じました。自社運用ならまだいいけど、他の企業にパッケージとして導入してもらったらもうメンテできないもんなー、自分でメンテできた方がいいんだろうけど。
機械学習でしたー!サーバースペックが気になリーリエ #elasticon pic.twitter.com/T3pszcnTUi
— もふもふ (@froakie0021) 2017年12月14日
Elastic Cloud Deep Dive
そうかーAWSとGCPをまたいで運用できるのがElastic Cloudのいいとこだなー #elasticon
— もふもふ (@froakie0021) 2017年12月14日
あー大量クラスター運用はElastic Cloudに任せてしまった方が良いのなー、切り戻しも楽そう #elasticon
— もふもふ (@froakie0021) 2017年12月14日
😊proxyを通して、どこのAllocatorにデータを格納するか決める、おもしろ #elasticon
— もふもふ (@froakie0021) 2017年12月14日
設計方針はAWSと一緒で、クラスター分散とリージョン分散は必須&リカバリテストはちゃんとやる。っていうのが基本ですね。AWSとGCPどちらもElastic Cloudの基盤として使えるのはすごい強みですよねー。大規模構成で運用するときは、大人しくCloudを利用した方が運用も楽ってことだ。
UIがめちゃめちゃシンプルでみやすいのも良いところだと思いました。
Cloudの話でしたー!考え方はAWSとあんまし変わんない気がする #elasticon pic.twitter.com/TaDoc0GG1l
— もふもふ (@froakie0021) 2017年12月14日
企業事例紹介
聞いた、聞いたんだけど…気力の限界でグラレコは取らなかったです…申し訳ないなー。もう目がシワシワでな…、すまんな。
どれも大規模構成な事例の紹介で、こうなってくると「いかに運用負荷を減らすか」って話になりますよね。そうするとElastic Stackに全て寄せて、サポートも技術要素も1本に絞るようになるんだろうなと思います。色々と技術要素が混合していると学習コストも運用負荷も高いからな…。
今後、このような流れはさらに加速しそうです。
LINE Infra Security Log Platform And Analysis
LINEってラにアクセントなの?知らなかった!インにアクセントだと思ってました。また一つ賢くなった。
機械学習ってみんな言うけど、ちゃんと数学ができないとぜってー効果的にできないやつ、って #elasticon 聞いてて思った
— もふもふ (@froakie0021) 2017年12月14日
これからの時代はCloudサービスに乗っかって、運用範囲を小さくもつ・でも内容は自分で握るっていうのが主流になりそ #elasticon
— もふもふ (@froakie0021) 2017年12月14日
大規模Clusterで運用するの大変だ…、っていうのが1番の感想です。どうやってindex設計をしたのかすごく気になった。Logstashもロギングとパースでサーバーを別にして運用してるって超大規模ですよね。運用お疲れ様です。こうなると自動化ってめっちゃ求められますよね。
決済サービスの監視を支えるElastic Stack
先週の Elastic{ON} TOUR Tokyo 2017 の発表資料です。
— Suzuki Junya (@suzukij) 2017年12月17日
"決済サービスの監視を支えるElastic Stack" というタイトルでお話させていただきました。https://t.co/ysnkb8uqtg
#elasticon
これまた大規模な決済サービスの監視をいかにやるかって話でした。RDBのトランザクションデータをinput JDBCで取るっていうよくある流れだけど、情報量が桁違いなんだろうなーと思います。
Simple is Bestかつ、単純なルールで運用しているのがユーザーフレンドリってやつ #elasticon
— もふもふ (@froakie0021) 2017年12月14日
Kibanaのログイン操作が面倒、あーそういう人もいるのか!なるほど! #elasticon
— もふもふ (@froakie0021) 2017年12月14日
しかも社内ユーザーがグラフを作るようになるという神みたいな事例
— もふもふ (@froakie0021) 2017年12月14日
KibanaのUIはみやすいのもウリですが、それを活かすためにかなりシンプルなVisualizeになっていました。ゴテゴテしてると運用する人、大変ですもんねー。簡単な基準とルールでDashboardを運用するのはいい方法かも。ユーザーフレンドリな姿勢が発表にも溢れてて、これはユーザー側でちゃんと運用してますわーって思いました。神事例かな?
あと、KibanaのDashboardをスマホでみたい!っていうのは考えもしなかったので面白かった!JenkinsとSeleniumでキャプチャでとって、Slack連携してるんだとか。これはいい知見なのでは?もう同人誌書くべきなのでは?
うわー絶対実力あるエンジニアが揃ってそうと感じられる良い発表でした 😀#elasticon
— もふもふ (@froakie0021) 2017年12月14日
VELTRA: 日・英・中、問い合わせ仕分け業務の自動化と、CS 戦略分析基盤を Elastic Stackで実現
I just published “Elastic{ON} Tour Tokyo 2017 で登壇してきました” #elasticon #veltra https://t.co/YtaaFZIzdf
— Kunihiko Kido (@9215) 2017年12月18日
この会社初めて知った!旅行系サービスなんですねー。
カスタマーサービスを拡大するときにデータ基盤が複雑化して大変だったから、Elastic Stackを使ってデータの活用を行うって話でした。ちょっと会社紹介の要素強めだったかも。
Kibanaで問い合わせ情報を管理するのが面白いですね。何回のオペレーションが発生したかが可視化されると、仕事配分も楽になりそうです。やっぱりそこでもシンプルなグラフが求められるんだなーと思いました。考え事するときは、なるべく情報少ない方がいいってことですな。
非エンジニアが自立して操作できるってのがKibanaの強み #elasticon
— もふもふ (@froakie0021) 2017年12月14日
スポンサーブース
スポンサーブースにも行ってみましたよ。内容がないようですが、感想をどうぞ。
Microsoft
カンファレンスでも話していたのと同様に、on AzureでElastic Stackを構築・運用する宣伝でした。あ、そうそう、アンケートに答えるとAndroidかiPhone用のUSBケーブル貰えました。ただ、休憩時間中に席を回ってアンケートをお願いして回ってたのをみて「必死だな(色々と)…」って思いました。
Acroquest
Kibana Canvasのデモをしてたので見てきました。パワポかなーって思ったら、画面右下にKibanaのUIが組み込んであるというサプライズ。でも日本語入力対応が難しくて、文字は画像貼り付けで対応したんだそうです。しばらくは英語対応だろうなー。
富士通
Elastic Stackをセキュリティ特化型のソリューションに改修してパッケージ化したものの宣伝でした。デモがあったらよかったなー。
AMA
AMA(Ask Me Anything)コーナーでは、Elasticのエンジニアの方に直接質問ができます。 もふちゃんも質問委託を受けてたので、AMAに突撃してきました。ひえーーーーー、作った人をみたぞ!みた!すげーーーー!
その他
カンファレンスの感想
なんかElastic Stackの導入は監視・セキュリティ用途推しなのかなあという印象を受けたカンファレンスでした。デモ展示もセキュリティ用途でKibanaを使っていたし…。
検索エンジンとしてのElasticsearchは導入事例が増えてきたから、こんどはStackで使ってもらいたいのかなあーと思いました3。
あと、操作は全てKibanaに寄せて、GUIメインでElastic Stackの設定をしていく方向に切り替える方針のように感じました。Elasticsearchも、Logstashも、Kibanaの運用もKibanaで設定できるようになってきたので。
全体的にかなりユーザーフレンドリな操作になっていて、すごく嬉しいですー!はーこれは次の技術書典が開催されるんだったら、絶対6系の本を書いて持っていきたいやつ!今度はElasticsearchのindex系の話もちょっと盛り込んで!X-Pack Basicも入れて!4でも同人マンはデータセットの準備が大変なんですよねー。なに、どうでもいいって5?
そういえば、同時通訳はすげー!便利!だったけど、もふちゃんは同時に音声が2つ以上流れてくるとわけワカメになることが判明し、開始3分で使うのをやめてしまった…。はーあ、翻訳こんにゃくたべたいな。
他のレポートも合わせてどうぞ
というわけで、もふちゃんが送るElastic{on}Tour Tokyoレポートはおしまいです。駄文にお付き合いいただきありがとうございました。この後のカレンダーも楽しみだね!
最後に、他の人がレポートブログ書いたのを見つけ次第、ここに貼り付けますね。まあ、なんて親切なんでしょう!(自画自賛してないで原稿をやれ)ちなみにTwitterのハッシュタグは#elasticon
なので見たらいいですよ。
ブログ系
Togetterまとめ
いまのきもち pic.twitter.com/Y4fvYHbyjJ
— もふもふ (@froakie0021) 2017年12月14日
-
なんでMicrosoftがいるんだろ、とかぼーっと考えてたら大谷さんに呼ばれたのでびびった。ってか声かけられるとは思ってなくておどろいたー。↩
-
だってー個人で使うにはMoneyが足りないんだもん。5000兆円欲しい。↩
-
でもElasticsearchのindex設計するとき、サーバースペックやドキュメント量からの見積もり方法ってあまり知見がでてない気がする…、するだけ?なんか良い知見があるならしりたいもふ。↩
-
ねこちゃんからの「原稿やれオーラ」をまーた感じる羽目になるやつ↩
-
なんか知見が少なくて困る&本になってるとありがたみがあるトピックはなにかなー、誰かなんかあります?ないです?あったらTwitterで教えて欲しい…。↩