Developers Summit 2018 Summer(デブサミ2018夏)に参加してきました。
hatenaで4つめの記事は、デブサミ2018夏に行ってきたおはなしです!*1 *2
まずはブログの継続を目指して、参加報告程度に書いてみます...
書きかけですが、出さないとエネルギーが切れてしまうので、公開後も粛々と修正してまいります。
参加したセッション
午後遅れてからの参加のため、お話を聞けたのは3コマほど。
実は申し込みをすっかり忘れていたのですが、直接行けば当日申し込みができます。
また、受講セッションの事前の登録をしていなかったり別セッションを登録していた場合でも、当日列に並べばお話を伺うことができます。*3
Cassandra x Kubernetesによる大規模データ基盤の仕組みと苦労
- ブロードリーフ / 松本 宏紀さま
-
LoiLo / 杉山 浩二さま
当日のつぶやき
あんまりつぶやかないつもりでしたが、いくつかやはり「面白い!」と思ってつぶやきましたので、載せておきます。
また、スピーカーの方の資料は後ほど公式サイトでも公開されると思います。
現時点で拝見したものを載せておきます。
C-6 / Cassandra x Kubernetesによる大規模データ基盤の仕組みと苦労
立ち見で拝見になりましたので、ちょっとつぶやいたりメモは難しいかな...と思っていましたが、やはり引き込まれるものがありましたので、いくつかつぶやき。
コスト感。お金をかければ性能や機能はたしかに上がる。でも、そのコスト分はお客様に跳ね返る。
— たかのあきこ (@akiko_pusu) 2018年7月27日
堅いRDBでなくCassandraを採用。ただし扱いにくいので、目的に応じてデータ構造を工夫。すぐに見るものや後から見るもので切り分け。
過去の履歴はElasticSearchを使う。
繋ぎこみはkafka#devsumiC c-6
データストアのスケールアウトに対してアプリケーション側の性能が追いつかない。そこでk8sを使う。yamlで定義、冗長化やスペックの指定ができてapplyで適用可能。環境構築しやすい。コードで管理しやすい。リポジトリからCI経由でGCPのコンテナレジストリにイメージ登録される。#devsumiC
— たかのあきこ (@akiko_pusu) 2018年7月27日
applyって、terraformみたいなのかな(╹◡╹)
— たかのあきこ (@akiko_pusu) 2018年7月27日
監視にプロメテウス。(初めて知りました…)
— たかのあきこ (@akiko_pusu) 2018年7月27日
環境はスケールした!
次は人がスケールしないのが問題。ベストな解とは言えないけど、マイクロサービス的に考え、開発体制を変えていくこと。技術についてはコミュニケーションのあり方を変えて学んでいく。
ノウハウはベンダさんに公開。#devsumiC
まとめ。データを中心とした技術、体制、コミュニケーション。
— たかのあきこ (@akiko_pusu) 2018年7月27日
データを通してお客様に価値を届けるため、技術以外も工夫する。
技術はすぐに変わっていくからこそ、その変化を楽しく受け入れるのが大事。楽しさを見出せる人がエンジニアに向いてます。#devsumiC
入力めんどくさくてk8sって打ちましたすみませんすみません。。
— たかのあきこ (@akiko_pusu) 2018年7月27日
こちらもあとから補足してまいります!
B-7 / EdTechトップランナーに学ぶ!幸せに生きるための学び方
個人的には、タイトルから予想していなかった、でも非常に「楽しい」お話でした。
「楽しかった」「面白かった」ではない気づき、まとめをしてね...と杉山さんはおっしゃっていたのですが、そこはご容赦を。
ここでは座れたためメモ書きモードにしましたので、つぶやきは少なめ。
セッション中にワークがありましたので、その課題の提出をつぶやいてます。
たのしい! #devsumiB
— たかのあきこ (@akiko_pusu) 2018年7月27日
提出!#devsumiB pic.twitter.com/PVOr4ZINTM
— たかのあきこ (@akiko_pusu) 2018年7月27日
振り返りも提出!
— たかのあきこ (@akiko_pusu) 2018年7月27日
ありがとうございました!#devsumiB pic.twitter.com/hL3iGDhNF6
暗く写ってしまいましたが、セッション中のワークでした。
— たかのあきこ (@akiko_pusu) 2018年7月27日
ロイロノート、面白い!
資料はスクラップボックスでした(╹◡╹)
役になりきって学ぶのも楽しそうですねー。#devsumiB 杉山さま
こちらのセッションは、もう少し掘り下げて記事を書きたいと思います。
それくらい楽しめた、わたしも使ってみたいと思えたお話でした!
C-8 / データと戦うエンジニアLT!
データを扱う部門にはいたのですが数学できず、機械学習系は耳にするキーワード全てが理解が追いつかないので敬遠してしまうのですが、LTということで楽しみに参加しました。
案の定、言葉を拾うだけで精一杯で、通しでお話を聞きつつ脳内でまとめて140字で投稿、という感じでした。
ただし、直面している課題、背景といったものをみなさん提示してくださっていましたので、「ああこれあるある!」「これ困るよね」といった共通の課題認識を踏まえてお話を聞けたことは、大変助かりました。
LT1: 世界初!Go言語とMySQL UDFで実現する超高速データ前処理/分析基盤】田野口さま
医療介護系データベースサービスのSCUEL。ただ今LTを伺ってます。
— たかのあきこ (@akiko_pusu) 2018年7月27日
市町村、病院のデータ集積は、記述のゆれや列の間違いなど一筋縄ではいかない。
MySQL UDF、Go-UDFでデータの正規化に取り組んでいる例。
機械学習に食べさせる前に、色んな過程を通して綺麗なデータを作る。#devsumiC
LT2: 無理をしない機械学習プロジェクト 犬塚さま
クックパッド様。投稿の料理手順の中には、手順とは呼べないものもある。(挨拶とかお礼とか、コミュニケーション的な内容)
— たかのあきこ (@akiko_pusu) 2018年7月27日
機械学習で純粋に手順だけを取り出したい!
(なるほど)
その前に、まずはキーワードを決めてルールベースで判定。#devsumiC
機械学習で9割のスコア。
— たかのあきこ (@akiko_pusu) 2018年7月27日
この成果を実際のサービスに取り込んでいく。
結果を記録に残すの大切。
レシピの読み上げなども予定してるそう。#devsumiC
LT3: ゼロから始める機械学習機能 今井さま
リプロの今井さん。
— たかのあきこ (@akiko_pusu) 2018年7月27日
機械学習を用いた機能開発。
ビジネス視点からの開発は、開発者以外も巻き込んで進める。ただし出てきたデータが果たして顧客の価値に繋がるかどうか、きちんとゴールを定めておくのが大切。
その上で小さく早く回していく。
実際の開発はSageMakerやDataproc活用。#devsumiC
LT4: CNNで自然塩後処理 田本さま
人間は多少の表記揺れや誤字脱字は認識出来ちゃうけど、自然言語処理ではこういうのは大敵。
— たかのあきこ (@akiko_pusu) 2018年7月27日
でも、意味的に重要じゃないところは、無理に解析しなくていいんじゃないか、という考え方。
キャラクターレベルCNNで、文字を最小単位で分割。そもそも意味あるまとまりの分かち書きをしない。#devsumiC
最小単位で切り出した後にウィンドウサイズで分類、単語を再構成、ネガティブかポジティブかの判断をさせると精度が高い。
— たかのあきこ (@akiko_pusu) 2018年7月27日
誤字脱字を紛れ込ませても、精度が高い。
何でもかんでも分かち書き、メカブでなくアプローチ変えてみると良いかも。#devsumiC
まとめ
とかいいつつ、
B-7の杉山さまのお話のなかにあったとおり、要約する / 振り返ることが大切なので、もうちょっと修正してまいります...。
バタバタとした参加でしたが、今回も楽しく伺えて本当にありがとうございました!
あまり出歩かないので、お世話になっている方に直にお会いできたことも嬉しいイベントでした。
*1:メインのDevelopers Summitは毎年2月に3日間かけて行われます。関西、福岡といった場所でも1日で開催するようにもなっています。夏には東京で1日だけのイベントもあり、夏サミとも言います。
*2:デブサミが好きすぎて、でもセッションは厳しいので LTで無理やり参加したこともあります。
*3:事前予約の方が優先ですが、満席表示が出ていても、意外と当日入れますので、今後行かれる方はチャレンジしてみてください!