クラウド道場

次世代BI Lookerによる新しいデータプラットフォームへの転換

Author
tsk
Lv:5 Exp:234

MLチームの新人エンジニアです

8/1 13:20~14:00@ザ・プリンスパークタワー東京
speaker:小澤正治(Looker vice president)

お客様の課題
MLでそもそも教師データが正しいかどうかがわからない

IPO用の小澤さんのベストショット写真がとてもカッコよかったです。

Lookerのミッション

データをスマートに活用することにより
ユーザがより多くの事を行えるようにする

データ分析民主化

本セッションのメインテーマとなる重要なことが
データ分析民主化≠視覚化

データの視覚化

データ周りの工程は
ETL、Modeling、Measure 80%
Dashboards,Delivery(実際の視覚化) 20%!!!
視覚化は工程において少なめであり、その前の処理パイプラインが非常に重要であることを示唆している。

データ民主化の前提

データソースは変化する
ボリュームは増え、
利用者も増え、
データ活用方法も変化する。

データボリューム、データソース、データガバナンス

データは常に収集されているものの、69%の企業がデータを十分に活用できていないと感じている。

データの肥大化

2025年までに175ゼタバイトに肥大化すると予測されている。
2018年〜2023年までに5億個の新しいビジネスアプリケーションが生まれる。
また、データ収集が前提としたアプリが多く現れる。特にSaaSアプリの増大する。

平均的な企業では1100以上のSaaSアプリケーション使用している。
一個のアプリを前提とした動きではなく、全体を俯瞰して、適切な場合に適切なアプリケーションを使うことが必要となってくる。

データハングリー

データの利用は特定部門から、すべての職種へと拡大する。
– 使う人の増大
– ユースケースの増大

データの品質

業務課題:データ民主化によるデータ定義の反乱、データ一貫性の維持
色んな人が一貫性のないオペレーションをすることで、データが一貫性を保てなくなる。
これにより、データの品質が保てなくなる。

データ活用の高度化

データを活用している企業は収益が増大する。
(ユニコーン企業のIPOが参考)

分析機能の組み込みは自然な流れ?

経済合理性:開発コストと「組み込み」コストの比較
テック領域のビジネスインパクトで考えると
– エンジニアリソースをコアバリューに集中
– 自社サービスが生み出すデータの価値を最大化
– アプリケーション間遷移を減らし、ワークフローを簡素化
– 付加価値向上によるサービス定着化
– コミュニケーションコストの低減
をすることが合理的である。

データ俯瞰のニーズ

ブレインパッドの事例

変貌する働き方への対応

労働時間の減少を目指すも実際の生産性はどうなのか?
が焦点となる。

生産性の向上

労働効率・労務費削減を目指す。
アプリケーションに縛られず、最適なワークフローの構築を目指す必要がある。

将来のための指針

  • データドリブンな従業員
  • SaaSアプリケーションの浸透
    いろんなアプリに柔軟に対応する。
  • 最新のデータウェアハウス
    性能は自社のデータベースの性能に依存するはず。

Lookerの特徴

  • Noデータアップロード
    BIツールのパフォーマンス改善、ユーザの自社データベースの利用する。
  • LookMLでデータロジックの一元管理
    データの一貫性を担保する。
    データ定義のメンテナンスコストの削減する。
  • 共有・コラボレーション
    既存コラボツール(Slackなど)を中心としたワークフローの設計を可能とする。

LookML

SQLの抽象化でLookerに情報を提供する。
データベースとユーザ間にモデルレイヤーを作成(ハブレイヤー)することで、ブラックボックス化しつつあった指標群を中央管理可能にした。

データデリバリー

コネクタは一切なし。コネクタをそれぞれのプロダクト用に準備するのは非効率のため無しとなった。
基本的にAPIを叩く。
110%のAPIカバレッジを謳う。

事例紹介

リクルートマーケティングパートナーズの事例
– LookMLで可読性と検索性の向上、更にデータ指標定義が一元化
– コストメリット・データガバナンスとデータの民主化
– 不要なDWHの二重投資
– Slackで社内コミュニケーションが簡潔
– API連携
– ユーザレポート活用で、業務定着を可視化

構成に導入されたハブレイヤー

  • データの流れ
  • スキルやカルチャーとのFit
  • 運用のFit
    以上を重視したためにハブレイヤーの導入を行った。

Lookerの特徴まとめ

データ加工、定義化に特化し、視覚化・分析・外部レポーティングなど様々なユースケースを実現
– データベースを持たないため、Looker側が分析パフォーマンスボトルネックにならないアーキテクチャ
– LookMLでデータ定義することで、ビジネスユーザはSQLを意識せずに利用可能
– Git連携により、データ定義の透明化、属人性を排除

まとめ

データ分析の民主化に向けて
– データソースも利用者も含めて、データ活用方法は移り変わる。
– データの可視化はゴールではなく出発点。過去データを見て終わりではなく、正確なデータをリアルタイムに捉え、サービスへ転換することが重要。
– ツールにワークフローを含めるのではなく、理想的なワークフローにツールを寄せる。

感想

6月にGoogleに買収され、話題となったLookerのセッションを聴きに行きました。
本セッションでテーマとなったのはデータ分析民主化です。データを中心としたビジネスフローが増えるはずの社会のなかで、このような視点を持つことは非常に重要だと感じています。
Google Cloud Nextのセッションの中で働き方改革まで言及された貴重なセッションでした。

次の記事を読み込んでいます
次の記事を読み込んでいます
次の記事を読み込んでいます
次の記事を読み込んでいます
次の記事を読み込んでいます