domo

こんにちは、吉岡です。

今回は、「SQLが書けなくてもできるDOMOのMagicETLを使ったデータ整形」と題しまして、非エンジニアでもできるデータ整形の方法をご紹介したいと思います。

主にプランナーの方にお聞きしたいのですが、普段データの整形ってどうされてますか?

ダウンロードしてきたcsvファイルをExcelなどで手作業でレポート作成してますでしょうか?
欲しいグラフを出力するために、毎日集計し作業するのは非効率ですし、無駄だと感じている人は多いと思います。

DOMOを使ってみよう!

そんなもどかしい思いをしているプランナーの方にご紹介したいのが、DOMOです。
DOMOについては以前取り上げた記事を御覧ください。

特徴としてはデータを貯める環境DWH(データウェアハウス)の機能を有したBI(ビジネスインテリジェンス)ですので、エンジニア介在せずにDWHの構築が可能なサービスです。
まとめると以下のような機能を持っています。

  • データを定期的に自動で取りに行くコネクター
    • ローカルのデータを自動でアップするworkbenchというwinアプリも提供しています。
  • データを貯めておけるDWH
  • 溜めたデータを加工して出力できるMagicETL
    • ETLだけではなくMySQLで加工することも可能です
  • 多彩なグラフ表現でのダッシュボードの生成
  • DOMOのグラフをパワポに埋め込めるPowerpointプラグイン(win版のみ)

ETLとは?

データのE(Exact:抽出)、T(Transform:変形)、L(ロード:出力)をくっつけた用語です。端的にいうと、GUIでDWHに溜めたデータを取り出して、グラフが要求するデータセットに加工して、出力するための機能です。

MagicETLを操作してみよう!

DOMOのコネクタを使えば、データの自動取得が可能になりますが、ローデータを取得しても作りたいグラフを出力するために、データを加工しなければならない事が多いです。
サンプルデータを使って、MagicETLの使い方をご紹介します。

今回使うデータ

Google AnalyticsからCSVで落としてきたようなフォーマットに、ランダム関数で生成したダミーデータを入れ込んで使用しました。

皆さまは自分が担当しているプロダクトのデータを使用して試してみてください。
Google AnalyticsのDOMO用コネクタを使用すれば、自動でデータを取得し更新してくれます。

1,Googleスプレッドシートデータの取り込み

ダミーデータをこのような感じで、スプレッドシートに張り込んでみました。
こちらのデータをDOMOに取り込みます。
スクリーンショット 2017-03-31 17.05.02

  • データの取り込み作業

    • 1,DOMOのヘッダーにある「+メニュー」から「カード」を選択
      スクリーンショット 2017-03-31 17.30.29

    • 2,「Googleスプレッドシート」を選択します

    • なお、データの読み込みは、シートごとになります。今回扱うデータは3シートありますので、3回コネクタの設定をします。(2から6を繰り返します)
      スクリーンショット 2017-03-31 17.30.39

    • 3,「Googleスプレッドシート」のコネクタの画面に切り替わります、自分のアカウントを選択して、今回読み込むファイルとシートを選択します。
      スクリーンショット 2017-03-31 17.32.48

    • 4,スケジュールは手動にします。実際は、自動にしてコネクタを起動する時間を設定します。
      スクリーンショット 2017-03-31 17.33.07

    • 5,データセットに名前をつけます。
      スクリーンショット 2017-03-31 17.33.48

    • 6,右上のデータの可視化ボタンを押します。

    • すると、グラフを作る画面に飛ばされるのですが、作らずに、ブラウザバックでコネクタ作成の画面に戻ってください。
      スクリーンショット 2017-03-31 17.33.55

    • 7,コネクタを全部作り終わったら、右上の■メニューからデータセンターを選択してください。
      スクリーンショット 2017-03-31 17.36.42

2,ETL上での処理

  • 1,データセットの読み込み

    • データセンター画面の右上の新規作成ボタンを押して、ETLを選択してください。
      スクリーンショット 2017-03-31 17.37.42

    • データセット名をつけたあと、いよいよデータを抽出します。

    • 入力データセットの□を灰色のゾーンにドラッグ&ドロップしてください
      スクリーンショット 2017-03-31 17.38.28

    • 入力データセットをクリックすると、画面の下にデータを設定するメニューが表示されます。

    • 先程作った3つのデータセットを1つずつ選択します
      スクリーンショット 2017-03-31 17.38.41

    • 3つのデータセットとリンクした状態はこのようになります。
      スクリーンショット 2017-03-31 17.39.38

    • データタブを選択すると、データセットのデータをプレビューできます。
      スクリーンショット 2017-03-31 17.39.51

  • 2,列のタイプ変更

    • 今回用意したデータはランダム関数をつかったこともあり、整数データではなくて少数データでした。
    • ここで列のタイプを少数から整数に変更してみます。それには、列のタイプを変更をつかいます。
      スクリーンショット 2017-03-31 17.40.33

    • プルダウンを選択すると、他のタイプを選択できます、今回は整数を選択します。
      スクリーンショット 2017-03-31 17.40.41

    • 画面の上にあるプレビューを実行を押すと、実際処理が走るか確認できます。
      スクリーンショット 2017-03-31 17.40.48

    • データのプレビューを見ると、整数になっていることがわかります。
      スクリーンショット 2017-03-31 17.41.05

  • 3,内部結合

    • 次に3つのデータセットを結合したいと思います。結合の仕方は、日付がユニークキーなので、同じ日のデータを内部結合します。
    • 「データを結合」をドラッグドロップし、2つのデータセットとつなげます。3つ一気に結合はできないので、2つずつ行います。
      スクリーンショット 2017-03-31 17.42.05

    • プルダウンで、2つのデータセットを指定し、結合させるキーをその下でセットします。今回は日付のカラムをセットします。
      スクリーンショット 2017-03-31 17.42.17

    • 同じように結合したデータともう一つのデータセットを内部結合します。
      スクリーンショット 2017-03-31 17.42.31

  • 4,列の選択

    • プレビューすると結合されていることがわかります。ただ、無駄なカラムが気になります。そういうときは「列を選択」を使います。
      スクリーンショット 2017-03-31 17.43.11

    • 「列を選択」をドラッグドロップしてつなぎます
      スクリーンショット 2017-03-31 17.43.21

    • すべての列を読み込んでから、使いたい列以外を☓ボタンで消します。

    • また、列名を変更することもできます。
      スクリーンショット 2017-03-31 17.43.55
  • 5,列同士の計算

    • 計算機を使うと、2項演算ができます。2つのカラム同士あるいは、カラムと定数による計算がセットできます。
    • 今回整数カラムなので、レートを計算する前に100倍します。(しないと0になってしまう。あるいは少数にタイプを変更すればOK)
      スクリーンショット 2017-03-31 17.53.48

    • そのあと、DAU/WAUやDAU/MAUを計算します。
      スクリーンショット 2017-03-31 17.53.58

    • プレビューするとこのようになりました。
      スクリーンショット 2017-03-31 17.54.25

  • 6,出力処理

    • 最後に出力データセットを追加して、データセット名を記入します。
      スクリーンショット 2017-03-31 17.47.08

    • 右上の保存して実行を選択すると、加工処理したデータセットが追加されます。
      スクリーンショット 2017-03-31 17.47.27

3,グラフの作成

  • 1,データセットの指定

    • データセンターのデータセット一覧から先程保存したデータセットを選択します。
      スクリーンショット 2017-03-31 17.47.53

    • カードタブの右側にカードを追加、というリンクがあるのでそれをクリックすると、グラフ作成ページに遷移します。
      スクリーンショット 2017-03-31 17.48.13

  • 2,グラフ設定

    • 今回はレートと実数を重ねて表示できる、折れ線グラフと棒グラフを組み合わせられるグラフを使いました。
    • 左側の系列リストから、グラフ上のエリアにドラッグドロップすると、このように表示されます。
      スクリーンショット 2017-03-31 17.55.40

    • 保存すると、このような表示になり、トップページという自分用のダッシュボードにグラフが追加されます。
      スクリーンショット 2017-03-31 17.55.54

終わりに

今回は駆け足でDOMOのMagicETL機能についてご紹介いたしました。全くSQLを使わずにデータ整形ができることがお分かりいただけたと思います。
エンジニアに頼らず自力でデータドリブンな施策をこなしたいプランナーの方、是非活用してみてください。