【Azure基礎用語解説】「Data Factory」

  • このエントリーをはてなブックマークに追加

Data Factory

Azure Data Factoryとは、SQLデータベースやファイルシステムなど多種多様なデータソースからデータを取得し、クレンジングしてデータストアに格納するといったデータの移動・変換を自動化するデータ統合サービスのことです。原材料を加工して製品を生産する工場のように、生データを収集してすぐに使用できる情報に変換するため、Data Factory(データ工場の意)と名付けられました。

Data Factoryには、リンクサービス、データセット、アクティビティ、パイプラインという4つの概念があります。以下に、簡単に説明しましょう。

・リンクサービス
外部リソースに接続するために必要な情報を定義するもので、データストアやコンピューティングサービスなどあらゆるリソースへの接続情報を保持しています。利用可能なデータストアは、オンプレミスのファイルシステム、SQL ServerやOracle Databaseをはじめとする各種RDBMS、Azureストレージ、Azure SQL Databaseなどがあります。

・データセット
リンクサービスが参照するデータストアに格納されている入力/出力データを表します。フォルダ名やテーブル名といったデータ構造を示し、利用する実データを指定します。

・アクティビティ
データに対して実行するアクションを定義します。データセット間のデータコピーから、Azure HDInsightを活用したデータ変換/分析まで、データ変換や分析のためのさまざまなアクティビティがあります。

・パイプライン
複数のアクティビティを論理的にまとめて管理するグループです。1つのアクティビティには複数の処理を指定できますが、それをすると管理が煩雑になってしまいます。そこで1つの処理を行うアクティビティを複数用意し、それらをパイプラインにまとめて管理します。

PoP

Data Factoryの4つの概念

これらの4つの概念は、JSON(JavaScript Object Notation)で定義します。Data Factoryには、JSONを記述するためのブラウザベースのツール「Data Factory Editor」が提供されており、Azureポータルから利用することができます。

Data Factoryが最も活躍するのは、AzureのHadoopサービスであるAzure HDInsightと連携させたデータ分析処理です。Data Factoryのリンクサービスで提供されている「オンデマンドHDInsight」を利用すれば、AzureポータルからHDInsightの利用を開始することなく、Data FactoryがHDInsightを自動的に作成・実行・削除するような使い方も可能です。

2015年8月に正式リリースされたData Factoryですが、すでに多くの導入事例があります。例えば、レストラン向けに注文用テーブル端末を製造・販売する米Ziosk社では、蓄積された来店客の操作ログデータを集計し、メニューをレコメンドするシステム基盤にData Factoryを活用しています。複数のサービスをつなぐための仕組みを作り込むことなく、データソースの情報の取得・分析を自動化できることが、Data Factoryを採用した理由です。

ビッグデータの時代を迎え、さまざまなデータソースから取得した有益な情報を分析しようというニーズが高まっています。そのような中にあって、ビッグデータ分析ソリューションをなかなか導入できない中堅・中小企業であっても、Azure Data Factoryを利用すれば容易にデータ活用を実現できるようになります。

photo:Thinkstock / Getty Images

  • さらにAzureの詳細を
    資料で知りたい方はコチラ

    資料請求
  • Azureの導入について、
    直接相談したい方はコチラ

    お問い合わせ