BLOGAzureブログ

Azure Data Factoryとは

Azure Data Factoryとは、SQLデータベースやファイルシステムなど多種多様なデータソースからデータを取得し、クレンジングしてデータストアに格納するといったデータの移動・変換を自動化するデータ統合サービスのことです。原材料を加工して製品を生産する工場のように、生データを収集してすぐに使用できる情報に変換するため、Data Factory（データ工場の意）と名付けられました。

Data Factoryには、リンクサービス、データセット、アクティビティ、パイプラインという4つの概念があります。以下に、簡単に説明しましょう。

・リンクサービス
外部リソースに接続するために必要な情報を定義するもので、データストアやコンピューティングサービスなどあらゆるリソースへの接続情報を保持しています。利用可能なデータストアは、オンプレミスのファイルシステム、SQL ServerやOracle Databaseをはじめとする各種RDBMS、Azureストレージ、Azure SQL Databaseなどがあります。

・データセット
リンクサービスが参照するデータストアに格納されている入力／出力データを表します。フォルダ名やテーブル名といったデータ構造を示し、利用する実データを指定します。

・アクティビティ
データに対して実行するアクションを定義します。データセット間のデータコピーから、Azure HDInsightを活用したデータ変換／分析まで、データ変換や分析のためのさまざまなアクティビティがあります。

・パイプライン
複数のアクティビティを論理的にまとめて管理するグループです。1つのアクティビティには複数の処理を指定できますが、それをすると管理が煩雑になってしまいます。そこで1つの処理を行うアクティビティを複数用意し、それらをパイプラインにまとめて管理します。

Data Factoryの4つの概念

これらの4つの概念は、JSON（JavaScript Object Notation）で定義します。Data Factoryには、JSONを記述するためのブラウザベースのツール「Data Factory Editor」が提供されており、Azureポータルから利用することができます。

Azure Data Factoryでできること

Azure Data Factoryでは主に以下のことができます。

データ収集

Azure Data Factoryは様々なデータを収集できます。例えば、SaaSやファイル共有、FTP Web サービスをデータベースにでき、ソースとしてはオンプレミスでもクラウドでも接続可能です。

データ変換

データはAzureのストレージに集められ、Azure上でデータを変換できます。収集したデータを自動的に変換処理することも可能であり、ストレージ上のデータを手動で変換することも可能です。

モニタリング

Azure Data Factoryで作成したアクティビティやパイプラインを監視して、成功率や失敗率を確認する機能もあります。

関連記事：データ連携とは？メリットから課題、基盤構築方法を解説

Azure Data Factoryの使い方

Azure Data Factoryを使うためには、 まずはData Factoryのリソースを作成する必要があります。 作成にあたり、Azureのユーザーアカウントが共同作成者か所有者のロールに含まれている、もしくは、Azureサブスクリプションの管理者である必要があります。Data Factory 作成はAzure Data Factory Studioでの簡単に作成する方法と、Azure portalを用いての詳細な設定をして作成する方法があります。

その後、目的に合わせてデータセット、アクティビティ、パイプラインなどを作成することで、 Azure Data Factoryの様々な機能を利用できます。

Data Factoryが最も活躍するのは、AzureのHadoopサービスであるAzure HDInsightと連携させたデータ分析処理です。Data Factoryのリンクサービスで提供されている「オンデマンドHDInsight」を利用すれば、AzureポータルからHDInsightの利用を開始することなく、Data FactoryがHDInsightを自動的に作成・実行・削除するような使い方も可能です。

参考：Microsoft公式｜ Azure Data Factory について

まとめ

2015年8月に正式リリースされたData Factoryですが、すでに多くの導入事例があります。例えば、レストラン向けに注文用テーブル端末を製造・販売する米Ziosk社では、蓄積された来店客の操作ログデータを集計し、メニューをレコメンドするシステム基盤にData Factoryを活用しています。複数のサービスをつなぐための仕組みを作り込むことなく、データソースの情報の取得・分析を自動化できることが、Data Factoryを採用した理由です。

ビッグデータの時代を迎え、さまざまなデータソースから取得した有益な情報を分析しようというニーズが高まっています。そのような中にあって、ビッグデータ分析ソリューションをなかなか導入できない中堅・中小企業であっても、Azure Data Factoryを利用すれば容易にデータ活用を実現できるようになります。

関連記事：そもそもAzureとは？基礎から各種機能まで徹底解説