BLOGAzureブログ

【Azure基礎用語解説】
「Data Factory」

2016.04.13

クラウドサーバーご検討中の方必見 お役立ち資料一覧

Azure Data Factoryとは

Azure Data Factoryとは、SQLデータベースやファイルシステムなど多種多様なデータソースからデータを取得し、クレンジングしてデータストアに格納するといったデータの移動・変換を自動化するデータ統合サービスのことです。原材料を加工して製品を生産する工場のように、生データを収集してすぐに使用できる情報に変換するため、Data Factory(データ工場の意)と名付けられました。

Data Factoryには、リンクサービス、データセット、アクティビティ、パイプラインという4つの概念があります。以下に、簡単に説明しましょう。

・リンクサービス
外部リソースに接続するために必要な情報を定義するもので、データストアやコンピューティングサービスなどあらゆるリソースへの接続情報を保持しています。利用可能なデータストアは、オンプレミスのファイルシステム、SQL ServerやOracle Databaseをはじめとする各種RDBMS、Azureストレージ、Azure SQL Databaseなどがあります。

・データセット
リンクサービスが参照するデータストアに格納されている入力/出力データを表します。フォルダ名やテーブル名といったデータ構造を示し、利用する実データを指定します。

・アクティビティ
データに対して実行するアクションを定義します。データセット間のデータコピーから、Azure HDInsightを活用したデータ変換/分析まで、データ変換や分析のためのさまざまなアクティビティがあります。

・パイプライン
複数のアクティビティを論理的にまとめて管理するグループです。1つのアクティビティには複数の処理を指定できますが、それをすると管理が煩雑になってしまいます。そこで1つの処理を行うアクティビティを複数用意し、それらをパイプラインにまとめて管理します。

PoP

Data Factoryの4つの概念

これらの4つの概念は、JSON(JavaScript Object Notation)で定義します。Data Factoryには、JSONを記述するためのブラウザベースのツール「Data Factory Editor」が提供されており、Azureポータルから利用することができます。

Azure Data Factoryでできること

Azure Data Factoryでは主に以下のことができます。

データ収集

Azure Data Factoryは様々なデータを収集できます。例えば、SaaSやファイル共有、FTP Web サービスをデータベースにでき、ソースとしてはオンプレミスでもクラウドでも接続可能です。

データ変換

データはAzureのストレージに集められ、Azure上でデータを変換できます。収集したデータを自動的に変換処理することも可能であり、ストレージ上のデータを手動で変換することも可能です。

モニタリング

Azure Data Factoryで作成したアクティビティやパイプラインを監視して、成功率や失敗率を確認する機能もあります。

関連記事:データ連携とは?メリットから課題、基盤構築方法を解説

Azure Data Factoryの使い方

Azure Data Factoryを使うためには、 まずはData Factoryのリソースを作成する必要があります。 作成にあたり、Azureのユーザーアカウントが共同作成者か所有者のロールに含まれている、もしくは、Azureサブスクリプションの管理者である必要があります。Data Factory 作成はAzure Data Factory Studioでの簡単に作成する方法と、Azure portalを用いての詳細な設定をして作成する方法があります。

その後、目的に合わせてデータセット、アクティビティ、パイプラインなどを作成することで、 Azure Data Factoryの様々な機能を利用できます。

Data Factoryが最も活躍するのは、AzureのHadoopサービスであるAzure HDInsightと連携させたデータ分析処理です。Data Factoryのリンクサービスで提供されている「オンデマンドHDInsight」を利用すれば、AzureポータルからHDInsightの利用を開始することなく、Data FactoryがHDInsightを自動的に作成・実行・削除するような使い方も可能です。

参考:Microsoft公式| Azure Data Factory について

まとめ

2015年8月に正式リリースされたData Factoryですが、すでに多くの導入事例があります。例えば、レストラン向けに注文用テーブル端末を製造・販売する米Ziosk社では、蓄積された来店客の操作ログデータを集計し、メニューをレコメンドするシステム基盤にData Factoryを活用しています。複数のサービスをつなぐための仕組みを作り込むことなく、データソースの情報の取得・分析を自動化できることが、Data Factoryを採用した理由です。

ビッグデータの時代を迎え、さまざまなデータソースから取得した有益な情報を分析しようというニーズが高まっています。そのような中にあって、ビッグデータ分析ソリューションをなかなか導入できない中堅・中小企業であっても、Azure Data Factoryを利用すれば容易にデータ活用を実現できるようになります。

関連記事:そもそもAzureとは?基礎から各種機能まで徹底解説

photo:Thinkstock / Getty Images

AI活用を専門家がサポート
AI導入ならSoftBankグループのSB C&Sにご相談ください

SoftBankグループのSB C&Sは、さまざまな分野のエキスパート企業との協力なパートナーシップによって、多岐にわたるAzure関連ソリューションをご提供しています。

「生成AIの導入をしたいが、利用料金が分からない」
「自社向けのAIを構築したいけどやり方が分からない」
「まずはAzure OpenAI ServiceのPoCから始めたい」

など、Azureに関するお悩みならお気軽にお問い合わせください。
中立的な立場で、貴社に最適なソリューションをご提案いたします。

Azure OpenAI Serviceを徹底解説
概要や利用方法がまとめて分かる!

Azure OpenAI Serviceを徹底解説 概要や利用方法がまとめて分かる!
  • 今話題のAzure OpenAI Serviceって何?
  • ビジネスでのAI活用例を知りたい
  • Azure OpenAI Serviceの利用料金はいくらかかるの?
  • Azure OpenAI Serviceを使いたいけどどうすればいい?

そのようなお悩みはありませんか?
Azure相談センターでは、AI活用やAI導入のヒントに活用できる
「Azure OpenAI Serviceの解説資料」を無料でDLできます。
ChatGPTやAzure OpenAI Serviceについて、基本情報、利用・申請方法、
よくある利用シーンなどを整理しています。

Azureの導入・運用に役立つ資料を
無料でダウンロードしていただけますDOWNLOAD

オンプレミスからクラウドへの移行を検討している方のために、安心・スムーズな移行を実現する方法を解説し、
運用コストの削減に有効な「リザーブドインスタンス」もご紹介するホワイトペーパーです。

Azureのことなら、
SB C&Sにご相談を!

導入から活用まで専門スタッフが回答いたします。
お気軽にお問い合わせください。