データ仮想化第1回「DenodoによるDXへのアプローチとは」｜技術ブログ

2020.10.12

はじめに

みなさんこんにちは。Evgineer Voice運営事務局です。ここでは、データ仮想化シリーズとして課題やノウハウについてご紹介していきます。

第1回となる本記事では、Denodo Technologies社によるデータ仮想化のアプローチについて解説します。

従来の物理的データ統合の課題点

データドリブン経営が重要であることに異論をはさむ余地はありません。しかし実情を見てみると、大規模なデータプロジェクトにおける開発工数の80％がデータ統合に費やされており、肝心のデータ分析には残りの20％しか回っていないとの報告があります。想いとは裏腹に厳しい現実に直面していることが明白です。

そもそも現在のデータ統合では、なぜ膨大な手間暇やコストがかかってしまうのでしょうか。統合対象となるデータは、DBやデータウェアハウス、クラウド/SaaS、NoSQL、Webサイト、個人のPCなど多種多様な場所に分断されており、加えて構造化データや半構造化データ、非構造化データなど、さまざまなフォーマットが混在しています。

これらのデータを統合するために広く使われてきたのがETL（Extract、Transform、Load）ツールです。データを物理的に抽出、変換/加工し、最終的に目的別データマートに格納し、BIやダッシュボード、レポーティングツールなどのアプリケーションに引き渡すという流れが一般的になります。

(図1.従来のデータ統合だけでは、大量の複製データが生じ、データの鮮度も劣化する)

図１にあるような手法で全て賄おうとすると個別システム間連携や、段階毎にデータの複製が必要となり、重複する大量の複製データが発生してしまいます。そうなるとコストは膨らみ、データの価値は劣化し、全社的なデータ管理やガバナンスの適用も困難となります。また、データの鮮度や粒度もアプリケーション毎に異なり、それぞれで分析結果が違ってくる場合もあるのです。そこで必要になってくるのがデータ仮想化です。

データドリブン経営実現のために解決すべき3つの課題

データドリブン経営で競争優位に立つために次の3つが鍵を握ります。

第1に「より早く、より正確なビジネスディシジョン（意思決定）の必要性」です。先述したようにサイロ化したデータ統合では、データレイクやデータウェアハウス、データマートの開発に多大な時間とコストがかかるります。しかもそこに格納されているのは過去データであり、全社で一貫した分析結果を得ることができません。この問題を払拭するためには、複数のビジネスアプリケーションやユーザーに対して、必要なデータをいかに正確かつリアルタイムに近い鮮度で提供できるかが問われるのです。

第2に「エンタープライズレベルのガバナンス、セキュリティの必要性」です。次々に施行される新しい規制やセキュリティを担保し、ガバナンスを利かせた状態でユーザーにデータを提供しなければなりません。

そして第3に「ITコストの削減」です。現在のデータ活用でコストを増大させる最大の要因となっているデータ複製をいかに減らすことができるかが、運用・ハードウェア・開発・管理に費やすコストの削減につながっていきます。

企業はこれらの課題に対して、高価なポイントソリューションを導入して対応しようとしてきました。しかし、根本的な矛盾を抱えたままでは解決に至りりません。迅速な意思決定による競争優位を確立するためには、包括的に3つの課題を同時に解決できるソリューションが必要なのです。

そしてDenodo Technologies社が提案するのが、データ仮想化による課題解決です。
データ仮想化とは、データを物理的に動かして新たな場所に統合（格納）するのではなく、データをそれぞれのデータソースに置いたままメタデータを用いて仮想的なデータウェアハウスに統合し、さまざまなビジネスアプリケーションやユーザーに対して、必要な形でリアルタイムに提供するアプローチです。このようにデータ仮想化は、従来とはまったく異なる手法を採用したデータ統合戦略となります。

Denodo Technologies社は1999年の設立以降、データ仮想化に関して一貫して取り組んできたリーディングカンパニーであり、そのテクノロジーとノウハウを集積したデータ仮想化基盤として提供しているのが「Denodo Platform」です。現在、同社の顧客はForbes 500およびGlobal 2000の企業を含むグローバルの様々な業界の約700社に広がっており、年間50％以上の成長を続けています。

IT部門とビジネス部門のジレンマを解消

データ仮想化は、IT部門とビジネスユーザーの間を疎結合で結ぶことで、それぞれのジレンマを解消します。

たとえばIT部門はデジタルトランスフォーメーション（DX）を推進する中で、伝統的なエンタープライズデータ基盤だけでなく、ビッグデータやクラウド活用で融通の利く様々なデータソースを柔軟に採用することが可能とななります。一方でビジネス部門のユーザーは、これまで使い慣れたアプリケーションやツールをそのまま利用し、Denodo Platformにアクセスするだけで、常に全社的に整合性のとれた最新データを取得することができます。

(図2.Denodo Platformのリアルタイムデータ仮想化アーキテクチャ)

実際に仮想データウェアハウスとしてDenodo Platformを利用している企業の事例として、米国フロリダに本拠をおく地域コミュニティ銀行のSeacoast Bankの取り組みがあります。
Denodo Platformは、クラウドとオンプレミスのデータソース間でデータを集約する一方、BIツールのTableauやSASポータル、モバイルデバイスなどにデータを提供します。これにより、融資・預金・信用・リスク・不正調査部門のビジネスユーザーのためのセルフサービスによる効率の向上、レポートの所要時間を2～3日から2時間に短縮、ローン処理などの業務をリアルタイム化といった効果をもたらしました。Denodo Platformの活用によってデータの価値を大幅にアップし、Time to Valueの意思決定を実現することができたのです。

ほかにもオンプレミスとクラウド間のデータ統合によるクラウドモダナイゼーション、データガバナンスやデータプライバシー、セキュリティといった用途でもDenodo Platformの利用は拡大しています。