【後編】MongoDB × Hadoop × Xplenty

【前編】MongoDBのETL処理をシンプルに
【中編】XplentyのMongoDBコネクタ
【後編】MongoDB × Hadoop × Xplenty ←本記事です。

はじめに

ペアとして相性がよいものとしてチョコレートとバニラ、ジンとトニックなどがあります。しかし、3つを組み合わせた場合はどうでしょう。Xplentyを使えば、MongoDBとApache Hadoop(以下Hadoop)をシンプルかつコストを抑えて統合することができます。

本記事では、Xplentyを活用しMongoDBとHadoopを統合する方法について紹介いたします。

目次

1. Hadoopとは
2. MongoDBとHadoopを統合するメリットと課題
3. XplentyでMongoDBとHadoopを統合しよう

Hadoopとは

Apache Hadoop Distributed File System (HDFS) 、略して Hadoopは、ビッグデータセットの分散バッチ処理用に設計されたオープンソースのプログラムです。

Hadoopは従来のリレーショナルデータベースではなく、テキストファイル、顧客記録、画像、ビデオ、その他のデータを活用しています。しかし、このプラットフォームはJSON形式でデータを保存しません。その代わりに、以下のようなデータに対応するために特定の言語やライブラリを使用します。

• Apache Pig (MapReduce、Apache Tez、Apache Spark、Apacheエコシステムの他の製品でHadoopジョブを実行する際にも使用されます)
• NumPy
• ナショナルランゲージツールキット(NLTK)

MongoDBとHadoopを統合するメリットと課題

MongoDBとHadoopを統合するとどのようなメリットや課題があるのでしょうか。

メリット

データスタックをMongoDBとHadoopで作成すると、多くのメリットを得ることができます。

• データ品質の向上
• 遅いクエリの応答性を改善
• 分析用にデータを準備
• Hadoopで分析を実行
• MongoDBのデータを簡素化

実際にMongoDBとHadoopを組み合わせて活用している企業として、FourSquare（位置情報データ企業）やOrbitz(格安チケット予約サイト)があげられます。

課題

もちろん良いことばかりではなく統合するにあたっての課題もあります。

• MongoDBとHadoopの統合には、コストがかかる
• MongoDBとHadoopを統合するには複雑なコードが必要なため、組織にデータエンジニアリングチームがいないと困難

この課題を解決するためにXplentyが役に立ちます！

XplentyでMongoDBとHadoopを統合しよう

XplentyのWebアプリケーションを使えば、Hadoopクラスタを素早く作成することができます。必要な作業は、Xplentyの直感的なUIでデータ処理用のパイプラインを構築し、MapReduceタスクをすぐにHadoop上で実行するだけです。コーディング経験など関係なく、誰でもMongoDBとHadoopを統合することができます。

また、XplentyはHadoop-as-a-serviceを提供しているのでMongoDBからHadoopにデータを移行するための追加インフラやハードウェアへの投資が不要です。この結果、大幅なコストを節約することが可能になります。

どのように機能するのか

Xplentyは、ETLプロセスを介してMongoDBとHadoopを組み合わせます。Xplentyを使うと、以下のことができます。

・MongoDBから半構造化データを抽出する。
・データを読みやすく、使用可能な形式に変換してHadoopにロードする。

データをHadoopに移行したら、下記のような分析ができます。

• 顧客セグメンテーション
• リスクモデリング
• 売上・収益の増加
• 予測分析
• コストカット
• データストレージ
• 業務上の問題点の洗い出し
• 顧客エンゲージメントの向上
• データのレプリケーション
• 機械学習
• 問い合わせ
• インデックス
• スケーラビリティ

サードパーティのBIツールで分析を実行したり、Hiveなど別のデータウェアハウスにデータを移動したりすることもできます。

おわりに

もしHadoopとMongoDBを統合してデータスタックを作成しようと考えているのであれば、ぜひXplentyをセットで導入することをご検討ください。

Xplentyは国内ではSB C&Sが独占販売となっております。ご検討の際にはいつでもお問い合わせください。

関連ページ

Xplenty製品概要

SB C＆Sプレスリリース