はじめに

みなさん、こんにちは。SB C&Sの加藤です。
本連載記事ではデータを活用するためのノウハウについてご紹介させていただきます。

==========================================================
□DataOps 第1回 「The DataOps 18の原則」　
□DataOps 第2回 「2019年のDataOpsサーベイから見た課題」
■DataOps 第3回 「データ分析の8つのチャレンジ」(前編)　※本記事です!
□DataOps 第4回 「データ分析の8つのチャレンジ」(後編)
□DataOps 第5回 「 DataOpsを実践するための7つのステップ」(前編)
□DataOps 第6回 「DataOpsを実践するための7つのステップ」(後編)
==========================================================

第2回では、調査結果から得られるデータを用いてデータ分析に時間がかかる原因についてとりあげました。今回は前後編にわたって、さらに一歩踏み込んで、データ分析業務に関する8つのチャレンジについてご紹介していきます。

データ分析の8つのチャレンジ

仮に読者のあなたが、データ分析チームのリーダーとして、チームを管理しているとします。顧客と市場の動向は急速に進化し、絶え間ない質問の連続に疲れ果てていることでしょう。
一方、分析には開発サイクルや限られたリソース、脆弱なITシステムに制約され、時間がかかります。顧客が真に必要としているものとITが提供できるものとのギャップは、ストレスと対立の原因となります。

必然的に、このミスマッチが原因で、データ分析チームは不幸な立場に置かれ、結果的に顧客がデータの戦略的利益を十分に得ることが出来なくなります。

チームリーダーとして、データ分析チームがパフォーマンスのピークレベルを達成できない要因を理解し、対処することがあなたの仕事です。
チームのパフォーマンスを低下させている課題は8つに分類することができます。

1.ゴールポストは動き続けている

顧客の要求は常に変化しています。顧客は迅速な対応を求めており、分析チームがどれだけの成果を上げても、顧客は新たな要求を出し続けます。

また、顧客はデータの専門家ではないので、チームの誰かが教えてくれるまで、自分たちが何を求めているのか、そもそも分析が可能なのかを知りません。多くの場合、顧客は来週はおろか、来期や来年にむけて何が必要になるか分からないのです。

それは彼らのせいではなく、テンポの速い市場でビジネスチャンスを追求することは自然なことですし、ビジネスは競争の激しいものです。ビジネスチャンスが開けば、企業は競争相手よりも早くその機会に取り組む必要がありますし、顧客はデータ分析チームに質問を持ち込むと、すぐに返答が返ってくることを期待しています。

何週間も何ヶ月も待つことはできません。市場が代替ソリューションを求めている間に、その機会は閉ざされてしまいますので、質問は尽きることがありません。時に、答えよりも多くの質問が生まれることがありますが、創造性に拍車をかけ、より多くのアナリティクスの要求につなげること。アナリティクスと顧客の間の健全な関係は、新しいアナリティクスへの需要を促進する継続的な質問の連鎖を促進することです。しかし、新しいアナリティクスがタイムリーに提供できない場合、この関係はすぐに悪化します。

2.データはそれぞれサイロの中にある

ビジネスの付加価値を向上するため、企業は膨大な量のデータを収集しています。例えば、注文、配送、返品、ウェブサイトのページビュー、モバイルアプリのナビゲーション、ダウンロード、クリック、メトリクス、オーディオログ、ソーシャルメディアなどです。さらに、これらのデータは、人口統計学的データ、心理学的データ、またはその他の第三者の市場データと組み合わせることができます。

これらのデータはすべて別々のデータベースに収集されます。 無数のソースからのデータを統合することは大変な作業であり、幅広いスキルを必要とするため、すべてをこなすことができる人を見つけることは稀です。ビジネスの利害関係者は、迅速な回答を求めていますが、一方、データ分析チームはITと協力して、運用システムへのアクセスを確保し、アーキテクチャの変更を計画して実装し、新しい分析を開発/テスト/展開しなければなりません。このプロセスは複雑で時間がかかり、多くのボトルネックや障害が発生します。

3.データフォーマットは最適化されていない

運用システムのデータは通常、分析の効率的な作成に適した方法で構造化されていません。例えば、ERPシステムには、挿入、更新、Web顧客インターフェースでの表示に最適化されたスキーマがあるかもしれません。運用システムでは、これらはリアルタイムで実行する必要があるアクションです。データ分析用に最適化されたデータベースは、読み取りと集計を最適化するように構成されています。また、アナリティクスデータベースのスキーマは、人間が容易に理解できるようにすることも重要です。例えば、フィールド名はその内容を記述し、テーブルは直感的に理解されるべきです。

4.データエラー

データソースが内部のものであれ、外部のサードパーティのものであれ、データには最終的にエラーが含まれます。データエラーは、データパイプラインが正しく流れることを妨げる可能性があります。エラーは、重複したレコードや誤ったデータを含む個々のフィールドなどの微妙なものであったり、期待通りに動作しない新しいアルゴリズム、データベーススキーマの変更によるフィードの破損、IT障害、などなどその他多くの可能性が考えられます。データエラーを追跡し、迅速に解決することは困難なことが多いです。

※第4回「データ分析の8つのチャレンジ」(後編)へつづく