はじめに

みなさん、こんにちは。SB C&Sの加藤です。
本連載記事ではデータを活用するためのノウハウについてご紹介させていただきます。

==========================================================
□DataOps 第1回 「The DataOps 18の原則」　
□DataOps 第2回 「2019年のDataOpsサーベイから見た課題」
□DataOps 第3回 「データ分析の8つのチャレンジ(前編)」
■DataOps 第4回 「データ分析の8つのチャレンジ」(後編)　※本記事です!
□DataOps 第5回 「 DataOpsを実践するための7つのステップ」(前編)
□DataOps 第6回 「DataOpsを実践するための7つのステップ」(後編)
==========================================================

前編の第3回に引き続き、データ分析業務に関する8つのチャレンジについてご紹介していきます。

5.不良データは良い分析を台無しにする

データエラーがデータパイプラインを通って分析結果に反映されると、社内の関係は悪化します。なぜなら、計画外の作業が発生し主要な分析メンバーが最優先のプロジェクトから離れてしまうからです。また、分析レポートで不良データを繰り返し見ると、データ分析チームの信頼や評価を損ねることにもなります。

6.データパイプラインのメンテナンスは終わらない

データ分析は、高品質で一貫性のある考察を生み出そうとするパイプラインプロセスです。新規または更新されたデータソース、スキーマの強化、アナリティクスの改善、またはその他の変更があるたびに、パイプラインの更新が必要となります。
データ分析チームは、データパイプラインの変更と改善を継続的に行っていますが、これらの変更の一つ一つは、運用アナリティクスを壊さないように慎重に行わなければなりません。変更の検証に必要な労力は、そもそも変更を作成するのに必要な時間よりも長くかかることがよくあります。つまり、アナリスト、データサイエンティスト、エンジニアは、データパイプラインの品質を更新、維持、保証するために多大な時間を費やしているのです。これは当然必要な作業ですが、顧客から見えない所で行われており、残念ながら評価されていません。

7.手作業疲れ

データ統合、変換、品質保証、新しいアナリティクスの展開は、日々完璧に実行されなければなりません。データ分析チームはこれらのタスクの一部を自動化しているかもしれませんが、一部のチームは多数の手動プロセスを実行しています。このような手作業は、エラーが発生しやすく、時間がかかり、退屈なものです。さらに、手作業のプロセスは、従業員の離職率の高さにもつながります。多くの管理者は、パフォーマンスの高いデータ分析チームのメンバーが、手作業を繰り返し実行することで燃え尽きてしまうのを目の当たりにしてきました。手動プロセスは、データチームの生産性を低下させてしまいます。

8.英雄主義と期待がもたらす罠

要件の変更、スケジュールのずれ、顧客の失望、柔軟性のなさ、品質の低さ、ROIの低さ、不要な機能などの理由で、プロジェクトが中止になったり、延期されたりしているのが現状です。Gartner社の調査によると、大規模組織のチーフ・データ・オフィサー（CDO）の半数は、その役割で成功したとは見なされないとのことです。また、Forrester Researchによると、調査対象となったデータおよび意思決定者の60%が、分析結果にあまり自信がないと答えています。なんと、自社の組織がデータと分析結果の質を十分に管理していると答えたのはわずか10%でした。多くのCDOとデータ分析の専門家が以下の3つの方法でこのような課題に直面していると回答していました。

・英雄主義
データ分析チームは、パフォーマンスと期待値のギャップを補うために長時間労働します。成果物が完成されると、データ分析チームはヒーローとみなされます。しかし、新たな成果物が発生すると、昨日のヒーローはすぐに忘れ去られてしまいます。
また、チームは長期的に継続することが難しく、追加のリソース(人員・時間)が提供されないまま、期待値が上がり続けてしまいます。英雄主義のアプローチは、組織が成長するにつれてスケールアップすることが困難になります。

・期待
期限を守らなければならないときには、最小限のテストで迅速にソリューションを作成し、それを顧客に見せて、壊れないよう期待を持ちたいと考えるでしょう。このアプローチには固有のリスクがあります。最終的には、成果物にデータ・エラーが含まれ、顧客を動揺させ、データ分析チームの信頼性を傷つけることになります。

・注意
高品質で、より少ない機能を顧客に提供するために、データ分析プロジェクトの開発とテストのスケジュールを長くすることが重要です。このアプローチの難しさの1つは、顧客が何を求めているのかは実際に見てみるまでわからないことが多いため、プロジェクトの終わりまでに詳細な仕様が大きく変わる可能性があるということです。また、長期的なこのようなアプローチは、データ分析チームが官僚的で非効率的とみなされるリスクがあるからです。

おわりに

8つの課題・チャレンジについて解説させていただきましたが、 いかがでしたでしょうか？ 書いていて思ったのですが、上記の課題はデータ分析に特有のものではなく、他にも当てはまることが多いなと感じました。

次回からはこれらの課題を解決していくステップについて書いていきたいと思いますので、お楽しみに！