はじめに

みなさん、こんにちは。SB C&Sの加藤です。
本連載記事ではデータを活用するためのノウハウについてご紹介させていただきます。

==========================================================
□DataOps 第1回 「The DataOps 18の原則」
■DataOps 第2回 「2019年のDataOpsサーベイから見た課題」※本記事です!
□DataOps 第3回 「データ分析の8つのチャレンジ」(前編)　
□DataOps 第4回 「データ分析の8つのチャレンジ」(後編)
□DataOps 第5回 「 DataOpsを実践するための7つのステップ」(前編)
□DataOps 第6回 「DataOpsを実践するための7つのステップ」(後編)
==========================================================

第1回では、DataOpsとは？という話題でお話させて頂きましたが、今回は2019年に行った調査から、データ活用にどのような課題が浮き彫りになっているかをご紹介させて頂きます。

サーベイから分かった主な発見

「今週達成しようと思っていたことは忘れてください。なぜなら、データエラーで中断される可能性が高いからです。」
これは、DataKitche社とEckerson Research社(両社とも米国のコンサルティング企業)が実施した共同のDataOps調査結果に基づいたメッセージです。
今回は、DataOpsの調査結果をご紹介したいと思います。この調査は、米国とヨーロッパの中～大規模の企業で働くデータ分析官300人を対象に実施されました。

別の調査報告からも、膨大な広告への投資にもかかわらず、「データドリブン」と名乗る企業の数が減少していることが判明しています。また、Gartner社はビッグデータプロジェクトの60%が失敗していると推定しています。

本記事がデータ活用に悩みを抱えているみなさまにとって参考になれば幸いです。

データエラー発生の悪影響

調査結果によると、最も悩ましい問題の1つはデータそのものにエラーが多く生じていることです。

(図1.月別データエラー発生件数)

なんと、回答者の30%が月に11個以上のエラーを報告しているということが明らかになりまた。当然のことながら、このような企業のデータ分析官は、データそのものを信頼していません。
当然の事ながら、企業がデータを活用できていないことは明白です。

回答者のうち18%は月に1～2件のエラーを報告しています。製造現場では、これらのエラーの一つ一つが製品のリコールに相当することになります。はたして、TOYOTAはこのエラー率を許容できると考えるしょうか？仮に月に1～2件のエラーは許容範囲内であると仮定してみても調査対象となった企業の80%近くが毎月3件以上のエラー発生を報告しています。 これは最高データ責任者(CDO)の平均在職期間が約2年しかない理由の説明にもなるかもしれません。

データエラーの発生は、分析チームの生産性に多大な悪影響を与えます。非生産的な改修作業に追われるだけでなく、エラーが発生することを警戒して、分析チームは過度に慎重になり、作業が遅くなってしまうのが現実です。

開発環境構築による遅延

IT部門がハードウェアとソフトウェアの初期設定やデータの利用可能化に数週間から数ヶ月かかる場合、待ち時間は分析チームの生産性に深刻な影響を与えます。

(図2.開発環境を構築するのにかかる期間)

上記のグラフから分かる通り、回答者の78%が、開発環境の構築に数日から数ヶ月かかると回答しています。さらに38%が、数週間から数ヶ月かかると報告しています。この待ち時間のせいで、データ分析チームは、組織が要求した重要な分析に取り組み始めることすらできません。

つまり、開発環境を構築するのに時間がかかることで、データ分析にかかる時間が増加するのです。

分析に時間がかかる

分析結果を作成する際のプロセスの最初から最後までにかかる時間について尋ねたところあまりにも多くの時間がかかっていることが判明しました。

調査対象者のうち76%の組織では、分析結果を作成するのに数週間から数ヶ月かかっていました。これは、1人のエンジニアが12人のデータ分析官をサポートする必要があり、各データ分析官は数百人の営業担当者をサポートする必要があるためです。

新しいアナリティクスのサイクルタイムを数時間、さらには数分に短縮しなければなりません。今回の調査で企業は、第一にデータを分析できる環境や手法を迅速に整備しなけらばならないという課題が浮き彫りになりました。

おわりに

いかがでしたでしょうか。上記の3つの課題によって、企業がデータを活用するまでに時間がかかりすぎていることが明確になったのではないかと思います。

なぜこのような課題が発生してしまうのでしょうか？ 次回はその原因に焦点をあて深堀していきたいと思います。