IoTの弱点をAIが補完!?データ品質管理の自動化が熱い

ITマーケットを専門にする編集コンサルタントのJelani Harperは、データ管理における混乱と秩序について、以下のように分析している。

IoT(モノのインターネット、あらゆる物がインターネットに接続されたデバイスになるというコンセプトのこと)の膨大なストリーミングデータは魅力的であるが、同時に管理をする上で明らかな課題も存在する。

情報が企業のデータ品質規約に本当に従っていると保証することに対する課題だ。

その課題が有る限り、多くの組織はIoTの主導から十分な恩恵を得られない。

「IoTは大量のデータを生成しているため、多くの企業がそうしたデータを分析から除外しています。すべてのデータを分析モデルにマッピングしようとすると、時間とリソースの点でコストがかかりすぎるためです」と、高精度データの専門家であるNaveegoのCEO、Katie Horvath氏は述べている。

しかし信頼性の高い分析を行うために、機械学習テクノロジーを適宜組み込むことで、データ品質、データプロファイリング、およびマスターデータ管理(MDM)の側面を改善し、操作を一貫して自動化できる。

このプロセスは、IoTがIIoT(インテリジェント・モノのインターネット)に変わる手助けになるだけでなく、「IoTデータの分析を提供し、データ品質やゴールデン・レコードの一部になります」とHorvath氏は述べた。 「実際、将来的には、これがIoTデバイスの自動マッピングにつながります」

MDMのゴールデン・レコードとは、企業のシステムの記録から必要なすべての情報を捉えることができる一つの包括的なデータセットのことであり、100%正確であると想定されている。

インテリジェント・データプロファイリング

機械学習は、良好なデータ品質を確保するのに不可欠であるデータプロファイリング機能を直接自動化できる。データプロファイリングは、構造、形式、およびその他の重要な特性を判断するためのコアデータの迅速な統計的評価である。機械学習と高度なパターン識別を組み合わせると、データ品質の操作に最適化する。

人工知能のこの側面により、組織は「プロファイリングを使用して、データソース内のデータについて学習し、自動化されたデータ品質チェックを構築できます」とNaveego CTO のDerek Smithは説明する。「プロファイリングを使用し、機械学習と組み合わせて、プロファイリングされたデータの品質チェックを行います」

機械学習技術は、機密情報または個人を特定できる情報に関連するセンサーデータのパターンや、特定の利用状況で関心が持たれる他の特性を特定するのに効果的である。これにより、組織は「データが期待どおりのものであることを確認する」ことができる。

データの品質

機械学習を用いれば、上記のようなデータプロファイリングに基づいた「データ品質測定の自動化」ができる。

データ品質には以下のような4つの側面があるのだが、

  • 精度
  • 一貫性
  • 新しさ
  • 完全性

これらを自動的に測定できるというわけだ。

原文

Automating data quality in the Internet of Things era

AI Business

Translating

PAGE TOP