マスター データ管理のための Microsoft Purview と CluedIn の統合

重要

Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。

CluedIn アーキテクチャは、取り込むデータの品質に関する指標を企業に提供し、ダーティなデータをインテリジェントに検出し、データ エンジニアやデータ スチュワードによるクリーニングのために準備します。 独自のファジーロジック機械学習アルゴリズムは、ビジネスユーザーとキュレーターがデータにラベル付けし、時間の経過とともにデータ品質の問題を特定、修正、防止するようにシステムに指示するのに役立ちます。

アーキテクチャ

CluedIn のアーキテクチャ構造とデータ フローを示す図。

データフロー

CluedIn ソリューションは、Azure Kubernetes Service (AKS) の Kubernetes クラスターで実行されるさまざまな機能レイヤーで構成されています。 .NET Core マイクロサービス アプリケーションの組み合わせは、データ インジェスト、ストリーミング データ処理、キュー、ユーザー インターフェイスなどの個別の関数を処理します。

  1. CluedIn クロール層は、Azure Data Factory コネクタを介して、Azure SQL DB、Azure Cosmos DB、PostgreSQL、Salesforce データベースなどの顧客クラウド ソースからデータを取り込みます。

    CluedIn は、SAP、Oracle、IBM、Hadoop などのオンプレミスのアクセス可能なシステムから入力を受け取ったり、オンプレミスのエージェントを使用して非公開データをクロールしたりすることもできます。

  2. Enterprise Service Bus は、管理エンドポイント用のポート 5672 と 15672 を介して接続します。 クローラーはバスにデータを送信し、処理層はポート 5672 を介してバスからデータを消費します。

  3. トランザクション ログ レイヤーは、処理レイヤーから結果を取得します。

  4. 永続化レイヤーでは、データベースはトランザクション ログのデータを使用して永続化し、さまざまなデータ ストア間で最終的な整合性を提供します。 すべてのストアは高可用性 (HA) モードで実行されます。

    データ仮想化とは異なり、CluedIn 永続化レイヤーはソース データの一部を取り込み、最高品質のバージョンのデータとその構造を保持します。 この高い忠実度は、CluedIn Data Fabric があらゆる形式またはモデルのデータに対するビジネス要求に対応できることを意味します。

  5. データ抽象化レイヤーは、各ストアのポートを介してさまざまなデータ ストアに接続します。

  6. データ アクセスは、ポート 443 経由で GraphQL、REST、および WebSocket 呼び出しを介して行われます。 GraphQLとRESTはプルモデルを使用し、WebSocketsはプッシュモデルを使用します。

    CluedIn は、スロットリングとクロスサイト リクエスト フォージェリ (CSRF) 防止を通じてデータ アクセスを保護します。

  7. CluedIn ASP.NET Core Web アプリケーションは、ポート 443 経由で REST 呼び出しと GraphQL 呼び出しの組み合わせを使用して通信します。

    ブラウザーからアプリケーションへのすべての通信では、1 つのパブリック IP アドレスのみを必要とする一連のイングレス定義が使用されます。 実稼働環境では、すべての通信は SSL (Secure Socket Layer) を介して行われます。

  8. CluedIn アプリケーションは、分析情報を生成するために、削除および処理されたデータを Power BI や Azure Synapse Analytics などの分析サービスに提供します。 システムは、すべてのデータを SQL または Redis データベースにバックアップして保存します。

コンポーネント

CluedIn は、コンテナー化されたアプリケーションのデプロイと管理を行うための、可用性、セキュリティで保護された、フル マネージドの Azure Kubernetes Service (AKS) 上で実行されます。 AKS は、サーバーレス Kubernetes、統合された CI/CD、エンタープライズ レベルのセキュリティとガバナンスを提供します。

CluedIn では、次のような多くのデータベース ソースとサービスが使用され、サポートされています。

  • Azure SQL Database。常に最新の状態を維持し、必要に応じてリソースを自動的にスケーリングできるマネージド リレーショナル クラウド データベース サービスです。
  • 既存の SQL Server アプリケーションとの広範な SQL Server エンジン互換性のための Azure SQL Managed Instance。 SQL Managed Instance は、オンプレミスのデータベース インフラストラクチャに、エラスティック スケール、統合管理、クラウド課金モデルなどの Azure クラウドの利点を提供します。
  • Azure Cosmos DB は、最新のアプリ開発向けのフル マネージドの非リレーショナル NoSQL サーバーレス データベースです。
  • Azure Data Lake は、スケーラブルなデータ ストレージおよび分析サービスです。
  • Azure Data Factory は、データの大規模な取り込み、準備、変換を行うための、完全に管理されたサーバーレスのデータ統合ソリューションです。 CluedIn は、90 を超える組み込みの Data Factory コネクタを使用して、Amazon Redshift、Google BigQuery、HDFS、Oracle Exadata、Teradata、Salesforce、Marketo、ServiceNow、およびすべての Azure データ サービスなどのソースからデータを取得します。

CluedIn は、処理され、管理されたデータを次のような多くの分析アプリやサービスに提供します。

  • Azure Databricks。高速で簡単かつ協調的な Apache Spark ベースの分析サービスです。
  • Azure Synapse Analytics は、エンタープライズ データ ウェアハウスとビッグ データ分析を組み合わせた、無制限の分析サービスです。
  • Log Analytics は、Azure Monitor ログ データからクエリを編集、実行、分析するための Azure portal ツールです。
  • Azure Cognitive Services は、インテリジェントなアプリを構築するための AI サービスとコグニティブ API の包括的なファミリです。
  • Power BI は対話型の視覚化とビジネス インテリジェンスを使いやすいレポート作成インターフェイスと組み合わせた Microsoft ビジネス分析サービスです。

シナリオの詳細

現代のエンタープライズ企業は、多くのプロセスやプロジェクトをデータに基づいてしていますが、生データは使用できるように準備する必要があります。 高度な分析から機械学習に至るまで、データのユースケースはすべて、同様のデータ準備プロセスと注意を必要とします。

  1. データ プロジェクトは、データの場所と使用するシステムを決定するためのデータ 検出から始まります。
  2. データ 統合 を使用すると、複数のデータ ソースを統合または接続されたデータ セットにまとめます。
  3. 次のステップは、データを正規化、標準化、調和、クリーン化して、機械が均一で一貫した忠実度の高い方法で処理できるようにすることです。
  4. 最後に、ビジネス ニーズに合わせてデータを簡単かつ容易に利用できるようにする必要があります。

これらのプロセスにおいて、 ガバナンスは 、明確な所有権、完全なトレーサビリティ、データのオリジン、処理、使用の監査証跡により、データ管理とプライバシー保護を確保する必要があります。

CluedIn プラットフォームは、これらのデータ管理プロセスと柱を、一貫性のある一貫性のあるエンドツーエンドのマスター データ管理 (MDM) ソリューションにカプセル化します。 CluedIn は、 最終的な接続 と呼ばれるデータ統合手法を使用しており、従来の 抽出、変換、ロード (ETL) モデルまたは 抽出、ロード、変換 (ELT) モデルよりも優れた結果が得られます。 最終的な接続では、GraphQL クエリを使用して、多くのサイロ化されたデータ ソースからデータをシームレスにブレンドします。

最終的な接続では、他のシステムに入るとき、または他のシステムに読み込んだときにデータが結合またはブレンドされることはありません。 代わりに、CluedIn はデータをそのまま読み込み、メタデータを使用してレコードにタグ付けします。 最終的に、同じタグを持つレコードが結合またはグラフ内でリレーションシップを構築します。

この高度なデータ マージ技術は、データ駆動型ソリューションの基盤を提供します。 CluedIn Data Fabric は、データをクリーニング、準備、モデル化、管理、強化、重複除去、カタログ化するパイプラインに統合して、ビジネス用途で簡単に利用でき、アクセスできるようにします。

CluedIn は、取り込むデータの品質に関する指標を企業に提供し、ダーティなデータをインテリジェントに検出し、データ エンジニアやデータ スチュワードによるクリーニングのために準備します。 独自のファジーロジック機械学習アルゴリズムは、ビジネスユーザーとキュレーターがデータにラベル付けし、時間の経過とともにデータ品質の問題を特定、修正、防止するようにシステムに指示するのに役立ちます。

CluedIn にはエンタープライズ レベルのガバナンスが含まれており、データを安全かつ自信を持って使用できます。 CluedIn では、クリーニングおよび管理されたデータを Power BI、Azure Databricks、Azure Synapse Analytics、Azure Cognitive Services などの分析システムに直接ストリーミングして、他のビジネスで簡単に利用できるようにします。 自動スケーリングのネイティブ サポートは、Azure の機能を使用して、最大のデータ ワークロードにスケーラブルな環境を提供します。

考えられる使用例

データの単一ビューの作成

  • CluedInのセマンティックモデリングにより、従来のアプローチと比較して、マスターデータの単一ビューを簡単に構築できます。 CluedIn の顧客は、CluedIn を使用して、最も重要なビジネス データの接続された履歴の高品質のビューを構築しています。 CluedIn は、People、Companies、Vendor、Products などの従来のマスター ドメインのマスタリングをサポートするだけでなく、無限の数のさまざまなドメインや、ファイル、メール、イベントなどの非構造化ドメインをサポートします。 クリーンで強化され、管理され、品質管理され、カタログ化されたマスターデータの一元化されたリポジトリが必要な場合は、CluedIn がユースケースに適しています。

データファブリック

  • CluedIn は、10 年代、100 年代、1000 年代の異なる複雑なデータソースからのデータを統合データ ハブに調整する機能により、2020 年に Gartner のクール ベンダーに選ばれました。 さまざまなデータソースからのデータを簡単にラングリングする必要がある場合は、CluedIn をデータファブリックとして使用してこれを実現できます。 これにより、データのストリーミング インフラストラクチャを提供でき、ダウンストリームのコンシューマーに流れるデータをプロアクティブにクリーン化してマスターすることもできます。

マスターデータの高度なマージとリンク

  • CluedIn の独自のデータ モデリング アプローチは、複雑なデータを簡単にマージしてリンクできるグラフ データベースを利用しています。 従来のアプローチとは異なり、この課題を解決するために、CluedIn はより多くの機械学習とグラフ分析を追加して、レコードを高精度でマージ、照合、リンクします。

考慮事項

これらの検討事項により、ワークロードの品質を向上させるために使用できる一連の指針となる原則である Azure Well-Architected Framework の柱が実装されます。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。

信頼性

信頼性により、アプリケーションは顧客との約束を満たすことができます。 詳細については、「 信頼性の柱の概要」を参照してください。

  • CluedIn は、データベースを毎日自動的にバックアップし、既定で 30 日間長期保存します。 プラットフォーム全体は、すべてのサブシステムのバックアップを維持する冗長でフォールト トレラントなスタック上に構築されています。 24時間体制の監視システムにより、サービスが可能な限り汚染されないようにします。 CluedIn は、インフラストラクチャの冗長性に関する業界標準のプラクティスに従います。

  • CluedIn は、元のバージョンではなく、データの表現のみを表示および格納します。 CluedIn が破壊的なデータ侵入を検出すると、サーバーから CluedIn データを一時的に消去できます。 侵入が収まると、CluedIn は元の状態に戻るためにデータを再収集します。

  • すべてのデータ ストアは高可用性モードで実行されます。

スケーラビリティ

  • CluedIn は Docker コンテナ ーで実行され、 Kubernetes を使用してアプリケーションのさまざまな部分をホストおよび調整します。 このアーキテクチャは、CluedIn が弾力性のある環境で適切に機能し、必要なサイズとインフラストラクチャに自動的にスケーリングできることを意味します。

  • 自動スケーリングのネイティブ サポートは、Azure の力を適用して、最大のデータ ワークロードにスケーラブルな環境を提供します。

  • スキーマレス グラフ モデリングでは、ソース データからデータ モデルが自動的に推論されます。 新しいデータ ソースは、明示的に統合することなく、他のすべてのデータ ソースに自動的に接続します。 データ ソースの数は、統合の複雑さを増すことなく無限に拡張できます。

セキュリティ

セキュリティは、意図的な攻撃や、貴重なデータやシステムの悪用に対する保証を提供します。 詳細については、「 セキュリティの柱の概要」を参照してください。

  • CluedIn セキュリティは、アクセス許可を付与し、Azure RBAC を通じてさまざまなサービスへのアクセスを制御し、セキュリティ キー制御と Azure Key Vault AzureMonitor アクセス追跡とロギングを行います。

  • 認証されたユーザー アカウントに加えて、CluedIn はシングル サインオン (SSO) と ID フレームワークもサポートします。 CluedIn アプリケーションへの要求では、ユーザー ID と相関関係のない暗号化されたアクセス トークンが使用されます。

  • CluedIn は、複数のファイアウォールおよびプロキシ層の背後に保存されたデータ表現を管理し、一連の一意のキーを使用してそれらを認証します。

  • CluedIn は、すべてのソース データを、サポートされているデータ ソースの暗号化レベル以上の 256 ビット AES 暗号化で格納します。

  • スロットリングと CSRF 防止は、データ アクセスを保護します。

DevOps

  • CluedIn は、Azure Pipelines の継続的インテグレーションおよび継続的デリバリー (CI/CD) パイプラインを使用して、AKS 環境へのデプロイとローリング更新を処理します。

  • CluedIn は、データが期待どおりに変換されることを確認するために、単体テスト、統合テスト、および機能テストをサポートしています。 仮想化された処理パイプラインは、サンドボックス テストのためにメモリ内で実行できます。 実稼働グレードのアサーションは、データの問題のデバッグと追跡に役立ちます。

  • テストおよび本番環境向けに、CluedIn は CluedIn を Kubernetes クラスターにすばやくインストールするための Helm パッケージ マネージャー チャートを提供します。 完全にスクリプト化されたデータ展開プロセスでは、セットアップ、テスト、ロールアウトがサポートされます。

コストの最適化

コスト最適化とは、不必要な費用を削減し、運用効率を向上させる方法を検討することです。 詳細については、「 コスト最適化の柱の概要」を参照してください。

CluedIn の価格はオープンかつ透明です。 価格は Web サイトで確認できます。

Azure のサイズ設定と試用版の開始

CluedIn の Web サイトで 7 日間のトライアルを開始することができ、さまざまな規模の環境向けに事前構築された Azure 見積もりを使用して Azure ホスティング コストの範囲を設定するのにも役立ちます。

このシナリオを展開する

  • Docker を使用して開発および評価目的で CluedIn をデプロイするには、「 Docker を使用した CluedIn」を参照してください。

  • Kubernetes クラスターに CluedIn をすばやくインストールするには、 Kubernetes を使用した CluedIn を参照してください。 Helm チャートは、CluedIn サーバー、Web サイト、およびストレージやキューなどのその他の必要なサービスをインストールします。

次の手順