Unity カタログでのデータ検出

データ検出は、組織全体のユーザーがカタログ内のデータ資産を検索、理解、および信頼する機能です。 管理者として、あなたは「利用可能にする閲覧体験」、「適用するタグ付けメタデータや信頼性のシグナル」、そして「データの意味を定義するセマンティック レイヤー」を通じて、データの発見しやすさを形作ります。 このページでは、Unity Catalogのデータ発見機能の概要と、それぞれの詳細なドキュメントへのリンクを提供しています。

発見ページ

Discoverページは、ユーザーがドメインやサブドメイン別、または資産タイプ別に整理されたデータ資産を見つけ、AI推奨の資産を探索できる厳選されたブラウジング体験です。 キュレーターは、組織にとって最も価値のある資産を整理し強調し、 お客様がビジネスの理解に沿った形でデータを閲覧できるようにします。

[検出] ページを開くには、サイドバーで コンパスのアイコン。[検出] をクリックします。

[検出] ページでドメイン別に参照する

ディスカバーページは、データ検索や整理のための複数の機能を統合しています:

  • ドメインとサブドメイン:関連資産をグループ化し、ユーザーがビジネスエリアごとにデータを閲覧できるようにするビジネスに合わせた階層構造です。
  • ページ:ビジネスの概念や用語を定義する管理されたページ。 Genie One は、ビジネス用語に基づいて回答を裏付ける必要がある際、これらのページを信頼できる唯一の情報源として参照します。
  • AI搭載の推薦:人気で価値のある資産が自動的に表示され、キュレーターが大規模に最良のデータをハイライトするのを助けます。
  • カスタムキュレーション:キュレーターが定義したセクションで、ドメインや組織全体の最も価値ある資産をハイライトし整理します。

以下のページを使って、ディスカバー ページとその中の主要な機能について詳しく学びましょう。

ページ Description
Discover ページ ドメインや資産タイプごとにキュレーションされたデータ資産を閲覧し、カタログ全体で検索できます。
ドメインとサブドメイン データ資産をビジネスに合わせた階層構造に整理し、ユーザーがDiscoverページで閲覧できるようにします。
ページ ビジネス コンセプトを定義するページを作成および管理し、[検出] ページに表示します。

キュレーターと消費者のペルソナ

ユーザーは [検出] ページを 2 つのペルソナのいずれかとして操作します。

  • キュレーター:ドメインの作成・管理、資産の割り当て、 Discover ページのカスタマイズ、組織内の他者がビジネス目的でデータを閲覧できるようにします。 ページの場合、キュレーターはドメイン内の任意のページを編集、公開、管理できます。 これらの操作にはキュレーター権限が必要であり、アカウント管理者はアカウントレベル(MANAGE DISCOVER)または特定のドメインやサブドメイン(MANAGE)で権限を付与できます。 キュレーターの権限をご参照ください。
  • Consumer: Discover ページを使ってドメインや資産タイプ別に整理されたキュレーションされたアセットを見つけ、AI推奨のアセットを探索します。 [ページ] の場合、ユーザーは、アクセス可能なドメイン内で「ページ」を作成および公開したり、公開された「ページ」の閲覧、コメント、編集の提案を行ったりすることができます。 コンシューマー の手順を参照してください。

カタログ エクスプローラー

Discoverページがキュレーションされたデータのサブセットを示すのに対し、Catalog Explorerはカタログ内のすべてをビジネスに沿った階層ではなくカタログ階層で表示します。 これは、キュレーションされたビューでは表示されないオブジェクトのプロパティ、権限、サンプルデータ、データリネージなど、データオブジェクトを直接閲覧・検査するためのインターフェースです。 組織が推奨する資産を探している場合はDiscoverページに、全体像を把握したい場合や特定のオブジェクトを調査して設定する必要がある場合はCatalog Explorerに案内してください。

カタログ エクスプローラーを開くには、[データ] アイコンをクリックします。サイドバーのカタログ。

カタログエクスプローラーのインターフェースで、カタログツリーと提案するオブジェクトのリストが表示されます

ページ Description
カタログ エクスプローラー Unityカタログのオブジェクトを閲覧・検査し、その詳細、権限、関係性を確認できます。
Database オブジェクトを確認する カタログエクスプローラーでカタログ、スキーマ、テーブル、その他のデータベースオブジェクトを見つけて確認できます。

Unity Catalog セマンティクス

Unity Catalogのセマンティクス は、カタログデータに基づいて標準的なビジネス指標、用語、組織構造を定義するのに役立つツールのコレクションです。 これにより、組織とそのAIツールはデータの意味についての一つの共通解釈に基づいて作業できます。 Unity カタログのセマンティクスは以下のコンポーネントで構成されています:

  • メトリックビューは 再利用可能なビジネスKPIを定義し、管理します。
  • ドメインとサブドメインは 、 Discover ページで閲覧できるビジネスに合わせた階層構造に資産を整理します。
  • ページは 各ビジネスの概念や用語に権威ある定義を与えます。
  • 認定と廃止フラグは、組織が審査した資産と古い資産を示すフラグです。

これらの定義はGenie Ontology の人間モデル層を構成しています。これは、あなたが明示的に定義し管理するビジネス コンテキストです。 Genie Oneは、このモデリングされたコンテキストと、あなたの資産や使用状況から自動的に推論されるコンテキストを組み合わせ、質問に答えるために活用する統一されたコンテキストレイヤーを形成します。

以下のページを使って、Unity Catalogのセマンティクスとその構成要素について詳しく学びましょう:

ページ Description
指標表示 Unity Catalogオブジェクトとして一貫性があり再利用可能なビジネスKPIを定義し、管理します。
ドメインとサブドメイン データ資産をビジネスに合わせた階層構造に整理し、利用者がDiscoverページで閲覧できるようにします。
ページ 著者が管理する、人々と Genie One のためのビジネス コンセプトを定義するページ。
データを認証済みまたは非推奨としてマークする 組織がどのデータ資産を信頼しているか、そしてどのデータが古くなっているかを明確に示しましょう。

タグ付け

タグ はUnity Catalogのセキュラブルオブジェクトに適用して整理・分類する属性で、データの検索やフィルタリングが容易になります。 管理タグでは、管理者が特定のタグ キーをガバナンス対象としてマークし、各タグ キーに許可される値のセットを定義します。

たとえば、管理された sensitivity タグは public、internal、または restricted のみを許可するため、同じタグがカタログ全体で同じように適用されます。

オブジェクトにガバナントタグを割り当てる

ページ Description
Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する カタログオブジェクトにタグを適用・管理して、データを整理・分類しましょう。
統制タグ 特定のタグキーを管理対象としてマークし、一貫したタグ付けのために許可される値を定義してください。

系列

系列は、テーブル、列、AI アセット間でのデータの流れを追跡します。そのため、ユーザーはデータを信頼する前に、そのデータの出所や使用方法をたどることができます。 Unity CatalogはAzure Databricks上で実行されるクエリの系譜を自動的にキャプチャし、Catalog Explorerで表示します。

カタログエクスプローラーにおける系譜グラフ

ページ Description
Unity Catalog のリネージ テーブル、カラム、ノートブック、その他の資産間でデータの流れをキャプチャし、確認できます。
外部の系列 Azure Databricksと外部システム間を移動するデータの系譜を追跡しましょう。

認定資格と廃止

データ資産を認定して組織の基準を満たしていることを示すことも、非推奨にして古くなっており使用すべきでないと警告することもできます。 これらのシグナルはワークスペース内のアセットの隣に表示され、検索時の表示に影響を与えるため、ユーザーは使用前にアセットを信頼すべきかどうか判断できます。

例えば、データ資産の横に青いチェックマークがあると、認証済みであることを示します。

オブジェクトの認定ステータス

ページ Description
データを認証済みまたは非推奨としてフラグ付けする システムタグを適用して、アセットを認証済みまたは非推奨としてマークしてください。