イントロダクション

生データが分析可能な形式で到着することはめったにありません。 欠損値、重複レコード、一貫性のないデータ型、および不適切に構造化されたデータセットは、データ エンジニアがビジネス価値を提供する前に対処する必要がある一般的な課題です。 適切なクレンジングと変換がないと、分析結果が信頼できなくなり、ダウンストリーム プロセスが失敗します。 Azure Databricks の Unity カタログは、このプロセス全体で変換されたデータ資産を管理するためのガバナンス基盤を提供します。

Azure Databricksには、データ品質と変換作業のためのツールキットが用意されています。 データ プロファイルでは 、null の割合、予期しない値の分布、データドリフトなどの問題を明らかにする概要統計が生成されます。 型の選択 により、列はストレージ効率とクエリパフォーマンスのために適切なデータ型を使用できます。 重複および null 処理 手法を使用すると、SQL または PySpark を使用して、一般的なデータ品質の問題を特定して解決できます。 フィルター処理、グループ化、集計、結合、およびセット演算子などの変換操作は、分析要件を満たすようにデータを整形します。

基本的な変換以外にも、高度なリシェイプ手法を使用します。 非正規化 では、関連するテーブルがフラット化され、クエリのパフォーマンスが向上します。 ピボットを使用すると 、行の値が表間分析用の列に回転され、ピボット 解除 すると、正規化されたデータ構造に対してこのプロセスが逆になります。 最後に、追加、上書き、マージなどの 読み込み方法 により、新しいレコードの追加、既存のデータの置き換え、アップサート操作による変更の同期など、変換されたデータがターゲット テーブルに正しく配置されます。

このモジュールでは、プロファイリングを通じてデータ品質を評価する方法、クレンジング手法を適用して一般的な問題を解決する方法、SQL 操作と PySpark 操作を使用してデータを変換する方法、各シナリオに適した戦略を使用して結果を Unity カタログ テーブルに読み込む方法について説明します。