將資料匯入 Lakeflow Designer

你可以將 Azure Databricks 存取的任何資料帶到 Lakeflow Designer 的視覺化資料準備中。

Designer 中的所有資料擷取都從 Source 運算子開始。 當你打開 Source 運算元的設定面板時,你會看到以下選項。

瀏覽現有表格

點擊 「瀏覽現有 」以開啟資產選擇器,並在 Unity 目錄中瀏覽資料表和卷冊。 當你的資料已經在 Azure Databricks 裡時,請使用這個選項。

你也可以選擇 Unity Catalog 的指標檢視作為來源。 當你選擇指標檢視時,選擇要包含的維度和度量,Designer 就會產生彙整後的查詢。

建立外部資料庫連線

在未設定的 來源 運算子中,選擇 建立外部資料庫連線 以連接外部資料庫。 Designer 會建立一個 Unity Catalog 連線和 一個 foreign catalog,然後打開目錄讓你選擇資料表。

建立新的 Unity 目錄連線需要在 Unity 目錄中繼儲存庫上具有 CREATE CONNECTION 和 CREATE CATALOG 權限。

Designer 支援以下連接類型:

  • Amazon Redshift
  • Azure Synapse
  • Databricks
  • 谷歌 BigQuery
  • MySQL
  • Oracle
  • PostgreSQL
  • Salesforce 資料雲端
  • Salesforce 數據雲端檔案共用
  • Snowflake
  • SQL Server
  • Teradata

如果 Designer 中沒有直接可用的資料來源,請檢查 Lakeflow Connect 是否有管理型連接器。 Lakeflow Connect 支援從 SaaS 應用程式(Salesforce、Workday、HubSpot 等)、資料庫、雲端儲存及串流來源的擷取。 當你用 Lakeflow Connect 將資料匯入 Unity 目錄資料表後,你可以在 Designer 中將其作為來源使用。

匯入資料夾或磁碟區

Source 操作員可以針對整個 Unity 目錄的磁碟區或資料夾路徑,而非單一檔案。 Designer 會從資料夾中的檔案中偵測格式,並將其載入單一資料表:

  • 對於結構化檔案格式如 CSV、JSON、Excel 和 Parquet,Designer 會讀取所有檔案並將其列合併成一個表格。
  • 像 PDF 這類文件檔案,Designer 會把每個檔案當作一列讀取,所以每個檔案只讀一列。

拖放檔案

從工作區檔案瀏覽器或本地裝置拖曳檔案到畫布,即可自動建立 Source 運算子。 對於本機檔案,Designer 會將副本上傳到 Unity Catalog 磁碟區,供運算子讀取。

Note

拖放 Excel 檔案需要啟用 Excel 檔案格式支援。 請參閱閱讀與串流 Excel 檔案。

從檔案建立表格

在原始碼設定窗格中選擇 Create table,從檔案上傳本地 CSV 或 Excel 檔案,並從中建立 Unity 目錄資料表。 當你想讓資料以受管理資料表形式存在,而不是存放在磁碟區時,可以使用這個選項。 此外,對於大量資料,這種方式能提供最佳效能。 上傳的檔案會受到 Unity 目錄檔案大小限制。 請參閱 在 Unity Catalog 磁碟區中處理檔案。

從 Google Drive 匯入

要從 Google 雲端硬碟匯入檔案:

  1. 在「來源設定」面板中,選擇 「從 Google 雲端硬碟匯入」。
  2. 選擇一個現有且能存取 Google Drive 的 Unity 目錄連線,或選擇 建立 連線來建立一個。
  3. 請提供檔案網址。

關於連線需求與設定說明,請參見 從 Google Drive 擷取檔案。

從SharePoint匯入

要從 SharePoint 匯入檔案:

  1. 在原始碼設定窗格中,選擇 從 SharePoint匯入。
  2. 選取可存取您 SharePoint 網站的現有 Unity Catalog 連線,或選取 建立連線 來建立一個連線。
  3. 請提供 直接檔案連結。

Warning

要取得正確的網址,請在SharePoint中右鍵點擊檔案,選擇 Preview,然後從瀏覽器網址列複製網址。 請勿使用分享連結。

關於連線需求與設定說明,請參見從 SharePoint 擷取檔案。

其他資源