將資料匯入 Lakeflow Designer

你可以將 Azure Databricks 存取的任何資料帶到 Lakeflow Designer 的視覺化資料準備中。

Designer 中的所有資料擷取都從 Source 運算子開始。 從歡迎畫面新增來源,或開啟來源操作員的設定面板來選擇你的資料。

瀏覽現有表格

在歡迎畫面中,從建議、收藏或最近使用的資料表中選擇,將它加入為來源運算子。 使用分類選單切換列表,或點擊 「瀏覽所有資料 」尋找其他資料表。

在 Source 操作員的設定窗格中,點擊 「瀏覽現有」 以開啟資產選擇器,並在 Unity Catalog 中瀏覽資料表和卷。 當你的資料已經在 Azure Databricks 裡時,請使用這個選項。

你也可以選擇 Unity Catalog 的指標檢視作為來源。 當你選擇指標檢視時,選擇要包含的維度和度量,Designer 就會產生彙整後的查詢。

建立外部資料庫連線

在未設定的 來源 運算子中,選擇 建立外部資料庫連線 以連接外部資料庫。 Designer 會建立一個 Unity Catalog 連線和 一個 foreign catalog,然後打開目錄讓你選擇資料表。

建立新的 Unity 目錄連線需要在 Unity 目錄中繼儲存庫上具有 CREATE CONNECTION 和 CREATE CATALOG 權限。 若要列出、授予存取權或日後刪除連線,請參閱 「管理 Lakehouse Federation 的連線」。 要管理外部目錄,請參見管理和處理外部目錄。

Designer 支援以下連接類型:

  • Amazon Redshift
  • Azure Synapse
  • Databricks
  • 谷歌 BigQuery
  • MySQL
  • Oracle
  • PostgreSQL
  • Salesforce 資料雲端
  • Salesforce 數據雲端檔案共用
  • Snowflake
  • SQL Server
  • Teradata

如果 Designer 中沒有直接可用的資料來源,請檢查 Lakeflow Connect 是否有管理型連接器。 Lakeflow Connect 支援從 SaaS 應用程式(Salesforce、Workday、HubSpot 等)、資料庫、雲端儲存及串流來源的擷取。 當你用 Lakeflow Connect 將資料匯入 Unity 目錄資料表後,你可以在 Designer 中將其作為來源使用。

擷取資料夾或磁碟區

Source 操作員可以針對整個 Unity 目錄的磁碟區或資料夾路徑,而非單一檔案。 Designer 會從資料夾中的檔案中偵測格式,並將其載入單一資料表:

  • 對於結構化檔案格式如 CSV、JSON、Excel 和 Parquet,Designer 會讀取所有檔案並將其列合併成一個表格。
  • 像 PDF 這類文件檔案,Designer 會把每個檔案當作一列讀取,所以每個檔案只讀一列。

拖放檔案

從工作區檔案瀏覽器或本地裝置拖曳檔案到畫布,即可自動建立 Source 運算子。 對於本機檔案,Designer 會將副本上傳到 Unity Catalog 磁碟區,供運算子讀取。

Note

拖放 Excel 檔案需要啟用 Excel 檔案格式支援。 請參閱閱讀與串流 Excel 檔案。

當你新增 CSV 檔案時,Designer 會取樣該檔案以偵測逗號、制表符、分號或管道分隔符。 請檢查 Source 操作員的預覽,確認欄位間的分離是否正確。 如果範例有歧義或 Designer 無法讀取,則會使用預設的分隔符。 當自動偵測與你的檔案不符時,請在來源操作員的檔案選項中設定 分隔符 。

從檔案開始視覺化資料準備

要從一個或多個檔案開始新的視覺資料準備,打開 視覺資料準備 頁面,點擊 「新」旁的下拉箭頭,選擇 匯入檔案,然後選擇 「作為來源」。 上傳一個或多個 CSV、JSON、Excel 或 PDF 檔案。 Designer 為每個檔案建立一個包含 Source 運算子的視覺化資料準備。

從檔案建立表格

在原始碼設定窗格中選擇 Create table,從檔案上傳本地 CSV 或 Excel 檔案,並從中建立 Unity 目錄資料表。 當你想讓資料以受管理資料表形式存在,而不是存放在磁碟區時,可以使用這個選項。 此外,對於大量資料,這種方式能提供最佳效能。 上傳的檔案會受到 Unity 目錄檔案大小限制。 請參閱 在 Unity Catalog 磁碟區中處理檔案。

從 Google Drive 匯入

要從 Google 雲端硬碟匯入檔案:

  1. 在「來源設定」面板中,選擇 「從 Google 雲端硬碟匯入」。
  2. 選擇一個現有且能存取 Google Drive 的 Unity 目錄連線,或選擇 建立 連線來建立一個。
  3. 請提供檔案網址。

關於連線需求與設定說明,請參見 從 Google Drive 擷取檔案。

從 SharePoint 匯入

要從 SharePoint 匯入檔案:

  1. 在原始碼設定窗格中,選擇 從 SharePoint匯入。
  2. 選取可存取您 SharePoint 網站的現有 Unity Catalog 連線,或選取 建立連線 來建立一個連線。
  3. 請提供 直接檔案連結。

Warning

要取得正確的網址,請在SharePoint中右鍵點擊檔案,選擇 Preview,然後從瀏覽器網址列複製網址。 請勿使用分享連結。

關於連線需求與設定說明,請參見從 SharePoint 擷取檔案。

選擇工作表與儲存格範圍

支援的儲存格範圍格式取決於試算表儲存的位置。

Google 雲端硬碟與 Microsoft 365 檔案

當您從 Google 雲端硬碟、SharePoint 或 OneDrive 匯入 Google 試算表或 Excel 檔案時,請使用 Sheets 名稱與儲存格範圍選取要讀取的資料:

  1. 在來源的匯入對話框中提供檔案 URL。
  2. 可選:輸入 工作表名稱 以選取工作表。
  3. 在 「儲存格範圍」 中,輸入儲存格參考(例如 A1)、範圍(如 A1:B10)或欄範圍(如 A:A)。
  4. 點選 「載入」,然後檢查來源運算元的預覽。 您可以在來源設定窗格中調整 工作表名稱 與 儲存格範圍 ,並套用變更。

沒有工作表名稱的儲存格範圍會讀取第一個工作表,即使 URL 開啟了另一個tab. CSV 和 TSV 來源不使用試算表的工作表和範圍控制項。

磁碟區中的 Excel 檔案

對於 Unity 目錄磁碟區中的 Excel 檔案,請在來源運算子的設定窗格中選取或輸入工作表名稱。 若要讀取工作表的一部分,請輸入一個範圍,且兩端點皆為 儲存格範圍,例如 A1:B10。 不支援單一儲存格 (A1) 及整欄範圍 (A:A) 保持 儲存格範圍 為空,以讀取整張工作表。

其他資源