瞭解 Fabric 中的資料倉儲
現在你已經了解了 data warehouse 的基本原理,讓我們來探討 Microsoft Fabric 在資料倉儲方面提供了哪些功能。
描述 Fabric 資料倉儲
Fabric data warehouse 是一個完全託管的企業級關聯式資料庫,建立在 OneLake 之上。 它提供完整的交易式 T-SQL 功能,包括 DDL 語句(CREATE、ALTER、DROP)和 DML 語句(INSERT、UPDATE、DELETE、MERGE),並具備完整的 ACID 一致性以維持資料一致性。
資料以開放的 Delta 格式儲存在 OneLake,這意味著其他 Fabric 工作負載可以access相同的資料而不重複。 你可以使用 T-SQL 建立資料表、載入資料、建立檢視與儲存程序,以及執行轉換,這些都在熟悉的 SQL 體驗中完成。
主要功能包括:
- 完整 T-SQL 支援 - 使用熟悉的 SQL Server 語法撰寫 DDL 與 DML 語句,包括用於 upsert 情境的 MERGE。
- 完全管理—— 無需配置基礎設施。 計算會自動調整規模,且與儲存體彼此獨立。
- OneLake 整合 - 倉庫資料以 Delta 格式儲存,其他 Fabric 工作負載可存取且不重複。
- 跨資料庫查詢 ——跨倉庫與湖屋查詢資料,且不複製資料。 使用三部分命名(database.schema.table)將倉庫資料表與湖屋資料表合併於單一查詢中。
- 熟悉工具 - 透過標準 TDS 連線連接 SQL Server Management Studio(SSMS)、Azure Data Studio 或任何 SQL 用戶端。
- Copilot 協助 - Copilot for Data Warehouse 從自然語言產生 SQL 查詢,輸入時提供程式碼補全,並能在 SQL 編輯器中解釋或修正現有查詢。
倉庫與 SQL 分析端點的比較
Fabric 工作區可以包含兩種基於 SQL 的項目,分別用於不同的目的。
| 能力 | 倉儲 | SQL 分析端點 |
|---|---|---|
| 讀取資料 | Yes | Yes |
| 寫入資料(插入、更新、刪除、合併) | Yes | 否 |
| 建立資料表(DDL) | Yes | 否 |
| 建立檢視和預存程序 | Yes | Yes |
| 數據源 | 原生倉儲資料表 | Lakehouse Delta 資料表 |
當你需要完整的讀寫 T-SQL 功能時,就用倉庫。 當您需要對 Lakehouse 資料進行唯讀 SQL 存取時,請使用 SQL 分析端點。
建立資料倉儲
你可以從 create hub 或在 workspace 中創建 Fabric 的資料倉儲。 建立空倉庫後,你可以新增資料表、檢視和其他物件。
倉庫建立完成後,你可以開始用 Fabric 入口網站的 SQL query editor 建立資料表和載入資料。
將資料匯入倉庫
有幾種方法可以將資料載入 Fabric data warehouse:
- COPY INTO - 在 Azure storage 中,將外部檔案(CSV、Parquet)中的資料大量載入到倉庫資料表。
- OPENROWSET - 直接從外部 storage 或 OneLake 位置查詢檔案,進行臨時分析或擷取,無需先建立資料表。
- Pipelines 與 Dataflows - 使用 Data Factory pipelines 或 Dataflows Gen2 進行協調式資料移動與轉換。
- 跨資料庫查詢 - 直接從倉庫查詢湖屋資料表,使用三部分命名,無需複製資料。
你可以用 COPY INTO T-SQL 指令從檔案大量載入資料。 例如,以下陳述式將 CSV 檔案的資料載入資料表:
COPY INTO dbo.Region
FROM 'https://mystorageaccount.blob.core.windows.net/data/Region.csv'
WITH (
FILE_TYPE = 'CSV',
CREDENTIAL = (
IDENTITY = 'Shared Access Signature',
SECRET = 'xxx'
),
FIRSTROW = 2
)
GO
小提示
如果您的 Lakehouse 中有一些資料表,您想要在不進行變更的情況下,從資料倉儲查詢它們,請改用跨資料庫查詢。 你不需要複製資料。
建立資料表並載入資料
建立倉庫並選擇擷取方式後,下一步是定義你的資料表並將資料載入其中。
你可以用 T-SQL CREATE TABLE 語句建立資料表。 使用適合分析工作負載的資料類型來定義資料行。
CREATE TABLE dbo.DimCustomer
(
CustomerKey INT NOT NULL,
CustomerAltKey NVARCHAR(10) NOT NULL,
CustomerName NVARCHAR(100) NOT NULL,
Region NVARCHAR(50) NULL
);
GO
CREATE TABLE dbo.FactSales
(
SalesKey INT NOT NULL,
CustomerKey INT NOT NULL,
ProductKey INT NOT NULL,
DateKey INT NOT NULL,
SalesAmount DECIMAL(10,2) NOT NULL,
Quantity INT NOT NULL
);
GO
選擇能兼顧精確度與storage效率的資料類型。 使用 INT 作為關鍵欄位,NVARCHAR 作為可能包含特殊字元的文字,以及 DECIMAL 作為需要精確度的財務價值。
使用暫存表來載入資料
資料倉儲的一個常見模式是先將原始資料放入暫存表,再轉換並載入最終維度與事實表。 暫存資料表會反映來源資料的結構,並作為暫時性的保存區域。
在使用 COPY INTO 或管線將資料載入暫存資料表之後,您再將其轉換並插入維度模型中:
INSERT INTO dbo.FactSales (SalesKey, CustomerKey, ProductKey, DateKey, SalesAmount, Quantity)
SELECT
s.OrderID,
c.CustomerKey,
p.ProductKey,
d.DateKey,
s.Amount,
s.Qty
FROM dbo.StgSales AS s
INNER JOIN dbo.DimCustomer AS c ON s.CustomerID = c.CustomerAltKey
INNER JOIN dbo.DimProduct AS p ON s.ProductID = p.ProductAltKey
INNER JOIN dbo.DimDate AS d ON s.OrderDate = d.DateValue;
GO
這個模式能在載入過程中套用商業規則和金鑰查詢時,保持原始資料完整。
了解資料表複本
你可以在 Fabric 資料倉儲中建立零複製的資料表克隆。 複製表格元資料時,仍會參考 OneLake 中相同的底層資料檔案。 資料本身不會重複,這讓 storage 成本保持低廉。
以下程式碼範例示範如何用 T-SQL 建立克隆:
--Clone creation within the same schema
CREATE TABLE dbo.Employee AS CLONE OF dbo.EmployeeUSA;
表格克隆器對於開發與測試、失敗發布後的資料復原,以及在特定時間點保存資料以供歷史報告非常有用。
小提示
欲了解更多資訊,請參閱 Microsoft Fabric 說明文件中的 Clone 資料表。
既然你已經了解 Fabric 的倉儲功能,讓我們來探討如何查詢並轉換你的資料。