การนําเข้าข้อมูลลงในคลังสินค้าของคุณโดยใช้ Transact-SQL

นําไปใช้กับ:✅ Warehouse ใน Microsoft Fabric

ภาษา Transact-SQL มีตัวเลือกที่คุณสามารถใช้เพื่อโหลดข้อมูลจากตารางที่มีอยู่ในเลคเฮ้าส์และคลังสินค้าของคุณลงในตารางใหม่ในคลังสินค้าของคุณ ตัวเลือกเหล่านี้จะสะดวกถ้าคุณต้องการสร้างตารางเวอร์ชันใหม่ที่มีข้อมูลรวม เวอร์ชันของตารางที่มีชุดย่อยของแถว หรือเพื่อสร้างตารางอันเป็นผลมาจากคิวรีที่ซับซ้อน เรามาสํารวจตัวอย่างกัน

สร้างตารางใหม่ที่มีผลลัพธ์ของคิวรี

Warehouse ใน Microsoft Fabric ช่วยให้คุณสามารถสร้างตารางใหม่โดยยึดตามผลลัพธ์ของคิวรี T-SQL ได้อย่างง่ายดาย โดยใช้คําสั่ง T-SQL ต่อไปนี้:

• CREATE TABLE AS SELECT คําสั่ง CTAS ที่ช่วยให้คุณสามารถสร้างตารางใหม่ในคลังสินค้าของคุณจากผลลัพธ์ของ SELECT ใบแจ้งยอด
• SELECT INTO ส่วนคําสั่งคิวรีที่ช่วยให้คุณสามารถเลือกผลลัพธ์จากแหล่งข้อมูลตารางใด ๆ และเปลี่ยนเส้นทางผลลัพธ์ไปยังตารางใหม่ นี่คือคุณลักษณะมาตรฐานในภาษา T-SQL

ข้อความสองรายการนี้จะคล้ายกัน ดังนั้นตัวอย่างต่อไปนี้จะเน้นที่คําสั่ง CTAS

คําสั่ง CTAS เรียกใช้การดําเนินการนําเข้าลงในตารางใหม่พร้อมกัน ทําให้มีประสิทธิภาพสูงสําหรับการแปลงข้อมูลและการสร้างตารางใหม่ในพื้นที่ทํางานของคุณ

คุณสามารถใช้ตัวเลือกต่อไปนี้สําหรับ SELECT ส่วนหนึ่งของคําสั่ง CTAS:

• การอ่านตารางคลังสินค้า เช่น ตารางการจัดเตรียม
• การอ่านโฟลเดอร์ของ Lakehouse Delta Lake โดยใช้ตารางที่สร้างขึ้นโดยอัตโนมัติในจุดสิ้นสุดการวิเคราะห์ SQL สําหรับ Lakehouse
• การอ่านไฟล์ CSV, Parquet หรือ JSONL โดยตรงจาก Azure Data Lake หรือที่เก็บข้อมูล Azure Blob โดยใช้ OPENROWSET ฟังก์ชัน

เมื่อต้องการโหลดชุดข้อมูลตัวอย่าง ให้ทําตามขั้นตอนใน นําเข้าข้อมูลลงในคลังสินค้าของคุณโดยใช้คําสั่ง COPY เพื่อสร้างข้อมูลตัวอย่างลงในคลังสินค้าของคุณ

สร้างตารางจากตารางคลังสินค้า

ตัวอย่างแรกแสดงวิธีสร้างตารางใหม่ที่เป็นสําเนาของตารางที่มีอยู่ dbo.TaxiTrips แต่ถูกกรองให้รวมเฉพาะข้อมูลจากปี 2023:

CREATE TABLE dbo.TaxiTrips_2023
AS
SELECT * 
FROM dbo.TaxiTrips 
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

สร้างตารางจากโฟลเดอร์ Delta Lake

โฟลเดอร์ Delta Lake ที่ยังคงอยู่ใน OneLake จะแสดงเป็นตารางโดยอัตโนมัติหากจัดเก็บไว้ใน /Table ในเลคเฮ้าส์ รหัสต่อไปนี้สร้างตาราง TaxiTrips_2023 ใหม่จากโฟลเดอร์ /Tables/TaxiTrips Delta Lake ในเลคเฮาส์ MyLakehouse :

CREATE TABLE dbo.TaxiTrips_2023
AS
SELECT * 
FROM MyLakehouse.dbo.TaxiTrips 
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

คุณสามารถอ้างอิงโฟลเดอร์ Delta Lake โดยใช้สแทนชื่อสามส่วนที่อ้างอิงถึง lakehouse ที่มีการจัดเก็บไฟล์ ตัวอย่างทั้งหมดที่แสดงในส่วนก่อนหน้านี้สามารถใช้ได้กับโฟลเดอร์ Delta Lake

สร้างตารางจากไฟล์ CSV/Parquet/JSONL

คุณยังสามารถสร้างตารางใหม่ได้โดยตรงจากไฟล์ภายนอกโดยใช้ OPENROWSET ฟังก์ชัน ตัวอย่างเช่น ตัวอย่าง T-SQL ต่อไปนี้ใช้ตัวยึดตําแหน่งเพื่อสาธิตวิธีที่คุณสามารถนําเข้าไฟล์ Parquet สาธารณะ

CREATE TABLE dbo.<table_name>
AS
SELECT *
FROM OPENROWSET(BULK 'https://<storage account>.blob.core.windows.net/public/<subfolder>/<file name>.parquet') AS data;

คุณสามารถสร้างตารางใหม่ได้โดยการแปลงข้อมูลจากไฟล์ CSV ภายนอกที่พร้อมใช้งานแบบสาธารณะ:

CREATE TABLE dbo.<table name>
AS
SELECT *
FROM OPENROWSET(BULK 'https://<storage account>.blob.core.windows.net/public/<subfolder>/<file name>.csv') AS data;

หรือคุณสามารถสร้างตารางใหม่โดยการแปลงข้อมูลจากไฟล์ JSONL ภายนอกที่พร้อมใช้งานแบบสาธารณะ:

CREATE TABLE dbo.<table name>
AS
SELECT *
FROM OPENROWSET(BULK 'https://<storage account>.blob.core.windows.net/public/<subfolder>/<file name>.jsonl') AS data;

• สําหรับข้อมูลเพิ่มเติมและตัวอย่างเกี่ยวกับการสอบถามข้อมูลภายนอก โปรดดู คิวรีไฟล์ Data Lake ภายนอกโดยใช้ Fabric คลังข้อมูล หรือจุดสิ้นสุดการวิเคราะห์ SQL
• สําหรับตัวอย่างและการอ้างอิงไวยากรณ์เพิ่มเติม ดู สร้างตาราง AS SELECT (Transact-SQL)

นําเข้าข้อมูลลงในตารางที่มีอยู่ด้วยคิวรี T-SQL

ตัวอย่างก่อนหน้านี้สร้างตารางใหม่ที่ยึดตามผลลัพธ์ของคิวรี เพื่อทําซ้ําตัวอย่าง แต่บนตาราง INSERT ... SELECT ที่มีอยู่ สามารถใช้รูปแบบได้

การนําเข้าข้อมูลจากตารางคลังสินค้า

โค้ดต่อไปนี้จะเก็บข้อมูลใหม่จากตารางคลังสินค้าลงในตารางที่มีอยู่:

INSERT INTO dbo.TaxiTrips_2023
SELECT *
FROM dbo.TaxiTrips
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

เกณฑ์คิวรีสําหรับคําสั่ง SELECT อาจเป็นคิวรีที่ถูกต้องตราบใดที่ชนิดคอลัมน์คิวรีที่เป็นผลลัพธ์สอดคล้องกับคอลัมน์บนตารางปลายทาง ถ้ามีการระบุชื่อคอลัมน์และรวมเฉพาะชุดย่อยของคอลัมน์จากตารางปลายทาง คอลัมน์อื่น ๆ ทั้งหมดจะถูกโหลดเป็นNULL สําหรับข้อมูลเพิ่มเติม ดู การใช้แทรกลงใน... เลือกเพื่อนําเข้าข้อมูลกลุ่มด้วยการบันทึกน้อยที่สุดและแบบขนาน

ส่งข้อมูลจากโฟลเดอร์ Delta Lake

โฟลเดอร์ Delta Lake ที่คงอยู่ใน OneLake จะแสดงเป็นตารางโดยอัตโนมัติหากเก็บไว้ใน /Tables โฟลเดอร์ในเลคเฮาส์

โค้ดต่อไปนี้นําเข้าข้อมูลใหม่จากส่วนโฟลเดอร์ /Tables/TaxiTrips Delta Lake ใน MyLakehouse* เลคเฮาส์

INSERT INTO dbo.TaxiTrips_2023
SELECT *
FROM MyLakehouse.dbo.TaxiTrips 
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

นําเข้าข้อมูลจากไฟล์ CSV/Parquet/JSONL

คุณสามารถใช้ฟังก์ชันนี้เป็น OPENROWSET แหล่งที่มาเพื่อนําเข้าไฟล์ Parquet, CSV หรือ JSON จากที่เก็บข้อมูล:

INSERT INTO dbo.<table name>
SELECT *
FROM OPENROWSET(BULK 'https://<storage account>.blob.core.windows.net/public/<subfolder>/<file name>') AS data
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

คุณสามารถอ่านไฟล์หลายไฟล์ได้โดยใช้สัญลักษณ์แทน เช่น *.parquetหรือโดยการกําหนดเป้าหมายไดเร็กทอรีแบบแบ่งพาร์ติชัน เช่น /year=*/month=*. เมื่อต้องการเพิ่มประสิทธิภาพ ให้ใช้ตัวกรองในส่วนคําสั่ง WHERE เพื่อกําจัดแถวและพาร์ติชันที่ไม่จําเป็นระหว่างการดําเนินการคิวรี

ตัวอย่างเหล่านี้คล้ายกับที่ใช้ในการนําเข้าที่มี COPY INTO คําสั่ง คัดลอกลงใน ใช้งานง่ายกว่า โดยเฉพาะอย่างยิ่งสําหรับการโหลดข้อมูลต้นทางไปยังปลายทางโดยตรง อย่างไรก็ตาม หากคุณต้องการแปลงข้อมูลต้นฉบับ (เช่น การแปลงค่าหรือการรวมกับตารางอื่น) การใช้จะช่วยให้คุณ INSERT ... SELECT มีความยืดหยุ่นในการดําเนินการแปลงระหว่างการนําเข้า

นําเข้าข้อมูลจาก OneLake

คุณสามารถใช้ OPENROWSET ฟังก์ชันเป็นแหล่งข้อมูลเพื่อนําเข้าข้อมูลจากที่เก็บข้อมูล Fabric OneLake แทนที่ {workspaceId} และ ด้วย {lakehouseId} GUID พื้นที่ทํางานและเลคเฮาส์ที่สอดคล้องกันในตัวอย่างต่อไปนี้:

INSERT INTO dbo.TaxiTrips_2023
SELECT *
FROM OPENROWSET(BULK 'https://onelake.dfs.fabric.microsoft.com/{workspaceId}/{lakehouseId}/Files/year=*/month=*/*.parquet') AS data
WHERE data.filepath(1) = '2023'

ตัวอย่างนี้สร้างขึ้นจากตัวอย่างก่อนหน้านี้ที่อ่านข้อมูลจาก Azure Data Lake Storage ใช้วิธีการนี้เมื่อคุณต้องการแปลงข้อมูลต้นฉบับ เช่น โดยการแปลงค่า โดยการรวมกับตารางอื่น หรือโดยการอ่านพาร์ติชันเฉพาะ ในกรณีเช่นนี้ การใช้จะ INSERT ... SELECT ให้ความยืดหยุ่นในการใช้การแปลงระหว่างการนําเข้าข้อมูล

นําเข้าข้อมูลจากตารางบนคลังสินค้าและเลคเฮ้าส์ที่แตกต่างกัน

สําหรับทั้ง CREATE TABLE AS SELECT และ INSERT ... SELECTSELECT คําสั่งยังสามารถอ้างอิงตารางบนคลังสินค้าซึ่งแตกต่างจากคลังสินค้าที่จัดเก็บตารางปลายทางของคุณ ซึ่งสามารถทําได้โดยใช้แบบแผน [warehouse_or_lakehouse_name.][schema_name.]table_nameการตั้งชื่อสามส่วน ตัวอย่างเช่น สมมติว่าคุณมีแอสเซทของพื้นที่ทํางานต่อไปนี้:

• เลคเฮาส์ที่ตั้งชื่อ taxi_lakehouse ด้วยข้อมูลล่าสุด
• คลังสินค้าที่มี reference_warehouse ชื่อว่าตารางที่ใช้สําหรับข้อมูลอ้างอิง
• คลังสินค้าที่มีชื่อว่า research_warehouse ที่สร้างตารางปลายทาง

สามารถสร้างตารางใหม่ที่ใช้การตั้งชื่อสามส่วนเพื่อรวมข้อมูลจากตารางบนแอสเซทของพื้นที่ทํางานเหล่านี้:

CREATE TABLE research_warehouse.dbo.taxi_trips
AS
SELECT *
FROM taxi_lakehouse.dbo.TaxiTrips AS latest
INNER JOIN reference_warehouse.dbo.TaxiTrips AS reference
ON latest.vendorId_lpep = reference.vendorId_lpep;

เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับคิวรีข้ามคลังสินค้า ดู ที่ เขียนคิวรี SQL แบบข้ามฐานข้อมูล

ตรวจสอบและตรวจสอบการนําเข้า T-SQL

ทั้งCTASINSERT ... SELECTและการดําเนินการที่ดําเนินการผ่าน T-SQL จะปรากฏในประวัติ/กิจกรรมการสืบค้นคลังสินค้า และสามารถตรวจสอบควบคู่ไปกับการดําเนินงานคลังสินค้าอื่นๆ

ตัวเลือกการนําเข้าข้อมูล

วิธีอื่นๆ ในการนําเข้าข้อมูลไปยังคลังสินค้าของคุณ ได้แก่:

• การนําเข้าข้อมูลโดยใช้คําสั่ง COPY
• นําเข้าข้อมูลโดยใช้ไปป์ไลน์
• นําเข้าข้อมูลโดยใช้กระแสข้อมูล

เนื้อหาที่เกี่ยวข้อง

• การนําเข้าข้อมูลลงในคลังสินค้า
• แก้ปัญหาข้อผิดพลาดในการนําเข้า
• เขียนคิวรี SQL แบบข้ามฐานข้อมูล