หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
Microsoft Fabric เป็นโซลูชันการวิเคราะห์แบบครบวงจรสําหรับองค์กรที่ครอบคลุมทุกอย่างตั้งแต่การเคลื่อนไหวของข้อมูลไปจนถึงวิทยาศาสตร์ข้อมูล การวิเคราะห์แบบเรียลไทม์ และข่าวกรองธุรกิจ บริการนี้นําเสนอชุดบริการที่ครอบคลุม รวมถึงที่จัดเก็บข้อมูลทะเลสาบ วิศวกรรมข้อมูล และการรวมข้อมูลทั้งหมดในที่เดียว สําหรับข้อมูลเพิ่มเติม ดูที่ What is Fabric?
บทช่วยสอนนี้จะแนะนําคุณผ่านสถานการณ์อย่างครอบคลุมตั้งแต่การรวบรวมข้อมูลไปจนถึงการใช้ข้อมูล จะช่วยให้คุณสร้างความเข้าใจพื้นฐานของ Fabric รวมถึงประสบการณ์ที่แตกต่างกันและวิธีการที่พวกเขารวมรวมถึงประสบการณ์นักพัฒนามืออาชีพและพลเมืองที่มาพร้อมกับการทํางานบนแพลตฟอร์มนี้ บทช่วยสอนนี้ไม่ได้มีไว้เพื่อเป็นสถาปัตยกรรมอ้างอิง รายการคุณลักษณะและฟังก์ชันการทํางานที่ละเอียดถี่ถ้วน หรือคําแนะนําแนวทางปฏิบัติที่ดีที่สุดที่เฉพาะเจาะจง
สถานการณ์แบบ end-to-end ของเลคเฮ้าส์
ในแบบดั้งเดิมองค์กรได้รับการสร้างคลังข้อมูลที่ทันสมัยสําหรับความต้องการในการวิเคราะห์ข้อมูลที่มีโครงสร้างและการทําธุรกรรมของพวกเขา และ data lakehouses สําหรับความต้องการวิเคราะห์ข้อมูลขนาดใหญ่ (แบบกึ่ง/ไม่มีโครงสร้าง) สองระบบนี้ทํางานควบคู่ไปกับการสร้างไซโล การทําสําเนาข้อมูล และเพิ่มต้นทุนความเป็นเจ้าของโดยรวม
ผ้าที่มีการรวมกันของที่เก็บข้อมูลและมาตรฐานในรูปแบบ Delta Lake ช่วยให้คุณสามารถกําจัดไซโลลบข้อมูลทําซ้ําและลดต้นทุนความเป็นเจ้าของทั้งหมดได้อย่างมาก
ด้วยความยืดหยุ่นที่เสนอโดย Fabric คุณสามารถใช้สถาปัตยกรรมของเลคเฮ้าส์หรือคลังข้อมูลหรือรวมเข้าด้วยกันเพื่อรับประโยชน์สูงสุดจากทั้งสองอย่างด้วยการใช้งานที่ง่าย ในบทช่วยสอนนี้ คุณจะใช้ตัวอย่างขององค์กรค้าปลีก และสร้างเลคเฮ้าส์ตั้งแต่ต้นจนจบ มันใช้ สถาปัตยกรรม เหรียญที่ชั้นทองแดงมีข้อมูลดิบชั้นเงินมีข้อมูลที่ผ่านการตรวจสอบและทําซ้ําและชั้นทองมีข้อมูลที่ละเอียดมาก คุณสามารถใช้วิธีการเดียวกันเพื่อใช้เลคเฮ้าส์สําหรับองค์กรใด ๆ จากทุกอุตสาหกรรม
บทช่วยสอนนี้อธิบายวิธีการที่นักพัฒนาที่บริษัทนําเข้า Wide World Importers จากโดเมนร้านค้าปลีกทําตามขั้นตอนต่อไปนี้ให้เสร็จสมบูรณ์:
ลงชื่อเข้าใช้บัญชี Power BI ของคุณและสมัครทดลองใช้งาน Fabric ฟรี ถ้าคุณไม่มีสิทธิ์การใช้งาน Power BI ลงทะเบียนสําหรับสิทธิ์การใช้งาน Fabric ฟรี จากนั้นคุณสามารถเริ่มการทดลองใช้ Fabric ได้
สร้างและใช้เลคเฮ้าส์แบบ end-to-end สําหรับองค์กรของคุณ:
- สร้างพื้นที่ทํางาน Fabric
- สร้างเลคเฮ้าส์
- นําเข้าข้อมูล แปลงข้อมูล และโหลดข้อมูลลงในเลคเฮ้าส์ นอกจากนี้คุณยังสามารถสํารวจ OneLake หนึ่งสําเนาของข้อมูลของคุณทั่วทั้งโหมดเลคเฮ้าส์และโหมดปลายทางการวิเคราะห์ SQL
- เชื่อมต่อกับบ้านพักริมทะเลสาบของคุณโดยใช้จุดเชื่อมต่อ SQL analytics และ สร้างโมเดลเชิงความหมายพร้อมสร้างรายงาน เพื่อวิเคราะห์ข้อมูลการขายในมิติต่าง ๆ
- อีกทางหนึ่งคือ คุณสามารถวางแผนและจัดกําหนดการการนําเข้าข้อมูลและโฟลว์การแปลงข้อมูลด้วยไปป์ไลน์ได้ Pipeline ประกอบด้วยกิจกรรมที่เน้น Lakehouse เช่น กิจกรรมบํารุงรักษา Lakehouse (เพื่อทําให้อัตโนมัติการดูแลตาราง Delta ด้วย OPTIMIZE และ VACUUM) และ กิจกรรม Refresh SQL analytics endpoint (เพื่อซิงค์ endpoint วิเคราะห์ SQL หลังจากโหลดข้อมูล) ตัวสร้างนิพจน์ไปป์ไลน์ยังมีความช่วยเหลือของ Copilot เพื่อการเขียนนิพจน์ที่รวดเร็วและแม่นยํายิ่งขึ้น สําหรับรายละเอียด โปรดดู กิจกรรมการบํารุงรักษาเลคเฮาส์
ล้างข้อมูล โดยการลบพื้นที่ทํางานและรายการอื่นๆ
สถาปัตยกรรม
รูปภาพต่อไปนี้แสดงสถาปัตยกรรมแบบครบวงจรของเลคเฮ้าส์ คอมโพเนนต์ที่เกี่ยวข้องจะอธิบายไว้ในรายการต่อไปนี้
แหล่งข้อมูล: Fabric ทําให้การเชื่อมต่อกับ Azure Data Services และแพลตฟอร์มบนระบบคลาวด์และแหล่งข้อมูลภายในองค์กรทําได้ง่ายและรวดเร็วเพื่อการนําเข้าข้อมูลที่คล่องตัว
การนําเข้า: คุณสามารถสร้างข้อมูลเชิงลึกสําหรับองค์กรของคุณโดยใช้ตัวเชื่อมต่อดั้งเดิมมากกว่า 200 ตัวได้อย่างรวดเร็ว ตัวเชื่อมต่อเหล่านี้ถูกรวมเข้ากับไปป์ไลน์ Fabric และใช้การแปลงข้อมูลแบบลากและปล่อยที่ใช้งานง่ายด้วยกระแสข้อมูล นอกจากนี้ด้วยคุณลักษณะ Shortcut ใน Fabric คุณสามารถเชื่อมต่อกับข้อมูลที่มีอยู่โดยไม่ต้องคัดลอกหรือย้ายได้ ทางลัด OneLake ยังสามารถอ้างอิงผลิตภัณฑ์ข้อมูลระหว่างผู้เช่าผ่าน การแชร์ข้อมูลภายนอกของ OneLake ทําให้คุณเข้าถึงข้อมูลการดําเนินงานแบบสดที่มีการควบคุมโดยไม่ต้องคัดลอกหรือสร้างไปป์ไลน์ ETL Fabric ยังมีโปรแกรมอ่านไฟล์แบบเวกเตอร์ประสิทธิภาพสูงสําหรับรูปแบบทั่วไป เช่น CSV (พร้อมรองรับ JSON ที่กําลังจะมาถึง) เพื่อลดเวลาแฝงในการนําเข้า
แปลงและจัดเก็บ: Fabric สร้างมาตรฐานในรูปแบบ Delta Lake ซึ่งหมายความว่ากลไก Fabric ทั้งหมดสามารถเข้าถึงและจัดการชุดข้อมูลเดียวกันที่จัดเก็บไว้ใน OneLake ได้โดยไม่ต้องทําซ้ําข้อมูล โมเดลการกํากับดูแลแบบครบวงจรของ OneLake ช่วยให้มั่นใจได้ว่าข้อมูลที่เข้าถึงผ่านทางลัดจะมีส่วนร่วมในนโยบายการรักษาความปลอดภัยและการปฏิบัติตามข้อกําหนดเดียวกันกับข้อมูลที่จัดเก็บไว้ในเครื่อง ระบบจัดเก็บข้อมูลนี้ให้ความยืดหยุ่นในการสร้างเลคเฮ้าส์โดยใช้สถาปัตยกรรมแบบเหรียญหรือตาข่ายข้อมูลทั้งนี้ขึ้นอยู่กับข้อกําหนดขององค์กรของคุณ คุณสามารถเลือกระหว่างประสบการณ์การใช้งานที่มีรหัสต่ําหรือไม่มีรหัสสําหรับการแปลงข้อมูล โดยใช้ไปป์ไลน์/กระแสข้อมูลหรือสมุดบันทึก/Spark สําหรับประสบการณ์การใช้งานโค้ดเป็นครั้งแรก ตาราง Lakehouse ยังรองรับการเพิ่มประสิทธิภาพ เช่น การเรียงลําดับ Z และ Liquid Clustering เพื่อปรับปรุงประสิทธิภาพการสืบค้นและจัดการเค้าโครงข้อมูลตามขนาด นอกจากนี้ Materialized Lake Views ยังพร้อมใช้งานสําหรับการคํานวณล่วงหน้าและแคชผลลัพธ์ผ่านข้อมูลเลคเฮาส์ ซึ่งช่วยเพิ่มความเร็วในการวิเคราะห์ซ้ํา การดําเนินงานอาจรวมถึงการบํารุงรักษาอัตโนมัติของตาราง Lakehouse Delta ผ่านกิจกรรมการบํารุงรักษา Lakehouse ในไปป์ไลน์ และการทริกเกอร์การรีเฟรชปลายทางการวิเคราะห์ SQL ซึ่งเป็นส่วนหนึ่งของขั้นตอนหลังการโหลด โปรดดูขั้นตอนการประสานรวมไปป์ไลน์เสริมในภาพรวมสถานการณ์ด้านบนสําหรับรายละเอียด
ใช้: Power BI สามารถใช้ข้อมูลจาก Lakehouse สําหรับการรายงานและการแสดงภาพ Lakehouse แต่ละแห่งมีตําแหน่งข้อมูล TDS ในตัว ซึ่งเป็น ตําแหน่งข้อมูลการวิเคราะห์ SQL เพื่อการเชื่อมต่อและการสืบค้นข้อมูลในตาราง Lakehouse จากเครื่องมือการรายงานอื่นๆ ที่ง่ายดาย การประสานไปป์ไลน์สามารถรวมขั้นตอนในการรีเฟรชปลายทางการวิเคราะห์ Lakehouse SQL เพื่อให้แน่ใจว่า Schema และ Metadata เป็นปัจจุบันสําหรับเครื่องมือการรายงานหลังจากการโหลดข้อมูล โปรดดูขั้นตอนการประสานไปป์ไลน์เสริมในภาพรวมสถานการณ์ด้านบนสําหรับรายละเอียด
รายงาน โมเดลความหมาย และปริมาณงาน AI/วิทยาศาสตร์ข้อมูลยังสามารถใช้ข้อมูล OneLake ที่ใช้ร่วมกันข้ามขอบเขตขององค์กร ทําให้สามารถทํางานร่วมกันได้โดยไม่ซ้ําซ้อนข้อมูล
ชุดข้อมูลตัวอย่าง
บทช่วยสอนนี้ใช้ ฐานข้อมูลตัวอย่าง Wide World Importers (WWI) ที่คุณนําเข้าไปยังเลคเฮาส์ในบทช่วยสอนถัดไป สําหรับสถานการณ์แบบ end-to-end ของเลคเฮาส์ ชุดข้อมูลประกอบด้วยข้อมูลที่เพียงพอในการสํารวจความสามารถในการปรับขนาดและประสิทธิภาพของแพลตฟอร์ม Fabric
ผู้นําเข้าจากโลกกว้าง (WWI) เป็นผู้นําเข้าและจําหน่ายสินค้าแปลกใหม่และจําหน่ายจากพื้นที่อ่าวซานฟรานซิสโก ในฐานะผู้ค้าส่ง ลูกค้าของ WWI ส่วนใหญ่รวมถึงบริษัทที่ขายให้กับบุคคลต่าง ๆ WWI ขายให้กับลูกค้ารายย่อยทั่วสหรัฐอเมริกา รวมถึงร้านค้าพิเศษ ซูเปอร์มาร์เก็ต ร้านค้าสําหรับการประมวลผล ร้านท่องเที่ยว และบุคคลบางประเภท WWI ยังขายให้กับผู้ค้าส่งรายอื่นผ่านเครือข่ายตัวแทนที่โปรโมตผลิตภัณฑ์ในนามของ WWI เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับโปรไฟล์บริษัทและการดําเนินงานของพวกเขา ดูฐานข้อมูลตัวอย่างผู้นําเข้าโลกกว้างสําหรับ Microsoft SQL
โดยทั่วไปข้อมูลถูกนําเข้าจากระบบทรานแซคชันหรือแอปพลิเคชันทางธุรกิจในเลคเฮ้าส์ อย่างไรก็ตาม เพื่อความง่ายในบทช่วยสอนนี้ คุณใช้แบบจําลองมิติที่จัดทําโดยสงครามโลกครั้งที่ 1 เป็นแหล่งข้อมูลเริ่มต้น คุณนําเข้าข้อมูลลงในเลคเฮาส์และแปลงผ่านขั้นตอนต่างๆ (บรอนซ์ เงิน และทอง) ของสถาปัตยกรรมเหรียญ
แบบจำลองข้อมูล
ในขณะที่แบบจําลองมิติของสงครามโลกครั้งที่ 1 มี ตารางข้อเท็จจริงจํานวนมาก แต่บทช่วยสอนนี้ใช้ตารางข้อเท็จจริง การขาย และมิติที่สัมพันธ์กัน ตัวอย่างต่อไปนี้แสดงให้เห็นถึงแบบจําลองข้อมูล WWI:
ข้อมูลและโฟลว์การแปลง
บทช่วยสอนนี้ใช้ข้อมูลตัวอย่างจาก ข้อมูลตัวอย่าง Wide World Importers (WWI) เพื่อสร้างเลคเฮาส์แบบ end-to-end ในการใช้งานนี้ ข้อมูลตัวอย่างจะถูกเก็บไว้ในบัญชีที่เก็บข้อมูล Azure ในรูปแบบไฟล์ Parquet สําหรับตารางทั้งหมด อย่างไรก็ตาม ในสถานการณ์จริง ข้อมูลมักจะมาจากแหล่งข้อมูลต่าง ๆ และในรูปแบบที่หลากหลาย
รูปภาพต่อไปนี้แสดงการแปลงแหล่งที่มา ปลายทาง และข้อมูล:
แหล่งข้อมูล: ข้อมูลต้นฉบับอยู่ในรูปแบบไฟล์ Parquet และในโครงสร้างที่ไม่มีการแบ่งส่วน ซึ่งถูกเก็บไว้ในโฟลเดอร์สําหรับแต่ละตาราง ในบทช่วยสอนนี้ คุณตั้งค่าไปป์ไลน์เพื่อนําเข้าข้อมูลในอดีตทั้งหมดหรือข้อมูลแบบครั้งเดียวไปยังเลคเฮาส์
ในบทช่วยสอนนี้คุณใช้ตารางข้อเท็จจริง การขาย ซึ่งมีโฟลเดอร์หลักหนึ่งโฟลเดอร์ที่มีข้อมูลในอดีตเป็นเวลา 11 เดือน (โดยมีโฟลเดอร์ย่อยหนึ่งโฟลเดอร์สําหรับแต่ละเดือน) และอีกโฟลเดอร์หนึ่งที่มีข้อมูลที่เพิ่มขึ้นเป็นเวลาสามเดือน (หนึ่งโฟลเดอร์ย่อยสําหรับแต่ละเดือน) ในระหว่างการนําเข้าข้อมูลเริ่มต้น ระบบจะนําเข้าข้อมูล 11 เดือนลงในตารางเลคเฮ้าส์ เมื่อข้อมูลที่เพิ่มขึ้นมาถึง ข้อมูลที่อัปเดตในเดือนตุลาคมและพฤศจิกายนจะถูกรวมเข้ากับข้อมูลที่มีอยู่ และข้อมูลเดือนธันวาคมใหม่จะถูกเขียนลงในตารางเลคเฮาส์ดังที่แสดงในรูปต่อไปนี้:
Lakehouse: ในบทเรียนนี้ คุณจะสร้าง lakehouse แล้วนําข้อมูลเข้าสู่ส่วนไฟล์ของ lakehouse แล้วสร้างตาราง Delta Lake ในส่วน Tables ของ lakehouse
การแปลง: สําหรับการเตรียมและการแปลงข้อมูล บทช่วยสอนนี้ครอบคลุมสองแนวทางที่แตกต่างกัน: สมุดบันทึกและ Spark สําหรับประสบการณ์โค้ดเป็นอันดับแรก และไปป์ไลน์และกระแสข้อมูลสําหรับประสบการณ์แบบใช้โค้ดน้อยหรือไม่มีโค้ด รันไทม์ Fabric ล่าสุดประกอบด้วยกลไกการดําเนินการแบบเนทีฟที่ให้การปรับปรุงประสิทธิภาพที่สําคัญเหนือ Spark แบบโอเพนซอร์สสําหรับปริมาณงานโน้ตบุ๊กและ Spark ตัวสร้างนิพจน์ไปป์ไลน์มีความช่วยเหลือจาก Copilot เพื่อช่วยสร้างนิพจน์และสร้างตรรกะไปป์ไลน์เพื่อสร้างนิพจน์ที่รวดเร็วและแม่นยํายิ่งขึ้น
ใช้: Power BI สามารถใช้ข้อมูลจากเลคเฮาส์สําหรับการรายงานและการแสดงภาพ เลคเฮาส์แต่ละแห่งมีตําแหน่งข้อมูล TDS ในตัวที่เรียกว่า ตําแหน่งข้อมูลการวิเคราะห์ SQL เพื่อการเชื่อมต่อและการสืบค้นข้อมูลในตารางเลคเฮาส์จากเครื่องมือการรายงานอื่นๆ ที่ง่ายดาย คุณยังสามารถใช้ Direct Lake ผ่าน OneLake เพื่อให้ Power BI คิวรีตารางเลคเฮาส์ได้โดยตรงโดยไม่ต้องนําเข้าหรือรอบการรีเฟรชแบบจําลองความหมายเฉพาะ นอกจากนี้ คุณสามารถทําให้ข้อมูลของคุณพร้อมใช้งานสําหรับเครื่องมือการรายงานที่ไม่ใช่ของ Microsoft โดยใช้จุดสิ้นสุดการวิเคราะห์ TDS/SQL เพื่อเชื่อมต่อและเรียกใช้คิวรี SQL สําหรับการวิเคราะห์
สําหรับปริมาณงาน Spark SQL โดยเฉพาะ ไคลเอ็นต์ที่เข้ากันได้กับ ODBC สามารถเชื่อมต่อโดยใช้ไดรเวอร์ ODBC Microsoft สําหรับวิศวกรรมข้อมูล Microsoft Fabric (พรีวิว) พร้อมการรับรองความถูกต้อง Microsoft Entra ID (แบบโต้ตอบ Azure CLI บริการหลัก ใบรับรอง หรือโทเค็นการเข้าถึง)
