สถานการณ์แบบ end-to-end ของ Data Factory: บทนําและสถาปัตยกรรม

บทช่วยสอนนี้จะแนะนําคุณเกี่ยวกับสถานการณ์การรวมข้อมูลที่สมบูรณ์ในเวลาประมาณหนึ่งชั่วโมง คุณจะได้เรียนรู้ความสามารถหลักของ Data Factory ใน Microsoft Fabric และวิธีนําไปใช้กับเวิร์กโฟลว์ข้อมูลทั่วไป

สิ่งที่คุณจะสร้าง

บทช่วยสอนนี้ประกอบด้วยบทนําและสามโมดูล:

• โมดูล 1: Ingest data with a Copy job: สร้าง Copy job แบบสแตนด์อโลนเพื่อ Import ข้อมูลดิบจาก Blob storage ไปยัง Bronze Table ใน Lakehouse
• โมดูล 2: แปลงข้อมูลด้วยกระแสข้อมูล: ประมวลผลข้อมูลดิบจากตาราง บรอนซ์ ของคุณและย้ายไปยังตาราง สีทอง ใน Lakehouse
• โมดูลที่ 3: จัดการและอัตโนมัติด้วยสายงาน: สร้างสายงานเพื่อจัดการงานคัดลอกและการไหลของข้อมูล ส่งอีเมลแจ้งเตือนเมื่องานเสร็จสิ้น และตั้งเวลาการไหลทั้งหมด

โรงงานข้อมูลใน Microsoft Fabric

Microsoft Fabric เป็นแพลตฟอร์มการวิเคราะห์แบบครบวงจรที่ครอบคลุมการเคลื่อนย้ายข้อมูล Data Lake วิศวกรรมข้อมูล การรวมข้อมูล วิทยาศาสตร์ข้อมูล การวิเคราะห์แบบเรียลไทม์ และข่าวกรองธุรกิจ คุณไม่จําเป็นต้องรวบรวมบริการจากผู้ขายหลายรายเข้าด้วยกัน

Data Factory ใน Fabric ผสมผสานความสะดวกในการใช้งานของ Power Query เข้ากับมาตราส่วน Azure Data Factory มีการเตรียมข้อมูลที่เปิดใช้งาน AI แบบ low-code การแปลงระดับเพตะไบต์ และตัวเชื่อมต่อหลายร้อยรายการพร้อมการเชื่อมต่อแบบไฮบริดและมัลติคลาวด์

คุณลักษณะสำคัญ

Data Factory มีความสามารถหลักสามประการสําหรับความต้องการในการรวมข้อมูลของคุณ:

• การนําเข้าข้อมูลด้วยงานคัดลอก: งานคัดลอก เป็นจุดเริ่มต้นที่แนะนําสําหรับการนําเข้าข้อมูล มันย้ายข้อมูลระดับเพตาไบต์จากแหล่งข้อมูลหลายร้อยแหล่งเข้าสู่ Lakehouse ของคุณ พร้อมรองรับการคัดลอกข้อมูลแบบกลุ่ม แบบเพิ่มทีละส่วน และแบบเปลี่ยนแปลง (CDC) โดยไม่ต้องสร้าง pipeline
• การแปลงข้อมูล: กระแสข้อมูล Gen2 มีอินเทอร์เฟซแบบ low-code สําหรับการแปลงข้อมูลของคุณด้วยการแปลง 300+ รายการ คุณสามารถโหลดผลลัพธ์ไปยังปลายทางต่างๆ เช่น Azure SQL Database, Lakehouse และอื่นๆ
• ระบบอัตโนมัติแบบ end-to-end: ไปป์ไลน์ประสานกิจกรรมต่างๆ รวมถึงงานคัดลอก กระแสข้อมูล สมุดบันทึก และอื่นๆ เชื่อมโยงกิจกรรมเข้าด้วยกันเพื่อทํางานตามลําดับหรือแบบขนาน ตรวจสอบโฟลว์การผสานรวมข้อมูลทั้งหมดของคุณในที่เดียว

สถาปัตยกรรมของบทช่วยสอน

คุณจะได้สํารวจคุณลักษณะหลักทั้งสามเมื่อคุณทําสถานการณ์การรวมข้อมูลแบบครบวงจร

สถานการณ์ประกอบด้วยสามโมดูล:

1. นําเข้าข้อมูลด้วยงานคัดลอก: สร้างงานคัดลอกแบบสแตนด์อโลนเพื่อนําเข้าข้อมูลตัวอย่างลงในตาราง บรอนซ์ ใน Lakehouse
2. แปลงข้อมูลด้วยกระแสข้อมูล: ประมวลผลข้อมูลดิบจากตารางบรอนซ์ของคุณและย้ายไปยังตารางสีทอง
3. ประสานและทําให้เป็นอัตโนมัติด้วยไปป์ไลน์: สร้างไปป์ไลน์เพื่อประสานงานคัดลอกและกระแสข้อมูล ส่งการแจ้งเตือนทางอีเมล และกําหนดเวลาโฟลว์ทั้งหมด

บทช่วยสอนนี้ใช้ชุดข้อมูลตัวอย่าง NYC-Taxi เมื่อคุณทําเสร็จแล้ว คุณสามารถวิเคราะห์ส่วนลดรายวันสําหรับค่าโดยสารแท็กซี่ในช่วงเวลาที่กําหนดโดยใช้ Data Factory ใน Microsoft Fabric

ขั้นตอนต่อไป