Data Factory ใน Microsoft Fabric คืออะไร

Data Factory ใน Microsoft Fabric ช่วยคุณแก้ปัญหาที่ยากที่สุดอย่างหนึ่งของธุรกิจ นั่นคือการเปลี่ยนข้อมูลที่กระจัดกระจายให้เป็นข้อมูลเชิงลึกที่เป็นประโยชน์

ข้อมูลขององค์กรของคุณอยู่ในที่ต่างๆ มากมาย ไม่ว่าจะเป็นฐานข้อมูล ไฟล์ บริการระบบคลาวด์ และระบบเดิม ความหลากหลายนี้ทําให้ยากที่จะได้ภาพรวมที่ครบถ้วนของธุรกิจของคุณ Data Factory เชื่อมต่อกับแหล่งข้อมูลมากกว่า 170 แห่ง รวมถึงสภาพแวดล้อมแบบมัลติคลาวด์และการตั้งค่าแบบไฮบริดด้วยเกตเวย์ในองค์กร ช่วยให้คุณย้ายและแปลงข้อมูลของคุณในวงกว้าง โดยเปลี่ยนเป็นรูปแบบที่ทํางานได้ดีสําหรับการวิเคราะห์และการตัดสินใจ

ไม่ว่าคุณจะเป็นผู้ใช้ธุรกิจที่กําลังสร้างกลยุทธ์การวิเคราะห์ข้อมูลครั้งแรก หรือเป็นนักพัฒนาที่กําลังสร้างเวิร์กสตรีมที่ซับซ้อน คุณจะพบเครื่องมือที่เหมาะสมสําหรับ:

• นําข้อมูลของคุณมารวมกัน
• ทําความสะอาด
• เตรียมพร้อมสําหรับการวิเคราะห์ใน Lakehouse หรือ คลังข้อมูล ของคุณ
• ทําให้เวิร์กโฟลว์ข้อมูลของคุณเป็นแบบอัตโนมัติ

การรวมข้อมูลคืออะไร

การรวมข้อมูลเป็นกระบวนการในการนําข้อมูลเชิงกลยุทธ์ของคุณมารวมกันเพื่อให้คุณสามารถเข้าถึงและวิเคราะห์ได้ เป็นส่วนสําคัญของธุรกิจที่ต้องการตัดสินใจโดยใช้ข้อมูล

มีหลายวิธีในการรวมข้อมูลของคุณ แต่หนึ่งในกลยุทธ์ที่พบบ่อยที่สุดคือ ETL ETL ย่อมาจาก Extract, Transform, Load ใช้ข้อมูลจากแหล่งต่างๆ แปลงเป็นรูปแบบที่คุณสามารถวิเคราะห์ได้ และโหลดลงในระบบปลายทางทั่วไปสําหรับการวิเคราะห์หรือการรายงาน เมื่อคุณใช้กระบวนการ ETL ในแพลตฟอร์มข้อมูลของธุรกิจ จะช่วยปรับปรุงความสอดคล้อง คุณภาพ และการเข้าถึงของข้อมูล

นี่คือสิ่งที่แต่ละเฟสทํา:

• แยกข้อมูล: อ่านข้อมูลจากแหล่งที่มาของคุณและย้ายไปยังตําแหน่งที่เก็บข้อมูลส่วนกลาง แหล่งที่มาอาจเป็นฐานข้อมูล ไฟล์ API เว็บไซต์ และอื่นๆ
• แปลง: ล้าง เพิ่มคุณค่า และแปลงข้อมูลของคุณให้เป็นรูปแบบที่วิเคราะห์ได้ง่าย ตัวอย่างเช่น คุณอาจต้องการเปรียบเทียบข้อมูลการขายจากฐานข้อมูล SQL กับเอกสารการขายในอดีตที่สแกน หลังจากแยกข้อมูลแล้ว คุณต้องแปลงข้อมูลจากแต่ละแหล่งเพื่อให้อยู่ในรูปแบบเดียวกัน
• โหลด: เขียนข้อมูลที่แปลงไปยังระบบปลายทาง เช่น คลังข้อมูลหรือที่จัดเก็บข้อมูลดิบ ระบบปลายทางคือที่ที่คุณสามารถเรียกใช้การสืบค้นและรายงานเกี่ยวกับข้อมูลของคุณได้

ETL หรือ ELT?

เมื่อคุณทํางานกับข้อมูล วิธีการเคลื่อนย้ายและเปลี่ยนแปลงข้อมูลมีความสําคัญ และแต่ละองค์กรมีความต้องการที่แตกต่างกัน ตัวอย่างเช่น พิจารณา ETL (Extract, Transform, Load) และ ELT (Extract, Load, Transform) แต่ละวิธีมีจุดแข็ง ขึ้นอยู่กับความต้องการด้านประสิทธิภาพ ความสามารถในการขยาย และต้นทุนของคุณ

ETL: แปลงข้อมูลของคุณก่อนที่จะโหลดไปยังปลายทาง วิธีนี้ใช้ได้ดีเมื่อคุณต้องการทําความสะอาด มาตรฐาน หรือเพิ่มข้อมูลขณะเคลื่อนที่ ตัวอย่างเช่น ใช้ Dataflow Gen2 ของ Data Factory เพื่อใช้การแปลงตามขนาดก่อนที่จะโหลดข้อมูลลงในคลังสินค้าหรือ Lakehouse

ELT: โหลดข้อมูลดิบก่อน แล้วจึงแปลงในตําแหน่งที่จัดเก็บ วิธีนี้ใช้พลังของกลไกการวิเคราะห์ เช่น OneLake, Spark Notebooks ของ Fabric หรือเครื่องมือที่ใช้ SQL ELT ทํางานได้ดีสําหรับการจัดการชุดข้อมูลขนาดใหญ่ด้วยการประมวลผลระดับคลาวด์ที่ทันสมัย

Fabric Data Factory รองรับทั้งสองอย่าง คุณสามารถ:

• สร้างไปป์ไลน์ ETL แบบคลาสสิกเพื่อคุณภาพและความพร้อมของข้อมูลในทันที
• ใช้เวิร์กโฟลว์ ELT เพื่อใช้ประโยชน์จากการประมวลผลและพื้นที่จัดเก็บแบบบูรณาการสําหรับการเปลี่ยนแปลงขนาดใหญ่
• รวมทั้งสองวิธีไว้ในโซลูชันเดียวกันเพื่อความยืดหยุ่น

Data Factory เป็นโซลูชันการรวมข้อมูลที่มีประสิทธิภาพ

Data Factory เชื่อมต่อกับข้อมูลของคุณ ย้าย แปลงข้อมูล และประสานงานการเคลื่อนย้ายข้อมูลและการแปลงข้อมูลของคุณจากที่เดียว คุณเป็นผู้ตัดสินใจว่ากลยุทธ์ใดที่เหมาะกับธุรกิจของคุณมากที่สุด และ Data Factory มีเครื่องมือในการทําให้สําเร็จ

เชื่อมต่อกับข้อมูลของคุณ: ไม่ว่าจะเป็นในองค์กร ในระบบคลาวด์ หรือในสภาพแวดล้อมแบบมัลติคลาวด์ Data Factory จะเชื่อมต่อกับแหล่งข้อมูลและปลายทางของคุณ รองรับแหล่งข้อมูลที่หลากหลาย รวมถึงฐานข้อมูล ที่จัดเก็บข้อมูลดิบ ระบบไฟล์ API และอื่นๆ ดู ตัวเชื่อมต่อที่พร้อมใช้งาน สําหรับรายการแหล่งข้อมูลและปลายทางที่รองรับทั้งหมด

ย้ายข้อมูล: Data Factory มีหลายวิธีในการย้ายข้อมูลจากต้นทางไปยังปลายทาง หรือให้การเข้าถึงข้อมูลที่มีอยู่ได้ง่าย ขึ้นอยู่กับความต้องการของคุณ

• งานคัดลอก - โซลูชันที่ต้องการสําหรับการเคลื่อนย้ายข้อมูลที่ง่ายขึ้นด้วยการสนับสนุนแบบเนทีฟสําหรับรูปแบบการส่งมอบที่หลากหลาย รวมถึงการคัดลอกจํานวนมาก สําเนาส่วนเพิ่ม และการจําลองแบบการบันทึกข้อมูลการเปลี่ยนแปลง (CDC) นอกจากนี้ยังมีความยืดหยุ่นในการจัดการสถานการณ์หลากหลายจากแหล่งต่าง ๆ ไปยังปลายทางที่หลากหลาย—ทั้งหมดนี้ผ่านประสบการณ์ที่ใช้งานง่ายและเข้าใจง่าย
• กิจกรรมการคัดลอก - ย้ายข้อมูลจากที่หนึ่งไปยังอีกที่หนึ่งในทุกขนาด ด้วยการปรับแต่งที่กว้างขวาง รองรับแหล่งที่มาและปลายทางที่หลากหลาย และการควบคุมการคัดลอกแบบขนานด้วยตนเองเพื่อประสิทธิภาพที่ดีขึ้น
• การมิเรอร์ - สร้างแบบจําลองฐานข้อมูลการดําเนินงานของคุณแบบเกือบเรียลไทม์ภายใน OneLake ใน Microsoft Fabric เพื่อทําให้การวิเคราะห์และการรายงานของคุณง่ายขึ้น

ดู คู่มือการตัดสินใจเกี่ยวกับการย้ายข้อมูล เพื่อช่วยคุณเลือกวิธีการย้ายข้อมูลที่เหมาะสมสําหรับสถานการณ์ของคุณ

แปลง: Data Factory มีกิจกรรมเพื่อเชื่อมต่อคุณกับสคริปต์การแปลงแบบกําหนดเองหรือตัวออกแบบกระแสข้อมูลที่มีประสิทธิภาพ

• กิจกรรมไปป์ไลน์ - สมุดบันทึก Fabric, กิจกรรม HDInsight, ข้อกําหนดงาน Spark, กระบวนงานที่เก็บไว้, สคริปต์ SQL และอื่นๆ กิจกรรมเหล่านี้ช่วยให้คุณสามารถเรียกใช้โค้ดหรือสคริปต์แบบกําหนดเองเพื่อแปลงข้อมูลของคุณ
• กระแสข้อมูล Gen2 - แปลงข้อมูลของคุณโดยใช้อินเทอร์เฟซแบบ low-code ที่มีการแปลงมากกว่า 300 รายการ คุณสามารถทําการรวม การรวม การล้างข้อมูล การแปลงแบบกําหนดเอง และอื่นๆ อีกมากมาย
• งาน dbt - งาน dbt ใน Microsoft Fabric เปิดใช้งานการแปลงข้อมูลตาม SQL โดยตรงใน Fabric พวกเขาให้การตั้งค่าที่เรียบง่ายและไม่ต้องเขียนโค้ดเพื่อสร้าง ทดสอบ และปรับใช้โมเดล dbt ที่ด้านบนของคลังข้อมูล Fabric ของคุณ

ประสานงาน: Data Factory ช่วยให้คุณสร้างไปป์ไลน์ที่สามารถเรียกใช้การเคลื่อนย้ายข้อมูล การแปลง และกิจกรรมอื่นๆ ได้หลายรายการในเวิร์กโฟลว์เดียว

• กําหนดเวลาไปป์ไลน์ให้ทํางานตามเวลาที่กําหนดหรือทริกเกอร์ตามเหตุการณ์
• ไปป์ไลน์สามารถรวม ตรรกะโฟลว์การควบคุม เช่น ลูปและเงื่อนไข เพื่อจัดการเวิร์กโฟลว์ที่ซับซ้อนและประสานการประมวลผลข้อมูลทั้งหมดของคุณโดยใช้ UI ของตัวออกแบบไปป์ไลน์แบบ low-code ที่เรียบง่าย
• หากคุณต้องการแสดงกระบวนการประสานงานของคุณในโค้ด Fabric Data Factory จะผสานรวมกับ Apache Airflow เพื่อสร้าง DAG สําหรับการประสานงานโดยใช้ Python

การผสานรวมข้อมูลด้วย AI

AI ปรากฏอยู่ทั่ว Data Factory เพื่อช่วยให้คุณทํางานได้มากขึ้นโดยใช้ความพยายามน้อยลง Copilot for Data Factory ช่วยให้คุณออกแบบ แก้ไข และจัดการ pipeline และ dataflow โดยใช้ภาษาธรรมชาติ คุณสามารถพิมพ์ข้อความแจ้งภาษาอังกฤษธรรมดา และ Copilot จะเปลี่ยนเป็นขั้นตอน ETL ที่ใช้งานได้

นอกจากนี้ Copilot ยังสรุปคิวรีกระแสข้อมูลและไปป์ไลน์ที่มีอยู่ของคุณ คุณจึงสามารถเข้าใจได้อย่างรวดเร็วว่าพวกเขาทําอะไร หากคุณพบข้อผิดพลาด Copilot จะอธิบายว่าเกิดอะไรขึ้นและแนะนําวิธีแก้ไข

สําหรับรายละเอียด โปรดดู Copilot ใน Fabric ในปริมาณงาน Data Factory

คุณต้องการอะไรในการเริ่มต้น?

• บัญชีผู้เช่า Microsoft Fabric ที่มีการสมัครใช้งานที่ใช้งานอยู่ หากคุณยังไม่มี คุณสามารถ สร้างบัญชีฟรีได้
• พื้นที่ทํางานที่เปิดใช้งาน Microsoft Fabric เรียนรู้วิธีสร้างพื้นที่ทํางาน

จะเกิดอะไรขึ้นถ้าคุณใช้ Azure Data Factory อยู่แล้ว

Data Factory ใน Microsoft Fabric เป็น Azure Data Factory รุ่นต่อไปที่สร้างขึ้นเพื่อจัดการกับความท้าทายในการรวมข้อมูลที่ซับซ้อนที่สุดของคุณด้วยวิธีการที่ง่ายกว่า

ดูคู่มือการเปรียบเทียบ สําหรับความแตกต่างที่สําคัญระหว่างบริการทั้งสองนี้ เพื่อให้คุณสามารถเลือกได้อย่างถูกต้องสําหรับองค์กรของคุณ

เมื่อคุณพร้อมที่จะโยกย้าย ให้ทําตามคู่มือการโยกย้ายสําหรับไปป์ไลน์ Azure Data Factory และ Azure Synapse ของคุณ

SLA ของ Fabric Data Factory Pipeline คืออะไร?

SLA สําหรับ pipeline ใน Fabric เทียบเท่ากับ SLA สําหรับ pipeline ใน Azure Data Factory: "Microsoft รับประกันว่าสามารถประมวลผลคําขอเพื่อดําเนินการกับทรัพยากร Data Factory ได้สําเร็จอย่างน้อย 99.9 เปอร์เซ็นต์ของเวลา" นอกจากนี้ยังรับประกันว่าการรันกิจกรรมทั้งหมดจะเริ่มต้นภายในสี่นาทีหลังจากเวลาที่กําหนดไว้อย่างน้อย 99.9 เปอร์เซ็นต์ของเวลา อ่านข้อตกลงระดับการให้บริการ (SLA) ของ Data Factory ฉบับเต็ม"

เนื้อหาที่เกี่ยวข้อง

สําหรับข้อมูลเพิ่มเติมและเริ่มต้นใช้งาน Microsoft Fabric ให้ทําตามคําแนะนําเหล่านี้:

• แนะนําห้องปฏิบัติการโรงงานข้อมูล - การสาธิตโรงงานข้อมูลใน Fabric
• คุณสามารถเชื่อมต่อกับอะไรได้บ้าง - แหล่งที่มาและปลายทางที่มีอยู่ทั้งหมดสําหรับ Data Factory
• บทเรียน End-to-end Data Factory - ติดตามบทเรียนนี้ตลอดกระบวนการ ETL ตั้งแต่การนําเข้าข้อมูลไปจนถึงการแปลงและการโหลดเข้าสู่ระบบปลายทาง