รับข้อมูลจาก Azure Storage

ในบทความนี้ คุณจะได้เรียนรู้วิธีรับข้อมูลจาก Azure Storage (คอนเทนเนอร์ Azure Data Lake Storage รุ่น2, คอนเทนเนอร์ Blob หรือ Blob แต่ละรายการ) ลงในตารางในฐานข้อมูล KQL คุณสามารถนําเข้าข้อมูลอย่างต่อเนื่องหรือเป็นการนําเข้าครั้งเดียว หลังจากการนําเข้าเสร็จสมบูรณ์ ข้อมูลจะพร้อมใช้งานสําหรับการสืบค้น

• การนําเข้าอย่างต่อเนื่อง (พรีวิว): การนําเข้าอย่างต่อเนื่องจะตั้งค่าไปป์ไลน์การนําเข้าที่อนุญาตให้บ้านเหตุการณ์สามารถฟังเหตุการณ์ Azure Storage ได้ ไปป์ไลน์จะแจ้งให้ eventhouse ดึงข้อมูลเมื่อมีเหตุการณ์ที่สมัครใช้งานเกิดขึ้น เหตุการณ์คือ BlobCreated และ BlobRename

• การนําเข้าแบบครั้งเดียว: ใช้วิธีนี้เพื่อดึงข้อมูลจาก Azure Storage เป็นการดําเนินการแบบครั้งเดียว

  Note

  • สตรีมการนําเข้าอย่างต่อเนื่องอาจส่งผลกระทบต่อการเรียกเก็บเงินของคุณ สําหรับข้อมูลเพิ่มเติม ดูปริมาณการใช้ฐานข้อมูล Eventhouse และ KQL

Prerequisites

• พื้นที่ทํางาน ที่มี ความจุ ที่เปิดใช้งาน Microsoft Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไข
• บัญชี Azure storage

ข้อกําหนดเบื้องต้นสําหรับการนําเข้าอย่างต่อเนื่อง

• Fabric ข้อมูลประจําตัวพื้นที่ทํางาน พื้นที่ทํางานของฉันไม่รองรับ หากจําเป็น ให้สร้างพื้นที่ทํางานใหม่

ใน Azure:

• ลงทะเบียนผู้ให้บริการทรัพยากรกริดเหตุการณ์ กับการสมัครใช้งาน Azure ของคุณ
• กําหนดสิทธิ์บทบาท ตัวอ่านข้อมูล Blob ของที่เก็บข้อมูล ให้กับข้อมูลประจําตัวของพื้นที่ทํางาน
• สร้างคอนเทนเนอร์ Blob เพื่อเก็บไฟล์ข้อมูล

  • อัปโหลดไฟล์ข้อมูล โครงสร้างไฟล์ข้อมูลถูกใช้เพื่อกําหนดโครงสร้างตาราง สําหรับข้อมูลเพิ่มเติม ให้ดู รูปแบบข้อมูล ที่ได้รับการสนับสนุนโดย Real-Time Intelligence

    Note

    คุณต้องอัปโหลดไฟล์ข้อมูล:

    • ก่อน การตั้งค่าคอนฟิก เพื่อกําหนด schema ตารางระหว่างการตั้งค่า
    • หลังจากการกําหนดค่าเพื่อทริกเกอร์การนําเข้าอย่างต่อเนื่อง เพื่อแสดงตัวอย่างข้อมูล และเพื่อตรวจสอบการเชื่อมต่อ

    Note

    การนําเข้าอย่างต่อเนื่องจาก Azure Storage ยังได้รับการสนับสนุนเมื่อมีการกําหนดค่าบัญชีที่เก็บข้อมูลด้วยจุดสิ้นสุดส่วนตัว (Private Link) ตรวจสอบให้แน่ใจว่าพื้นที่ทํางาน Fabric สามารถเข้าถึงบัญชีที่เก็บข้อมูลผ่านเส้นทางเครือข่ายส่วนตัวที่กําหนดค่าไว้

เพิ่มการกําหนดบทบาทข้อมูลประจําตัวของพื้นที่ทํางานให้กับบัญชีเก็บข้อมูล

1. จากการตั้งค่าพื้นที่ทํางานใน Fabric ให้คัดลอกรหัสประจําตัวพื้นที่ทํางานของคุณ

   

2. ในพอร์ทัล Azure ให้เรียกดูบัญชี Azure Storage ของคุณ แล้วเลือก การควบคุมการเข้าถึง (IAM)>Add>Add role assignment

3. เลือกตัวอ่านข้อมูล Blob ที่เก็บข้อมูล

4. ในกล่องโต้ตอบ เพิ่มการกําหนดบทบาท เลือก + เลือกสมาชิก

5. วางรหัสข้อมูลประจําตัวของพื้นที่ทํางาน เลือกแอปพลิเคชัน แล้วเลือก ตรวจสอบ>+ มอบหมาย

สร้างคอนเทนเนอร์ Blob และอัปโหลดไฟล์ข้อมูล

1. ในบัญชีที่เก็บข้อมูล ให้เลือก คอนเทนเนอร์

2. เลือก + คอนเทนเนอร์ ป้อนชื่อสําหรับคอนเทนเนอร์ และเลือก บันทึก

3. ป้อนคอนเทนเนอร์ เลือก อัปโหลด และอัปโหลดไฟล์ข้อมูลที่เตรียมไว้ก่อนหน้านี้

   สําหรับข้อมูลเพิ่มเติม โปรดดู รูปแบบที่รองรับและการบีบอัดที่รองรับ

4. จากเมนูบริบท [...] ให้เลือก คุณสมบัติคอนเทนเนอร์ และคัดลอก URL เพื่อป้อนข้อมูลระหว่างการกําหนดค่า

   

เลือก Azure Storage เป็นแหล่งข้อมูล

เปิดโฟลว์ รับข้อมูล และเลือก Azure Storage เป็นแหล่งข้อมูล

1. จากพื้นที่ทํางานของคุณ ให้เปิดบ้านเหตุการณ์ แล้วเลือกฐานข้อมูล

2. บน Ribbon ฐานข้อมูล KQL ให้เลือก รับข้อมูล

3. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังนําเข้าข้อมูลจาก Azure Storage

   

Configure

ตรวจสอบข้อมูลตัวอย่างก่อนนําเข้า

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับตัวอย่างข้อมูล

หากต้องการดําเนินการนําเข้าให้เสร็จสมบูรณ์ ให้เลือกเสร็จสิ้น

Optionally:

• ใช้ดรอปดาวน์ของไฟล์ข้อกําหนดสคีมาเพื่อเปลี่ยนไฟล์ที่อนุมาน schema

• ใช้ดรอปดาวน์ชนิดไฟล์เพื่อสํารวจตัวเลือกขั้นสูงตามชนิดข้อมูล

• ใช้ดรอปดาวน์ Table_mapping เพื่อกําหนดการแม็ปใหม่

• เลือก </> เพื่อเปิดตัวแสดงคําสั่งเพื่อดูและคัดลอกคําสั่งอัตโนมัติที่สร้างขึ้นจากอินพุตของคุณ คุณยังสามารถเปิดคําสั่งในชุดคิวรี KQL ได้อีกด้วย

• เลือกไอคอนดินสอเพื่อแก้ไขคอลัมน์

แก้ไขคอลัมน์

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

• ชนิดของตารางเป็นของใหม่หรือที่มีอยู่
• ชนิดการแมปเป็นแบบใหม่หรือมีอยู่

การแปลงการทําแผนที่

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรือปรับปรุงคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long สําหรับข้อมูลเพิ่มเติม โปรดดูรายการทั้งหมดของการแปลงการแมปที่รองรับ

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

ตาราง (CSV, TSV, PSV):

• หากคุณกําลังนําเข้ารูปแบบตารางในตารางที่มีอยู่ คุณสามารถเลือก > เก็บสคีมาตารางขั้นสูงได้ ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

  

• ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก แถวแรกเป็นส่วนหัวของคอลัมน์

  

ตาราง (CSV, TSV, PSV):

• หากคุณกําลังนําเข้ารูปแบบตารางในตารางที่มีอยู่ ให้เลือก Table_mapping>ใช้ Schema ที่มีอยู่ ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อคุณเลือกตัวเลือกนี้ การแม็ปจะทําตามใบสั่ง และ Schema ตารางจะยังคงเหมือนเดิม ถ้าคุณล้างตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้า โดยไม่คํานึงถึงโครงสร้างข้อมูล

• หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือกส่วนหัวของแถวแรก

  

JSON:

• เมื่อต้องการกําหนดการแบ่งคอลัมน์ของข้อมูล JSON ให้เลือก ระดับที่ซ้อนกัน ตั้งแต่ 1 ถึง 100

  

ตรวจสอบสรุปการนําเข้า

ในหน้าต่าง สรุป ขั้นตอนทั้งหมดจะแสดงเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้นเรียบร้อยแล้ว คุณสามารถเลือกการ์ดเพื่อสํารวจข้อมูล ลบข้อมูลนําเข้า หรือสร้างแดชบอร์ดด้วยเมตริกหลัก

เนื้อหาที่เกี่ยวข้อง

• เมื่อต้องการจัดการฐานข้อมูลของคุณ ให้ดูที่ จัดการข้อมูล
• เมื่อต้องการสร้าง จัดเก็บ และส่งออกคิวรี โปรดดู คิวรีข้อมูลในชุดคิวรี KQL