เพิ่มแหล่งที่มาของ Apache Kafka ไปยังสตรีมเหตุการณ์ Fabric

บทความนี้แสดงวิธีการเพิ่มแหล่งข้อมูล Apache Kafka ไปยังสตรีมเหตุการณ์ Fabric

Apache Kafka เป็นโอเพนซอร์สแพลตฟอร์มแบบกระจายสําหรับการสร้างระบบข้อมูลแบบเรียลไทม์ที่ปรับขนาดได้ ด้วยการผสานรวม Apache Kafka เป็นแหล่งที่มาภายในสตรีมเหตุการณ์ของคุณ คุณจะสามารถนําเหตุการณ์แบบเรียลไทม์จาก Apache Kafka ของคุณและประมวลผลได้อย่างราบรื่นก่อนที่จะกําหนดเส้นทางไปยังปลายทางหลายแห่งภายใน Fabric

Prerequisites

  • เข้าถึงพื้นที่ทํางาน Fabric ด้วยสิทธิ์ Contributor ขึ้นไป

  • คลัสเตอร์ Apache Kafka ทํางาน

  • Apache Kafka ของคุณต้องสามารถเข้าถึงได้โดยสาธารณะและไม่ได้อยู่หลังไฟร์วอลล์หรือมีความปลอดภัยในเครือข่ายเสมือน ถ้าอยู่ในเครือข่ายที่มีการป้องกัน ให้เชื่อมต่อโดยใช้การแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream

  • หากคุณวางแผนที่จะใช้ การตั้งค่า TLS/mTLS ให้ตรวจสอบว่าใบรับรองที่จําเป็นพร้อมใช้งานใน Azure Key Vault ดังนี้

    • นําเข้าใบรับรองที่จําเป็นลงใน Azure Key Vault ในรูปแบบ .pem
    • ผู้ใช้ที่กําหนดค่าแหล่งข้อมูลและแสดงตัวอย่างข้อมูลต้องมีสิทธิ์เข้าถึงใบรับรองใน Key Vault (ตัวอย่างเช่น Key Vault Certificate User หรือ Key Vault Administrator)
    • หากผู้ใช้ปัจจุบันไม่มีสิทธิ์ที่จําเป็น จะไม่สามารถดูตัวอย่างข้อมูลจากแหล่งข้อมูลนี้ใน Eventstream ได้

เพิ่ม Apache Kafka เป็นแหล่งข้อมูล

หากคุณยังไม่ได้เพิ่มแหล่งข้อมูลใดๆ ลงในสตรีมเหตุการณ์ของคุณ ให้เลือกไทล์ เชื่อมต่อแหล่งข้อมูล คุณยังสามารถเลือก เพิ่มแหล่งข้อมูล>Connect บนริบบิ้นได้อีกด้วย

สกรีนช็อตที่แสดงการเลือกไทล์สําหรับการใช้แหล่งข้อมูลภายนอก

หากคุณกําลังเพิ่มแหล่งที่มาไปยังสตรีมเหตุการณ์ที่เผยแพร่แล้ว ให้เปลี่ยนเป็นโหมดแก้ไข บน Ribbon ให้เลือก เพิ่มแหล่งข้อมูล Connect>

สกรีนช็อตที่แสดงการเลือกสําหรับการเพิ่มแหล่งข้อมูลภายนอก

บนหน้าเลือกแหล่งข้อมูล หรือหน้าแหล่งข้อมูล ให้เลือก Apache Kafka

สกรีนช็อตที่แสดงการเลือก Apache Kafka เป็นชนิดแหล่งที่มาในตัวช่วยสร้างรับเหตุการณ์

กําหนดค่าและเชื่อมต่อกับ Apache Kafka

  1. บนหน้า เชื่อมต่อ เลือก การเชื่อมต่อใหม่

    สกรีนช็อตที่แสดงการเลือกลิงก์การเชื่อมต่อใหม่บนหน้าเชื่อมต่อของตัวช่วยสร้างรับเหตุการณ์

  2. ในส่วน การตั้งค่าการเชื่อมต่อ สําหรับ Bootstrap Server ให้ป้อนที่อยู่เซิร์ฟเวอร์ Kafka bootstrap อย่างน้อยหนึ่งรายการ คั่นที่อยู่หลายรายการด้วยเครื่องหมายจุลภาค (,)

    สกรีนช็อตที่แสดงการเลือกเขตข้อมูลเซิร์ฟเวอร์ Apache Kafka Bootstrap บนหน้าเชื่อมต่อของตัวช่วยสร้างรับเหตุการณ์

  3. ในส่วนข้อมูลประจําตัวการเชื่อมต่อ หากคุณมีการเชื่อมต่อกับคลัสเตอร์ Apache Kafka อยู่แล้ว ให้เลือกจากรายการดรอปดาวน์สําหรับ การเชื่อมต่อ มิฉะนั้น ให้ทําตามขั้นตอนเหล่านี้:

    1. สําหรับ ชื่อการเชื่อมต่อ ให้ป้อนชื่อสําหรับการเชื่อมต่อ
    2. สําหรับ ประเภทการรับรองความถูกต้อง ให้ยืนยันว่าได้เลือก API Key แล้ว
    3. ในส่วนคีย์และข้อมูลลับ ให้ป้อนคีย์ API และคีย์ลับ

      Note

      หากคุณใช้ mTLS เพื่อทําการตรวจสอบสิทธิ์เท่านั้น คุณจะเพิ่มสตริงใดก็ได้ในส่วนคีย์ระหว่างการสร้างการเชื่อมต่อ

  4. เลือก เชื่อมต่อ 

  5. ตอนนี้ ที่หน้าเชื่อมต่อ ให้ทําตามขั้นตอนเหล่านี้

    1. สําหรับ หัวข้อ ให้ป้อนหัวข้อ Kafka

    2. สําหรับ กลุ่มผู้บริโภค ให้ป้อนกลุ่มผู้บริโภคของคลัสเตอร์ Apache Kafka ของคุณ เขตข้อมูลนี้มอบกลุ่มผู้บริโภคเฉพาะสําหรับการรับเหตุการณ์ให้กับคุณ

    3. เลือก รีเซ็ตออฟเซต อัตโนมัติเพื่อระบุตําแหน่งที่จะเริ่มต้นค่าชดเชยการอ่านถ้าไม่มีการยอมรับ

    4. สําหรับ โปรโตคอลความปลอดภัย ให้เลือกหนึ่งในตัวเลือกต่อไปนี้:

      • SASL_SSL: ใช้ตัวเลือกนี้เมื่อคลัสเตอร์ Kafka ของคุณใช้การรับรองความถูกต้องตาม SASL ตามค่าเริ่มต้น ใบรับรองเซิร์ฟเวอร์ของโบรกเกอร์ Kafka จะต้องลงนามโดยผู้ออกใบรับรอง (CA) ที่รวมอยู่ในรายการ CA ที่เชื่อถือได้ หากคลัสเตอร์ Kafka ของคุณใช้ CA แบบกําหนดเอง คุณสามารถกําหนดค่าได้โดยใช้การตั้งค่า TLS/mTLS
      • SSL (mTLS): ใช้ตัวเลือกนี้เมื่อคลัสเตอร์ Kafka ของคุณต้องการการตรวจสอบสิทธิ์ mTLS และคุณต้องกําหนดค่าทั้งใบรับรอง CA ของเซิร์ฟเวอร์แบบกําหนดเองและใบรับรองไคลเอ็นต์ในการตั้งค่า TLS/mTLS
    5. กลไก SASL เริ่มต้นโดยทั่วไปจะเป็น PLAIN เว้นแต่จะกําหนดค่าเป็นอย่างอื่น คุณสามารถเลือกกลไก SCRAM-SHA-256 หรือ SCRAM-SHA-512 ที่เหมาะกับความต้องการด้านความปลอดภัยของคุณ

    6. หากคลัสเตอร์ Kafka ของคุณใช้ CA แบบกําหนดเองหรือต้องใช้ mTLS ให้ขยาย การตั้งค่า TLS/mTLS และกําหนดค่าตัวเลือกต่อไปนี้ตามต้องการ:

      • เชื่อถือใบรับรอง CA: เปิดใช้งานตัวเลือกนี้เพื่อกําหนดค่าใบรับรอง CA ของเซิร์ฟเวอร์ เลือกการสมัครใช้งาน กลุ่มทรัพยากร และ Key Vault ของคุณ แล้วระบุชื่อใบรับรอง
      • ใบรับรองไคลเอ็นต์และคีย์: เปิดใช้งานตัวเลือกนี้เพื่อกําหนดค่าใบรับรองไคลเอ็นต์และคีย์
        • ใช้คลังคีย์ใบรับรอง CA เดียวกัน: เลือกช่องทําเครื่องหมายนี้เมื่อใบรับรองทั้งสองถูกเก็บไว้ใน Key Vault เดียวกัน จากนั้นระบุชื่อใบรับรอง
        • ถ้าคุณไม่เลือกกล่องกาเครื่องหมายนี้ ให้เลือกการสมัครใช้งาน กลุ่มทรัพยากร และ Key Vault แล้วระบุชื่อใบรับรอง

      Note

      สําหรับแหล่งที่มาในเครือข่ายส่วนตัว ตรวจสอบให้แน่ใจว่า Azure Key Vault ที่มีใบรับรองของคุณเชื่อมต่อกับเครือข่ายเสมือน Azure ที่ใช้โดยเกตเวย์ข้อมูลเครือข่ายเสมือนการสตรีมสําหรับการแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream (ตัวอย่างเช่น ผ่านจุดสิ้นสุดส่วนตัว)

    สกรีนช็อตที่แสดงหน้าแรกของการตั้งค่าการเชื่อมต่อ Apache Kafka

ข้อกําหนดของใบรับรอง TLS/mTLS

หากคุณกําหนดค่า <การตั้งค่า c0>TLS/mTLS โปรดดูส่วนนี้สําหรับข้อมูลจําเพาะของรูปแบบใบรับรองและข้อผิดพลาดในการกําหนดค่าที่พบบ่อยเมื่ออัปโหลดไปยัง Azure Key Vault

ห่วงโซ่ใบรับรอง

ประกาศนียบัตร ขนาดคีย์ ลงนามโดย จุดประสงค์
ใบรับรอง CA RSA 4096 บิต ลงนามด้วยตนเอง Trust anchor - โบรกเกอร์ตรวจสอบใบรับรองลูกค้ากับ CA นี้
ใบรับรองเซิร์ฟเวอร์ RSA 2048 บิต CA ตัวตนของโบรกเกอร์ - ลูกค้ายืนยันว่าโบรกเกอร์เป็นคนที่อ้างว่าเป็น
ใบรับรองลูกค้า RSA 2048 บิต CA ข้อมูลประจําตัวไคลเอ็นต์ - โบรกเกอร์ตรวจสอบว่าตัวเชื่อมต่อได้รับอนุญาต

ข้อกําหนด SAN ของใบรับรองเซิร์ฟเวอร์

ใบรับรองเซิร์ฟเวอร์ ต้องมี ที่อยู่ IP ของโบรกเกอร์และชื่อ DNS ในชื่อทางเลือกของหัวเรื่อง (SAN) เพื่อผ่านการยืนยันชื่อโฮสต์ (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

อัปโหลดใบรับรองไปยัง Azure Key Vault

ใบรับรองจะถูกอัปโหลดเป็นออบเจ็กต์ใบรับรอง Azure Key Vault ในรูปแบบ PEM ไฟล์บันเดิล PEM เป็นใบรับรอง + คีย์ส่วนตัวที่เชื่อมต่อกันในไฟล์เดียว:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

ใช้ นโยบายการนําเข้า ที่ตรงกับคุณสมบัติหลัก:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

เมื่อต้องการนําเข้าใบรับรอง ให้เรียกใช้คําสั่งต่อไปนี้:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

ข้อผิดพลาดทั่วไป

หลีก เลี่ยง ทําสิ่งนี้แทน
อัปโหลดเป็น PKCS#12/PFX ใช้รูปแบบ PEM กับ contentType: application/x-pem-file.
อัปโหลดใบรับรองโดยไม่ต้องใช้คีย์ส่วนตัว บันเดิล PEM ต้องมีทั้งใบรับรองและคีย์
ตั้งค่า keySize: 2048 สําหรับคีย์ 4096 บิต keySizeค่าต้องตรงกับขนาดคีย์จริง
ตั้ง ค่า issuerParameters.name: "Self" ใช้สําหรับ "Unknown" ใบรับรองที่ลงนามภายนอก
ใช้การลงท้ายบรรทัดของ Windows (CRLF) ไฟล์ PEM ต้องใช้การลงท้ายบรรทัด Unix (LF เท่านั้น)

ดูเหตุการณ์ที่อัปเดตแล้ว

คุณสามารถดูแหล่งที่มาของ Apache Kafka ที่เพิ่มลงในสตรีมเหตุการณ์ของคุณในโหมดแก้ไข 

สกรีนช็อตที่แสดงแหล่งที่มาของ Apache Kafka ในมุมมองแก้ไข

หลังจากที่คุณทําตามขั้นตอนเหล่านี้เสร็จแล้ว แหล่งที่มาของ Apache Kafka จะพร้อมใช้งานสําหรับการแสดงภาพในมุมมองสด

สกรีนช็อตที่แสดงแหล่งที่มาของ Apache Kafka ใน Live View

Note

หากต้องการดูตัวอย่างเหตุการณ์จากแหล่งที่มาของ Apache Kafka นี้ ตรวจสอบให้แน่ใจว่าคีย์ที่ใช้ในการสร้างการเชื่อมต่อระบบคลาวด์มีสิทธิ์อ่านสําหรับกลุ่มผู้บริโภคที่มีคํานําหน้าด้วย "preview-"

สําหรับแหล่งที่มาของ Apache Kafka สามารถดูตัวอย่างได้เฉพาะข้อความในรูปแบบ JSON เท่านั้น

สกรีนช็อตที่แสดงการแสดงตัวอย่างข้อมูลต้นทางของ Apache Kafka

ตัวเชื่อมต่ออื่นๆ: