หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
บทความนี้แสดงวิธีการเพิ่มแหล่งข้อมูล Apache Kafka ไปยังสตรีมเหตุการณ์ Fabric
Apache Kafka เป็นโอเพนซอร์สแพลตฟอร์มแบบกระจายสําหรับการสร้างระบบข้อมูลแบบเรียลไทม์ที่ปรับขนาดได้ ด้วยการผสานรวม Apache Kafka เป็นแหล่งที่มาภายในสตรีมเหตุการณ์ของคุณ คุณจะสามารถนําเหตุการณ์แบบเรียลไทม์จาก Apache Kafka ของคุณและประมวลผลได้อย่างราบรื่นก่อนที่จะกําหนดเส้นทางไปยังปลายทางหลายแห่งภายใน Fabric
Prerequisites
เข้าถึงพื้นที่ทํางาน Fabric ด้วยสิทธิ์ Contributor ขึ้นไป
คลัสเตอร์ Apache Kafka ทํางาน
Apache Kafka ของคุณต้องสามารถเข้าถึงได้โดยสาธารณะและไม่ได้อยู่หลังไฟร์วอลล์หรือมีความปลอดภัยในเครือข่ายเสมือน ถ้าอยู่ในเครือข่ายที่มีการป้องกัน ให้เชื่อมต่อโดยใช้การแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream
หากคุณวางแผนที่จะใช้ การตั้งค่า TLS/mTLS ให้ตรวจสอบว่าใบรับรองที่จําเป็นพร้อมใช้งานใน Azure Key Vault ดังนี้
- นําเข้าใบรับรองที่จําเป็นลงใน Azure Key Vault ในรูปแบบ .pem
- ผู้ใช้ที่กําหนดค่าแหล่งข้อมูลและแสดงตัวอย่างข้อมูลต้องมีสิทธิ์เข้าถึงใบรับรองใน Key Vault (ตัวอย่างเช่น Key Vault Certificate User หรือ Key Vault Administrator)
- หากผู้ใช้ปัจจุบันไม่มีสิทธิ์ที่จําเป็น จะไม่สามารถดูตัวอย่างข้อมูลจากแหล่งข้อมูลนี้ใน Eventstream ได้
เพิ่ม Apache Kafka เป็นแหล่งข้อมูล
หากคุณยังไม่ได้เพิ่มแหล่งข้อมูลใดๆ ลงในสตรีมเหตุการณ์ของคุณ ให้เลือกไทล์ เชื่อมต่อแหล่งข้อมูล คุณยังสามารถเลือก เพิ่มแหล่งข้อมูล>Connect บนริบบิ้นได้อีกด้วย
หากคุณกําลังเพิ่มแหล่งที่มาไปยังสตรีมเหตุการณ์ที่เผยแพร่แล้ว ให้เปลี่ยนเป็นโหมดแก้ไข บน Ribbon ให้เลือก เพิ่มแหล่งข้อมูล Connect>
บนหน้าเลือกแหล่งข้อมูล หรือหน้าแหล่งข้อมูล ให้เลือก Apache Kafka
กําหนดค่าและเชื่อมต่อกับ Apache Kafka
บนหน้า เชื่อมต่อ เลือก การเชื่อมต่อใหม่
ในส่วน การตั้งค่าการเชื่อมต่อ สําหรับ Bootstrap Server ให้ป้อนที่อยู่เซิร์ฟเวอร์ Kafka bootstrap อย่างน้อยหนึ่งรายการ คั่นที่อยู่หลายรายการด้วยเครื่องหมายจุลภาค (,)
ในส่วนข้อมูลประจําตัวการเชื่อมต่อ หากคุณมีการเชื่อมต่อกับคลัสเตอร์ Apache Kafka อยู่แล้ว ให้เลือกจากรายการดรอปดาวน์สําหรับ การเชื่อมต่อ มิฉะนั้น ให้ทําตามขั้นตอนเหล่านี้:
- สําหรับ ชื่อการเชื่อมต่อ ให้ป้อนชื่อสําหรับการเชื่อมต่อ
- สําหรับ ประเภทการรับรองความถูกต้อง ให้ยืนยันว่าได้เลือก API Key แล้ว
- ในส่วนคีย์และข้อมูลลับ ให้ป้อนคีย์ API และคีย์ลับ
Note
หากคุณใช้ mTLS เพื่อทําการตรวจสอบสิทธิ์เท่านั้น คุณจะเพิ่มสตริงใดก็ได้ในส่วนคีย์ระหว่างการสร้างการเชื่อมต่อ
เลือก เชื่อมต่อ
ตอนนี้ ที่หน้าเชื่อมต่อ ให้ทําตามขั้นตอนเหล่านี้
สําหรับ หัวข้อ ให้ป้อนหัวข้อ Kafka
สําหรับ กลุ่มผู้บริโภค ให้ป้อนกลุ่มผู้บริโภคของคลัสเตอร์ Apache Kafka ของคุณ เขตข้อมูลนี้มอบกลุ่มผู้บริโภคเฉพาะสําหรับการรับเหตุการณ์ให้กับคุณ
เลือก รีเซ็ตออฟเซต อัตโนมัติเพื่อระบุตําแหน่งที่จะเริ่มต้นค่าชดเชยการอ่านถ้าไม่มีการยอมรับ
สําหรับ โปรโตคอลความปลอดภัย ให้เลือกหนึ่งในตัวเลือกต่อไปนี้:
- SASL_SSL: ใช้ตัวเลือกนี้เมื่อคลัสเตอร์ Kafka ของคุณใช้การรับรองความถูกต้องตาม SASL ตามค่าเริ่มต้น ใบรับรองเซิร์ฟเวอร์ของโบรกเกอร์ Kafka จะต้องลงนามโดยผู้ออกใบรับรอง (CA) ที่รวมอยู่ในรายการ CA ที่เชื่อถือได้ หากคลัสเตอร์ Kafka ของคุณใช้ CA แบบกําหนดเอง คุณสามารถกําหนดค่าได้โดยใช้การตั้งค่า TLS/mTLS
- SSL (mTLS): ใช้ตัวเลือกนี้เมื่อคลัสเตอร์ Kafka ของคุณต้องการการตรวจสอบสิทธิ์ mTLS และคุณต้องกําหนดค่าทั้งใบรับรอง CA ของเซิร์ฟเวอร์แบบกําหนดเองและใบรับรองไคลเอ็นต์ในการตั้งค่า TLS/mTLS
กลไก SASL เริ่มต้นโดยทั่วไปจะเป็น PLAIN เว้นแต่จะกําหนดค่าเป็นอย่างอื่น คุณสามารถเลือกกลไก SCRAM-SHA-256 หรือ SCRAM-SHA-512 ที่เหมาะกับความต้องการด้านความปลอดภัยของคุณ
หากคลัสเตอร์ Kafka ของคุณใช้ CA แบบกําหนดเองหรือต้องใช้ mTLS ให้ขยาย การตั้งค่า TLS/mTLS และกําหนดค่าตัวเลือกต่อไปนี้ตามต้องการ:
- เชื่อถือใบรับรอง CA: เปิดใช้งานตัวเลือกนี้เพื่อกําหนดค่าใบรับรอง CA ของเซิร์ฟเวอร์ เลือกการสมัครใช้งาน กลุ่มทรัพยากร และ Key Vault ของคุณ แล้วระบุชื่อใบรับรอง
-
ใบรับรองไคลเอ็นต์และคีย์: เปิดใช้งานตัวเลือกนี้เพื่อกําหนดค่าใบรับรองไคลเอ็นต์และคีย์
- ใช้คลังคีย์ใบรับรอง CA เดียวกัน: เลือกช่องทําเครื่องหมายนี้เมื่อใบรับรองทั้งสองถูกเก็บไว้ใน Key Vault เดียวกัน จากนั้นระบุชื่อใบรับรอง
- ถ้าคุณไม่เลือกกล่องกาเครื่องหมายนี้ ให้เลือกการสมัครใช้งาน กลุ่มทรัพยากร และ Key Vault แล้วระบุชื่อใบรับรอง
Note
สําหรับแหล่งที่มาในเครือข่ายส่วนตัว ตรวจสอบให้แน่ใจว่า Azure Key Vault ที่มีใบรับรองของคุณเชื่อมต่อกับเครือข่ายเสมือน Azure ที่ใช้โดยเกตเวย์ข้อมูลเครือข่ายเสมือนการสตรีมสําหรับการแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream (ตัวอย่างเช่น ผ่านจุดสิ้นสุดส่วนตัว)
ข้อกําหนดของใบรับรอง TLS/mTLS
หากคุณกําหนดค่า <การตั้งค่า c0>TLS/mTLS โปรดดูส่วนนี้สําหรับข้อมูลจําเพาะของรูปแบบใบรับรองและข้อผิดพลาดในการกําหนดค่าที่พบบ่อยเมื่ออัปโหลดไปยัง Azure Key Vault
ห่วงโซ่ใบรับรอง
| ประกาศนียบัตร | ขนาดคีย์ | ลงนามโดย | จุดประสงค์ |
|---|---|---|---|
| ใบรับรอง CA | RSA 4096 บิต | ลงนามด้วยตนเอง | Trust anchor - โบรกเกอร์ตรวจสอบใบรับรองลูกค้ากับ CA นี้ |
| ใบรับรองเซิร์ฟเวอร์ | RSA 2048 บิต | CA | ตัวตนของโบรกเกอร์ - ลูกค้ายืนยันว่าโบรกเกอร์เป็นคนที่อ้างว่าเป็น |
| ใบรับรองลูกค้า | RSA 2048 บิต | CA | ข้อมูลประจําตัวไคลเอ็นต์ - โบรกเกอร์ตรวจสอบว่าตัวเชื่อมต่อได้รับอนุญาต |
ข้อกําหนด SAN ของใบรับรองเซิร์ฟเวอร์
ใบรับรองเซิร์ฟเวอร์ ต้องมี ที่อยู่ IP ของโบรกเกอร์และชื่อ DNS ในชื่อทางเลือกของหัวเรื่อง (SAN) เพื่อผ่านการยืนยันชื่อโฮสต์ (ssl.endpoint.identification.algorithm=https):
subjectAltName:
DNS.1 = {broker FQDN}
DNS.2 = localhost
IP.1 = {broker public IP}
IP.2 = 127.0.0.1
อัปโหลดใบรับรองไปยัง Azure Key Vault
ใบรับรองจะถูกอัปโหลดเป็นออบเจ็กต์ใบรับรอง Azure Key Vault ในรูปแบบ PEM ไฟล์บันเดิล PEM เป็นใบรับรอง + คีย์ส่วนตัวที่เชื่อมต่อกันในไฟล์เดียว:
-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----
ใช้ นโยบายการนําเข้า ที่ตรงกับคุณสมบัติหลัก:
{
"secretProperties": {
"contentType": "application/x-pem-file"
},
"keyProperties": {
"exportable": true,
"keyType": "RSA",
"keySize": 4096,
"reuseKey": false
},
"issuerParameters": {
"name": "Unknown"
}
}
เมื่อต้องการนําเข้าใบรับรอง ให้เรียกใช้คําสั่งต่อไปนี้:
az keyvault certificate import \
--vault-name {kvName} \
--name {certName} \
--file {pemBundleFile} \
--policy @{policyFile}
ข้อผิดพลาดทั่วไป
| หลีก เลี่ยง | ทําสิ่งนี้แทน |
|---|---|
| อัปโหลดเป็น PKCS#12/PFX | ใช้รูปแบบ PEM กับ contentType: application/x-pem-file. |
| อัปโหลดใบรับรองโดยไม่ต้องใช้คีย์ส่วนตัว | บันเดิล PEM ต้องมีทั้งใบรับรองและคีย์ |
ตั้งค่า keySize: 2048 สําหรับคีย์ 4096 บิต |
keySizeค่าต้องตรงกับขนาดคีย์จริง |
ตั้ง ค่า issuerParameters.name: "Self" |
ใช้สําหรับ "Unknown" ใบรับรองที่ลงนามภายนอก |
| ใช้การลงท้ายบรรทัดของ Windows (CRLF) | ไฟล์ PEM ต้องใช้การลงท้ายบรรทัด Unix (LF เท่านั้น) |
ดูเหตุการณ์ที่อัปเดตแล้ว
คุณสามารถดูแหล่งที่มาของ Apache Kafka ที่เพิ่มลงในสตรีมเหตุการณ์ของคุณในโหมดแก้ไข
หลังจากที่คุณทําตามขั้นตอนเหล่านี้เสร็จแล้ว แหล่งที่มาของ Apache Kafka จะพร้อมใช้งานสําหรับการแสดงภาพในมุมมองสด
Note
หากต้องการดูตัวอย่างเหตุการณ์จากแหล่งที่มาของ Apache Kafka นี้ ตรวจสอบให้แน่ใจว่าคีย์ที่ใช้ในการสร้างการเชื่อมต่อระบบคลาวด์มีสิทธิ์อ่านสําหรับกลุ่มผู้บริโภคที่มีคํานําหน้าด้วย "preview-"
สําหรับแหล่งที่มาของ Apache Kafka สามารถดูตัวอย่างได้เฉพาะข้อความในรูปแบบ JSON เท่านั้น
เนื้อหาที่เกี่ยวข้อง
ตัวเชื่อมต่ออื่นๆ:
- สตรีมข้อมูล Amazon Kinesis
- <ค 0>Azure Cosmos DB
- <ค 0>Azure Event Hubs
- <ค 0>Azure IoT Hub
- Azure SQL Database การบันทึกข้อมูลการเปลี่ยนแปลง (CDC)
- ปลายทางที่กําหนดเอง
- ผับ/ย่อย Google Cloud
- ฐานข้อมูล MySQL CDC
- ฐานข้อมูล PostgreSQL CDC
- ข้อมูลตัวอย่าง
- เหตุการณ์ Azure Blob Storage
- Fabric เหตุการณ์พื้นที่ทํางาน