ปฏิวัติการตรวจสอบยานพาหนะด้วย EVVIE

กลไกการตรวจสอบยานพาหนะวิชวลระดับองค์กร (EVVIE) ใช้ AI และ Microsoft Power Platform เพื่อปฏิวัติกระบวนการตรวจสอบยานพาหนะ ด้วยการตรวจสอบอัตโนมัติ EVVIE ช่วยประหยัดเวลาและเพิ่มความถูกต้อง ทำให้เป็นเครื่องมืออันล้ำค่าสำหรับองค์กรที่จัดการกองยานพาหนะขนาดใหญ่ บทความนี้ให้ภาพรวมของสถาปัตยกรรม เวิร์กโฟลว์ และส่วนประกอบสำคัญของ EVVIE โดยนำเสนอข้อมูลเชิงลึกว่าโซลูชันที่เป็นนวัตกรรมนี้สามารถปรับปรุงการตรวจสอบและบำรุงรักษายานพาหนะได้อย่างไร

สำหรับการสาธิตและข้อมูลเพิ่มเติมเกี่ยวกับ EVVIE โปรดไปที่ aka.ms/EVVIE

แผนภาพสถาปัตยกรรม

เวิร์กโฟลว์

EVVIE ใช้การผสมผสานที่ไม่เหมือนใครของ Power Platform และทรัพยากร Microsoft Azure เพื่อทําให้กระบวนการตรวจสอบรถเป็นอัตโนมัติโดยใช้แบบจําลอง AI ขั้นสูง ในระดับสูงกระบวนการภายในของ EVVIE มีดังนี้:

1. แอปพื้นที่ทํางาน Power Apps ทําหน้าที่เป็นอินเทอร์เฟซเพื่อให้ผู้ใช้สามารถรวบรวมภาพถ่ายความเสียหายของยานพาหนะซึ่งเป็นส่วนหนึ่งของการตรวจสอบยานพาหนะ รูปภาพถูกเข้ารหัสเป็นสตริง base64

2. แอปใช้ตัวเชื่อมต่อแบบกําหนดเองเพื่อให้รูปภาพที่จับภาพไปยัง API แบบกําหนดเอง แอปฟังก์ชัน Azure ที่ใช้.NET

3. แอปฟังก์ชันรับและแยกวิเคราะห์การเรียกใช้ HTTP API จากแอป ดึงข้อมูลรูปภาพ และอินเทอร์เฟซด้วยแบบจําลองภาษาแบบหลายรูปแบบใน Azure OpenAI Service โมเดลจะตรวจสอบภาพถ่ายและจำแนกความเสียหายออกเป็นสามช่อง: พื้นที่ของรถ ระดับความรุนแรง และคำอธิบายทั่วไปของความเสียหาย

4. แอปการตรวจสอบจะได้รับการตอบกลับจากแอปฟังก์ชันและนำเสนอการประเมินความเสียหายที่สร้างโดย AI แก่ผู้ใช้ ซึ่งสามารถยอมรับ แก้ไข หรือปฏิเสธการประเมินได้ ผู้ใช้สรุปการประเมินและส่งการประเมินสำหรับยานพาหนะที่กำหนด การประเมินจะถูกเก็บไว้อย่างปลอดภัยใน Dataverse

5. เพจแบบกำหนดเองที่ขับเคลื่อนด้วยแบบจำลองช่วยให้ผู้ดูแลระบบสามารถตรวจสอบข้อมูลการตรวจสอบยานพาหนะได้

คอมโพเนนต์

Microsoft Dataverse: Dataverse จัดเก็บข้อมูลทั้งหมดที่เก็บรวบรวมไว้เป็นส่วนหนึ่งของการตรวจสอบยานพาหนะ เช่น ภาพถ่ายความเสียหาย การจัดอันดับระดับความรุนแรง และคําอธิบาย

Power Apps: เจ้าหน้าที่ในสาขาที่ตรวจสอบยานพาหนะและเจ้าหน้าที่ฝ่ายบริหารที่ตรวจสอบการตรวจสอบใช้แอปที่สร้างขึ้นใน Power Apps Microsoft กรอบการพัฒนาแอปพลิเคชันแบบไม่มีรหัส/มีรหัสต่ํา

ตัวเชื่อมต่อที่กำหนดเอง: ตัวเชื่อมต่อที่กำหนดเองช่วยให้แอปตรวจสอบยานพาหนะเคลื่อนที่ EVVIE (ใช้โดยเจ้าหน้าที่ตรวจสอบยานพาหนะในภาคสนาม) เรียกใช้บริการแบ็คเอนด์ที่ใช้ AI ขั้นสูงในการประเมินภาพที่ให้มา

ฟังก์ชัน Azure: ฟังก์ชัน Azure แพลตฟอร์มการคํานวณแบบไร้เซิร์ฟเวอร์ Microsoft ทําหน้าที่เป็น API เว็บที่แอป EVVIE สามารถเรียกโดยใช้คําขอ HTTP ผ่านตัวเชื่อมต่อแบบกําหนดเอง แอปฟังก์ชัน Azure ได้รับรูปภาพผ่านการเรียกใช้ API ใช้แบบจําลอง AI ขั้นสูงเพื่อประเมินความเสียหายและส่งกลับการประเมินไปยังแอป

Azure OpenAI Service: EVVIE ใช้แบบจําลอง AI แบบมัลติโมเดิลเพื่อประเมินความเสียหายในรูปภาพที่ให้มา และจัดประเภทเป็นสามเขตข้อมูล: ระดับความรุนแรง (1-5), พื้นที่ของรถ (เช่น ประตู, กันชนหน้า) และคําอธิบายความเสียหาย ในขณะที่สามารถใช้โมเดลภาษาต่อเนื่องหลายรูปแบบในอนาคตได้ (นั่นคือ "o1" หรือ "o3" เมื่อพร้อมใช้งานอย่างกว้างขวาง) มีการใช้ GPT-4o ณ เวลาที่เขียนนี้

รายละเอียดของสถานการณ์จำลอง

EVVIE ช่วยให้องค์กรที่มียานพาหนะขนาดใหญ่จัดการการตรวจสอบและบำรุงรักษาเป็นประจำ การตรวจสอบตามปกติต้องใช้เวลาและเบี่ยงเบนความสนใจของพนักงานจากงานที่มีค่ามากกว่า

เพื่อบรรเทาภาระนี้และประหยัดเวลา EVVIE ใช้ AI สร้างสรรค์ ต่อเนื่องหลายรูปแบบขั้นสูงเพื่อประเมินและบันทึกความเสียหายของยานพาหนะโดยอัตโนมัติ แทนที่จะบันทึกความเสียหายแต่ละกรณีด้วยตนเอง พนักงานจะให้รูปถ่ายแก่ EVVIE จากภาพเดียวนี้ EVVIE จะประเมินความเสียหายบันทึกตำแหน่งบนรถกำหนดระดับความรุนแรงและให้คำอธิบายสั้น ๆ

EVVIE ได้รับแรงบันดาลใจจากการสนทนากับกรมนายอำเภอ LA County ซึ่งจัดการยานพาหนะหลายพันคัน โดยปกติ เจ้าหน้าที่แต่ละคนต้องสำรวจยานพาหนะด้วยปากกา กระดาษ และคลิปบอร์ดก่อนเริ่มกะงาน บันทึกความเสียหายใดๆ และส่งข้อมูลนี้ไปยังผู้บังคับบัญชา อย่างไรก็ตาม การตรวจสอบตามปกตินี้มักจะตกอยู่ข้างทางเนื่องจากหน้าที่เร่งด่วน ทำให้มีเวลาเพียงเล็กน้อยสำหรับการตรวจสอบ 20 นาทีที่ยุ่งยาก

โดยการใช้ EVVIE เจ้าหน้าที่เพียงแค่เปิดแอพบนโทรศัพท์และถ่ายภาพรถ AI จัดทำเอกสารความเสียหายและรายงานต่อหัวหน้างาน โดยไม่จำเป็นต้องใช้กระบวนการที่ใช้กระดาษ

ข้อควรพิจารณา

ข้อควรพิจารณาเหล่านี้ใช้เสาหลักของ Power Platform Well-Architected ซึ่งเป็นชุดหลักการชี้นําเพื่อช่วยปรับปรุงคุณภาพของปริมาณงาน เรียนรู้เพิ่มเติมเกี่ยวกับ Microsoft Power Platform Well-Architected

ความน่าเชื่อถือ

แต่ละคอมโพเนนต์บนระบบคลาวด์ Microsoft ในสถาปัตยกรรมของ EVVIE ได้รับการออกแบบมาเพื่อความน่าเชื่อถือที่ยอดเยี่ยม ทําให้มั่นใจได้ว่าสามารถตอบสนองเป้าหมายช่วงเวลาให้บริการและการกู้คืนที่สําคัญได้อย่างสม่ําเสมอ ความน่าเชื่อถือนี้เกิดขึ้นได้จากระบบสำรองที่ปรับขนาดได้ ให้ประสิทธิภาพและความยืดหยุ่นที่แข็งแกร่ง

Security

สําหรับการพิสูจน์แนวคิดของ EVVIE API บนเว็บที่ใช้ ฟังก์ชัน Azure ที่อินเทอร์เฟซกับแอปไม่รวมโพรโทคอลความปลอดภัยใด ๆ ใครก็ตามที่ทราบตำแหน่งข้อมูล API (URL) ที่ไม่ซ้ำกันสามารถเข้าถึงบริการส่วนหลังของ EVVIE ได้

ในการปรับใช้การผลิต จําเป็นสําหรับผู้รวมระบบเพื่อใช้เลเยอร์การรับรองความถูกต้องมาตรฐาน เช่น การรับรองความถูกต้องโดยใช้คีย์ผ่าน Azure API Management มาตรการรักษาความปลอดภัยดังกล่าวช่วยให้มั่นใจได้ว่าบริการ API ส่วนหลังสามารถเข้าถึงได้ตามที่แอปส่วนหน้าของ EVVIE ตั้งใจไว้เท่านั้น

ความเป็นเลิศในการดำเนินงาน

เพื่อเป็นการพิสูจน์แนวคิด EVVIE ถูกสร้างขึ้นตั้งแต่เริ่มต้นด้วยข้อกำหนดที่สมมติขึ้นเพื่อแสดงความสามารถของเทคโนโลยีในการประเมินความเสียหายของยานพาหนะ ทุกด้าน ตั้งแต่กระบวนการตรวจสอบไปจนถึงเกณฑ์ที่ EVVIE ประเมิน—พื้นที่ของความเสียหาย ระดับความรุนแรง คำอธิบาย และพื้นที่เฉพาะของรถที่สามารถระบุความเสียหายได้—สามารถและควรปรับแต่งให้ตรงกับความต้องการเฉพาะขององค์กรใดๆ ที่ปรับใช้ EVVIE

ตัวอย่างเช่น ผู้รวมระบบสามารถ:

• ปรับพื้นที่เฉพาะของรถที่ EVVIE สามารถระบุความเสียหายได้
• ปรับแต่งพรอมต์ของระบบที่ใช้ในการสั่งโมเดล
• ดำเนินการตามข้อกำหนดเกี่ยวกับจำนวนรูปถ่ายขั้นต่ำ

การปรับเปลี่ยนเหล่านี้ทำให้มั่นใจได้ว่า EVVIE ทำงานได้อย่างเหมาะสมที่สุดและสอดคล้องกับความต้องการเฉพาะขององค์กร

ประสิทธิภาพการทำงาน

ปัญหาคอขวดที่อาจเกิดขึ้นสองประการอาจส่งผลต่อความสามารถในการปรับขนาดของ EVVIE อย่างมีนัยสำคัญ:

• API ฟังก์ชัน Azure: ในฐานะประตูหน้าของ EVVIE ไปยังบริการ AI สําหรับการประเมินความเสียหายของรถเป็นสิ่งสําคัญเพื่อให้แน่ใจว่าแอปฟังก์ชั่น Azure ได้รับการกําหนดค่าสําหรับมาตราส่วนขนาดใหญ่ อาจแนะนําให้ปรับใช้กับแผนเฉพาะทั้งนี้ขึ้นอยู่กับปริมาณการใช้ขององค์กรเพื่อให้แน่ใจว่าสามารถปรับขนาดได้

• Azure OpenAI Service: แบบจําลอง OpenAI ของ Azure เรียกใช้โดยแอปฟังก์ชัน เป็นสิ่งสําคัญสําหรับการประเมินและบันทึกความเสียหาย สิ่งสําคัญคือต้องตรวจสอบให้แน่ใจว่าการปรับใช้ OpenAI ของ Azure ซึ่ง API ส่วนหลังใช้อยู่นั้นใช้งานได้อยู่เสมอ เนื่องจาก OpenAI Azure ใช้ระบบที่ใช้โทเค็น สิ่งสําคัญคือต้องรับประกันว่าแบบจําลองที่ใช้ใน EVVIE มีโควตาโทเค็นสูงสําหรับระยะเวลาการใช้งานที่กําหนด

การปรับปรุงประสบการณ์ใช้งาน

ทีมงานที่พัฒนา EVVIE ทุ่มเทเวลาและความพยายามอย่างมากในการเพิ่มประสิทธิภาพอินเทอร์เฟซผู้ใช้และประสบการณ์ผู้ใช้ เพื่อให้พนักงานตรวจสอบยานพาหนะและตรวจสอบการตรวจสอบได้ง่ายและง่ายดาย

แอปตรวจสอบของ EVVIE เป็นแอปพื้นที่ทํางานที่สามารถปรับเปลี่ยนได้อย่างง่ายดายผ่านส่วนต่อประสานแบบเลือกและลากที่เรียบง่ายคล้ายกับ PowerPoint เพื่อตอบสนองความต้องการขององค์กร

อินเทอร์เฟซที่พนักงานดูแลใช้เพื่อตรวจสอบการตรวจสอบเหล่านี้คือแอปแบบจําลองข้อมูล หน้าแบบกําหนดเองง่ายต่อการปรับเปลี่ยนให้พอดีกับข้อกําหนดเฉพาะ

AI ที่รับผิดชอบ

กรณีการใช้งานที่ไม่เหมาะสม: แอปพลิเคชัน EVVIE ดําเนินการภายในโดเมนแบบไม่ไวต่อไฟฟ้าซึ่งช่วยลดความเสี่ยงของอคติที่ส่งผลเสียต่อการตรวจสอบยานพาหนะ ด้วยลักษณะของการประเมินความเสียหายของยานพาหนะ จึงมีพื้นที่น้อยที่สุดสำหรับอคติที่จะมีอิทธิพลต่อผลลัพธ์

AI ที่สร้างโดยการควบคุม: แบบจําลอง AI ที่สร้างขึ้นซึ่ง EVVIE ใช้ประกอบด้วยคุณสมบัติที่จํากัดการประเมินของตนลงในเทมเพลตที่กําหนดไว้ล่วงหน้า การออกแบบนี้ช่วยให้แน่ใจว่า AI ให้การตอบสนองเฉพาะทางข้อเท็จจริงที่เป็นไปตามแนวทางของนักพัฒนา จํากัดความคิดสร้างสรรค์และสนับสนุนการประเมินที่ถูกต้องและสอดคล้องกัน

ผู้สนับสนุน

Microsoft ดูแลบทความนี้ ผู้เขียนต่อไปนี้ได้เขียนบทความนี้

ผู้เขียนหลัก:

• Tim Hanewich, ผู้เชี่ยวชาญด้านเทคนิค Power Platform
• Kelly Cason, ผู้เชี่ยวชาญด้านเทคนิคแอปพลิเคชันทางธุรกิจ

ขั้นตอนถัดไป

สําหรับวิดีโอสาธิต คําอธิบายเพิ่มเติมเกี่ยวกับฟังก์ชันการทํางาน สถาปัตยกรรม ซอร์สโค้ด และอื่นๆ เยี่ยมชม EVVIE บน GitHub ที่ aka.ms/EVVIE