Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här artikeln innehåller hanteringsrekommendationer för organisationer som kör AI-arbetsbelastningar på Azure. Den fokuserar på Azure PaaS-lösningar (platform-as-a-service) för AI.
Hantera AI-implementeringar
Konsekventa distributionskonfigurationer förbättrar säkerhet, efterlevnad och drifteffektivitet i alla AI-miljöer. Organisationer som standardiserar sin distributionsmetod minskar konfigurationsavvikelsen och säkerställer tillförlitliga prestanda. Du måste implementera systematiska distributionsmetoder som överensstämmer med dina affärskrav. Så här gör du:
Distribuera till regioner som uppfyller dina krav. Modellplacering beror på specifika krav på svarstid, dataflöde och efterlevnad som avgör optimal prestanda. Kontrollera tabellen Azure region produkttillgänglighet för att bekräfta stöd för nödvändig maskinvara, funktioner och regler för datahemvist före distribution för att säkerställa prestanda och regelanpassning.
Övervaka AI-distributionsresurser kontinuerligt. Resursövervakning samlar in prestandadata och identifierar problem innan de påverkar användarna. Diagnostikinställningar samlar in loggar och metriker för alla viktiga tjänster, inklusive Foundry och Foundry Tools. Den här övervakningen ger insyn i systemets hälsa och möjliggör proaktiv problemlösning.
Hantera distributionsresurser centralt. Centraliserad resurshantering ger konsekvent tillsyn och kontroll över alla AI-distributioner. Använd till exempel Microsoft Foundry Control Plane för att centralisera hanteringen för din AI-agentflotta. Den här metoden säkerställer standardiserad resursallokering och kostnadskontroll. Hantera även kostnader i Foundry.
Använd Azure API Management som en enhetlig gateway för flera distributioner. API Management ger konsekvent säkerhet, skalbarhet, hastighetsbegränsning, tokenkvoter och centraliserad övervakning vid registrering av flera program eller team. Den här metoden standardiserar åtkomstmönster och minskar hanteringskostnaderna för dina AI-tjänster.
Hantera AI-modeller
Modellövervakning säkerställer att utdata överensstämmer med principer för ansvarsfull AI och bibehåller noggrannheten över tid. AI-modeller upplever drift på grund av ändrade data, användarbeteenden eller externa faktorer som kan leda till felaktiga resultat eller etiska problem. Du måste implementera kontinuerlig övervakning för att identifiera och åtgärda dessa ändringar proaktivt. Så här gör du:
Övervaka modellutdata för kvalitet och justering. Övervakningsprocesser säkerställer att arbetsbelastningarna förblir i linje med ansvarsfulla AI-mål och levererar förväntade resultat. Använd Foundrys observerbarhetsfunktioner och övervaka program. Övervaka agentdistributioner för Foundry Agent Service.
Spåra prestandamått för modellen kontinuerligt. Prestandaövervakning hjälper dig att hitta problem när noggrannheten eller svarskvaliteten sjunker under acceptabla tröskelvärden. Övervaka svarstiderna och noggrannheten för vektorsökningsresultat genom spårning i Foundry.
Överväg att implementera en generativ AI-gateway för förbättrad övervakning. Azure API Management möjliggör loggnings- och övervakningsfunktioner som plattformar inte tillhandahåller internt, inklusive käll-IP-samling, textspårning och textanalys för utdata. Den här metoden ger omfattande spårningsspår och övervakningsdata.
Välj beräkning. I Foundry stöder beräkningsresurser viktiga modelldistributioner och finjustering. Standardisera beräkningstyper, körningsperioder och avstängningsperioder mellan beräkningsinstanser, kluster och serverlösa alternativ.
Hantera AI-data
Datakvaliteten avgör noggrannheten och tillförlitligheten för AI-modellutdata. Organisationer som upprätthåller datastandarder av hög kvalitet uppnår bättre modellprestanda och minskar risken för partiska eller felaktiga resultat. Du måste implementera systematiska datahanteringsmetoder för att säkerställa konsekvent modellkvalitet. Så här gör du:
Övervaka dataförskjutning kontinuerligt. Identifiering av dataavvikelse identifierar när indatamönster ändras från träningsbaslinjer, vilket kan försämra modellens prestanda över tid. Spåra noggrannhet och dataavvikelse i både generativa och icke-generativa AI-arbetsbelastningar för att säkerställa att modellerna förblir relevanta och dynamiska för aktuella förhållanden. Använd utvärderingar i Foundry för att upprätta övervakningsbaslinjer och tröskelvärden för identifiering.
Konfigurera automatiserade aviseringar för prestandaförsämring. Aviseringssystem ger tidig varning när modellens prestanda sjunker under acceptabla tröskelvärden, vilket möjliggör proaktiva åtgärder innan problem påverkar användarna. Konfigurera anpassade aviseringar för att identifiera prestandaavvikelser och utlösa reparationsarbetsflöden när modeller kräver omträning eller justering.
Se till att databehandlingsstandarderna är av hög kvalitet. Kraven på dataförberedelse skiljer sig mellan OLIKA TYPER av AI-arbetsbelastningar, men de måste upprätthålla konsekventa kvalitetsstandarder i alla implementeringar. För generativ AI ska du strukturera jordningsdata i rätt format med lämplig segmentering, berikning och inbäddning för optimal förbrukning av AI-modeller. Mer information finns i Guide till att utforma och utveckla en RAG-lösning.
Implementera affärskontinuitet
Affärskontinuitet säkerställer att AI-tjänster förblir tillgängliga vid regionala avbrott eller avbrott i tjänsten. Tjänstavbrott kan påverka kritiska affärsåtgärder som är beroende av AI-funktioner, vilket gör kontinuitetsplaneringen nödvändig för organisationens motståndskraft. Du måste implementera distributionsstrategier för flera regioner för att upprätthålla tjänstens tillgänglighet. Så här gör du:
Distribuera AI-tjänster i flera regioner. Distributioner i flera regioner ger redundans som upprätthåller tjänstens tillgänglighet när enskilda regioner drabbas av avbrott eller kapacitetsbegränsningar. Implementera distributionsstrategier för flera regioner för Foundry för att säkerställa konsekvent leverans av tjänster.
Konfigurera automatiserade redundansmekanismer. Automatiserad redundans minskar återställningstiden och säkerställer kontinuerlig leverans av tjänster när primära regioner blir otillgängliga. Konfigurera trafikroutning och belastningsutjämning mellan regioner för att möjliggöra sömlösa övergångar under tjänststörningar.