Overzicht van Microsoft Foundry-modellen

Microsoft Foundry Models is uw eenmalige bestemming voor het detecteren, evalueren en implementeren van krachtige AI-modellen. Of u nu een aangepaste copilot bouwt, een agent ontwikkelt, een bestaande applicatie verbetert of nieuwe AI-mogelijkheden verkent, met Foundry Models zit u goed.

Met Foundry Models kunt u het volgende doen:

• Verken een uitgebreide catalogus met geavanceerde modellen uit Microsoft, Azure OpenAI, Anthropic, DeepSeek, Meta, Mistral, Cohere, Hugging Face en meer.
• Vergelijk en evalueer modellen naast elkaar met behulp van echte taken en uw eigen gegevens.
• Implementeer met vertrouwen dankzij ingebouwde hulpprogramma's voor het afstemmen, waarneembaarheid en verantwoorde AI.
• Kies uw pad: bring your own model, gebruik een gehost model of integreer naadloos met Azure-services.

Of u nu een ontwikkelaar, data scientist of enterprise architect bent, Foundry Models biedt u de flexibiliteit en controle om AI-oplossingen te bouwen die veilig, verantwoord en snel kunnen worden geschaald.

Foundry biedt een uitgebreide catalogus met AI-modellen. De catalogus bevat meer dan 10.000 modellen, met ongeveer 50 nieuwe modellen die elke maand worden gepubliceerd. Deze modellen variëren van basismodellen, redeneringsmodellen, kleine taalmodellen, multimodale modellen, domeinspecifieke modellen en branchemodellen.

De modelcatalogus is ingedeeld in twee hoofdcategorieën:

• Foundry-modellen verkocht door Azure
• Foundry-modellen van partners en de gemeenschap

Als u het onderscheid tussen deze categorieën begrijpt, kunt u de juiste modellen kiezen voor uw specifieke vereisten en strategische doelen.

Modellen die worden verkocht door Azure

Microsoft host en verkoopt deze modellen onder De productvoorwaarden van Microsoft. Microsoft evalueert deze modellen en integreert deze diep in het AI-ecosysteem van Azure. De modellen zijn afkomstig van verschillende providers en bieden verbeterde integratie, geoptimaliseerde prestaties en directe Microsoft ondersteuning, waaronder serviceovereenkomsten op bedrijfsniveau (SLA's). Zie Foundry Models verkocht door Azure voor een gedetailleerde lijst met deze modellen en hun mogelijkheden.

Kenmerken van modellen die worden verkocht door Azure:

• Microsoft biedt ondersteuning.
• Hoog integratieniveau met Azure services en infrastructuur.
• Afhankelijk van interne analyse en beoordeling op basis van de verantwoordelijke AI-standaarden van Microsoft: modellen die rechtstreeks via Azure worden verkocht, ondergaan Microsoft interne processen voor verantwoordelijke AI-beoordeling en de resultaten op hoog niveau van deze beoordelingen worden weergegeven in de documentatie die specifiek is voor elk model in de modelcatalogus die beschikbaar is op https://ai.azure.com/explore/models.
  • Klanten moeten de evaluatiedetails in de documentatie raadplegen om inzicht te hebben in de beperkingen van elk model voordat ze in toepassingen worden geïntegreerd.
  • Klanten moeten er rekening mee houden dat deze beoordelingen geen risicobeperking garanderen. Verschillende modellen hebben verschillende veiligheidskenmerken en klanten moeten de documentatie zorgvuldig controleren en hun eigen evaluaties uitvoeren in de context van hun toepassingen om ervoor te zorgen dat risico's worden begrepen of beperkt vóór de implementatie.
• Modeldocumentatie en transparantierapporten bieden inzicht in klantrisico's, risicobeperking en beperkingen.
• Schaalbaarheid, betrouwbaarheid en beveiliging op bedrijfsniveau.

Sommige van deze modellen bieden ook uitwisselbare voorziene doorvoer, wat betekent dat u uw quota en reserveringen flexibel kunt gebruiken over elk van deze modellen heen. Zie Data, privacy en beveiliging voor modellen die door Azure Azure worden verkocht in Microsoft Foundry voor meer informatie over hoe Foundry de gegevens verwerkt die u aan Foundry-modellen levert die door Azure worden verkocht.

Modellen van partners en gemeenschap

Deze modellen vormen de overgrote meerderheid van de Foundry Models. Vertrouwde organisaties, partners, onderzoekslabs en communitybijdragers van derden bieden deze modellen. Ze bieden gespecialiseerde en diverse AI-mogelijkheden, met een breed scala aan scenario's, branches en innovaties. Voorbeelden van modellen van partners en community zijn de familie van grote taalmodellen die zijn ontwikkeld door Anthropic en Open-modellen van de Hugging Face-hub.

Anthropic omvat de Claude-familie van state-of-the-art, grote taalmodellen die ondersteuning bieden voor tekst- en afbeeldingsinvoer, tekstuitvoer, meertalige mogelijkheden en beeldherkenning. Gebruik Microsoft Ondersteuning voor hulp bij antropische modellen. Zie Data, privacy en beveiliging voor Claude-modellen in Microsoft Foundry (preview) voor meer informatie over privacy. Zie Antropic's Data processing Addendum and Antropic's Commercial Terms of Service voor termen die van toepassing zijn op gegevensverwerking. Zie Deploy en gebruik Claude-modellen in Microsoft Foundry voor meer informatie over het werken met antropische modellen.

Hugging Face hub bevat honderden modellen voor realtime inference met beheerde compute. Hugging Face creëert en onderhoudt modellen die in deze collectie zijn opgenomen. Voor hulp bij de hugging Face-modellen gebruikt u het hugging Face-forum of hugging Face-ondersteuning. Meer informatie over het implementeren van Hugging Face-modellen in Het implementeren en afleiden van een beheerde rekenimplementatie (klassiek).

Kenmerken van modellen van partners en de gemeenschap:

• Ontwikkeld en ondersteund door externe partners en community-inzenders
• Diverse reeks gespecialiseerde modellen die geschikt zijn voor niche of brede gebruiksvoorbeelden
• Doorgaans gevalideerd door providers zelf, met integratierichtlijnen van Azure
• Communitygestuurde innovatie en snelle beschikbaarheid van geavanceerde modellen
• Standaard-Azure AI-integratie, met ondersteuning en onderhoud die worden beheerd door de respectieve providers

U implementeert modellen van partners en community met behulp van beheerde reken- of serverloze implementatieopties . De modelprovider selecteert hoe de modellen kunnen worden geïmplementeerd. Zie Modelimplementatieopties: beheerde berekenings- en serverloze implementaties voor meer informatie over de verschillen tussen deze implementatieopties.

Een model aanvragen dat moet worden opgenomen in de modelcatalogus

Vraag of Microsoft rechtstreeks vanaf de pagina modelcatalogus in de Foundry-portal een model aan de modelcataloguspagina toevoegt.

1. Ga naar de modelcataloguspagina.
2. Zoek in de zoekbalk naar een model dat niet bestaat in de catalogus, zoals mymodel.
3. Selecteer Een model aanvragen om details te delen over het model dat u wilt aanvragen.

Kiezen tussen modellen die worden verkocht door Azure en modellen van partners en community

Houd rekening met de volgende factoren wanneer u selecteert welke Foundry-modellen u wilt gebruiken:

• Use case en vereisten: modellen die worden verkocht door Azure zijn ideaal voor scenario's waarvoor diepgaande Azure integratie, gegarandeerde ondersteuning en enterprise SLA's vereist zijn. Modellen van partners en community excel in gespecialiseerde use cases en door innovatie geleide scenario's.
• Verwachtingen ten aanzien van ondersteuning: Modellen die door Azure worden aangeboden, worden geleverd met uitgebreide ondersteuning en onderhoud van Microsoft. Partner- en communitymodellen worden ondersteund door hun providers, met verschillende niveaus van SLA en ondersteuningsstructuren.
• Innovatie en specialisatie: Modellen van partners en community bieden snelle toegang tot gespecialiseerde innovaties en nichemogelijkheden, vaak ontwikkeld door toonaangevende onderzoekslabs en opkomende AI-providers.

Overzicht van de mogelijkheden van de modelcatalogus

De modelcatalogus in Foundry Portal is de hub voor het detecteren en gebruiken van een breed scala aan modellen om generatieve AI-toepassingen te bouwen. De modelcatalogus bevat duizenden modellen van providers zoals Azure OpenAI, Anthropic, Mistral, Meta, Cohere, NVIDIA en Hugging Face, waaronder modellen die Microsoft getraind. Modellen van andere providers dan Microsoft zijn Niet-Microsoft Producten zoals gedefinieerd in Microsoft Productvoorwaarden en zijn onderworpen aan de voorwaarden die bij de modellen worden geleverd.

Zoek en ontdek modellen die voldoen aan uw behoeften via trefwoorden zoeken en filters. De modelcatalogus biedt ook het scorebord voor modelprestaties en benchmarkgegevens voor bepaalde modellen. Open ze door het leaderboard weergeven en Modellen vergelijken te selecteren. Benchmarkgegevens zijn ook beschikbaar op het tabblad Benchmarks van de modelkaart.

De modelcatalogus bevat verschillende filters, waaronder filteren op basis van:

• Verzamelingen: Verzamelingen van modelaanbieders
• Regio: Model beschikbaarheid voor implementatie in specifieke Azure regio's
• Implementatieopties: Ondersteunde implementatieopties (beheerde compute of serverloze API)
• Implementatie-SKU: Beschikbare implementatietypen voor de optie voor serverloze API-implementatie
• Levenscyclus: modellevenscyclus (preview, algemeen beschikbaar of afgeschaft)
• Branche: Branchespecifieke gegevensset die wordt gebruikt voor het trainen van modellen (bijvoorbeeld gezondheid, detailhandel of productie)
• Ondersteunde functies: Unieke modelfuncties, zoals redenering en aanroepen van hulpprogramma's
• Inferentietaken: type inferentietaak (bijvoorbeeld chatvoltooiing, audiogeneratie of embeddings)

Enkele van de details die beschikbaar zijn in de modelkaart zijn:

• Snelle feiten: Belangrijke informatie over het model in een oogopslag
• Tabblad Details : Gedetailleerde informatie over het model, zoals beschrijving, versiegegevens en ondersteund gegevenstype
• Tabblad Implementaties : een lijst met bestaande implementaties voor het model
• Tabblad Benchmarks : Metrische prestatiebenchmarks voor geselecteerde modellen
• Tabblad Licentie : Juridische informatie met betrekking tot modellicenties

Opties voor modelimplementatie: beheerde berekeningen en serverloze implementaties

De modelcatalogus biedt twee verschillende opties voor het implementeren van modellen voor uw gebruik: beheerde berekeningen en serverloze implementaties. Zie Het implementatieoverzicht voor Microsoft Foundry-modellen voor meer informatie over de implementatieopties. Zie Data, privacy en beveiliging voor modellen die door Azure Azure worden verkocht in Microsoft Foundry voor meer informatie over hoe Foundry de gegevens verwerkt die u aan Foundry-modellen levert die door Azure worden verkocht.

Mogelijkheden van modelimplementatieopties

De implementatieopties en -functies die beschikbaar zijn voor elk model variëren, zoals beschreven in de volgende tabel:

Beheerde rekenkracht

De mogelijkheid om modellen als beheerde berekening te implementeren, bouwt voort op platformmogelijkheden van Azure Machine Learning om naadloze integratie mogelijk te maken van de brede verzameling modellen in de modelcatalogus gedurende de hele levenscyclus van LLM-bewerkingen (Large Language Model).

Beschikbaarheid van modellen voor implementatie als beheerde rekenkracht

U hebt toegang tot deze modellen via Azure Machine Learning-registers. Deze registers maken een machine learning-first-benadering mogelijk om hosting en distributie van Azure Machine Learning assets mogelijk te maken. Deze assets omvatten modelgewichten, containerruntimes voor het uitvoeren van de modellen, pijplijnen voor het evalueren en verfijnen van de modellen en gegevenssets voor benchmarks en voorbeelden.

De registers bouwen voort op een zeer schaalbare en bedrijfsklare infrastructuur die:

• Biedt toegang met lage latentie tot modelartefacten in alle Azure regio's met ingebouwde geo-replicatie.

• Ondersteunt bedrijfsbeveiligingsvereisten, zoals het beperken van de toegang tot modellen met behulp van Azure Policy en veilige implementatie met behulp van beheerde virtuele netwerken.

Implementatie van modellen voor deductie met beheerde rekenkracht

Implementeer modellen die kunnen worden geïmplementeerd op beheerde rekenresources van Azure Machine Learning voor realtime-inferentie. Als u wilt implementeren op beheerde berekeningen, hebt u een quotum voor virtuele machines in uw Azure-abonnement nodig voor de specifieke producten om het model optimaal uit te voeren. Met sommige modellen kunt u een tijdelijk gedeeld quotum implementeren voor modeltests.

Meer informatie over het implementeren van modellen:

• Als u open modellen wilt implementeren voor beheerde berekeningen, raadpleegt u Hoe u een beheerde rekenimplementatie (klassiek) implementeert en afleiden.
• Zie Microsoft Foundry-modellen implementeren voor beheerde berekeningen met betalen per gebruik-facturering (klassiek) om beschermde Foundry-modellen te implementeren voor beheerde berekeningen met betalen per gebruik-facturering (klassiek).

Generatieve AI-apps bouwen met beheerde rekenkracht

De functie prompt flow in Azure Machine Learning biedt een geweldige ervaring voor het maken van prototypen. Gebruik modellen die zijn geïmplementeerd met beheerde rekenkracht in prompt flow met het Open Model LLM-hulpprogramma. U kunt ook de REST API gebruiken die beschikbaar wordt gesteld door beheerde compute in populaire LLM-hulpprogramma's zoals LangChain met de Azure Machine Learning-extensie.

Contentveiligheid voor modellen die zijn geïmplementeerd als beheerde rekenkracht

De service Azure AI Content Veiligheid is beschikbaar voor gebruik met beheerde berekeningen voor verschillende categorieën schadelijke inhoud, zoals seksuele inhoud, geweld, haat en zelfschade. U kunt de service ook gebruiken om te screenen op geavanceerde bedreigingen, zoals jailbreak-risicodetectie en detectie van beveiligde materiaalteksten.

Zie dit notitieboek voor referentie-integratie met Azure AI Content Veiligheid voor Llama 2. Of gebruik het hulpprogramma Content Safety (Text) in prompt flow om antwoorden van het model door te sturen naar Azure AI Content Veiligheid ter controle. U wordt afzonderlijk gefactureerd voor dergelijk gebruik, zoals beschreven in Azure AI Content Veiligheid prijzen.

Serverloze implementaties

Serverloze implementaties bieden een manier om Foundry-modellen als API's te gebruiken zonder ze op uw abonnement te hosten. Microsoft fungeert als host voor de modellen in een beheerde infrastructuur, waardoor api-gebaseerde toegang tot het model van de modelprovider mogelijk is. Toegang op basis van API's kan de kosten voor het openen van een model aanzienlijk verlagen en de installatie-ervaring vereenvoudigen.

Modelproviders bieden modellen voor serverloze implementaties, maar Microsoft host ze in een beheerde Azure-infrastructuur en biedt toegang via API's. Modelproviders definiëren de licentievoorwaarden en stellen de prijs in voor het gebruik van hun modellen. De Azure Machine Learning-service:

• Beheert de hostinginfrastructuur.
• Maakt de deductie-API's beschikbaar.
• Fungeert als de gegevensverwerker voor prompts die worden verzonden en inhoudsuitvoer voor serverloze implementaties.

Serverloze implementatietypen

De serverloze implementatieoptie voor Foundry Models biedt twee hoofdimplementatiecategorieën: standaard (betalen per token) en ingericht (gereserveerde capaciteit). Binnen elke categorie kunt u globale, gegevenszone of regionale verwerking kiezen op basis van uw nalevingsvereisten.

De beschikbare typen serverloze implementaties zijn: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned en Developer. Zie Deployment-typen voor Microsoft Foundry Models voor meer informatie over deze implementatietypen en hoe u de juiste kunt kiezen voor uw gebruik.

Facturering voor serverloze implementaties

De detectie-, abonnements- en verbruikservaring voor modellen die zijn geïmplementeerd als serverloze implementaties, vindt u in de Foundry-portal en Azure Machine Learning Studio. Gebruikers accepteren licentievoorwaarden voor het gebruik van de modellen. Prijsinformatie voor verbruik is beschikbaar tijdens de implementatie.

Foundry Models van partners en gemeenschap worden gefactureerd via de Azure Marketplace, in overeenstemming met de Microsoft Commercial Marketplace gebruiksvoorwaarden.

Door Azure verkochte Foundry Models worden via Azure-meters gefactureerd als First Party Consumption Services. Zoals beschreven in de Productvoorwaarden, koopt u First Party Consumption Services met behulp van Azure meters, maar zijn ze niet onderworpen aan Azure servicevoorwaarden. Het gebruik van deze modellen is onderhevig aan de opgegeven licentievoorwaarden.

RAG met modellen die zijn geïmplementeerd als serverloze implementaties

Gebruik in de Foundry-portal vectorindexen en retrieval-augmented generation (RAG) met modellen die via serverloze implementaties zijn uitgerold om embeddings te genereren en inferentie uit te voeren op basis van eigen gegevens. Gebruik deze insluitingen en deductie om antwoorden te genereren die specifiek zijn voor uw use-case. Zie Vectorindexen bouwen en gebruiken in de Microsoft Foundry Portal (klassiek) voor meer informatie.

Inhoudsveiligheid voor modellen die zijn geïmplementeerd via serverloze implementaties

Voor taalmodellen die zijn geïmplementeerd via serverloze API, implementeert Azure AI een standaardconfiguratie van Azure AI Content Veiligheid filters voor tekstbeheer die schadelijke inhoud detecteren, zoals haat, zelfschadig, seksueel en gewelddadig inhoud. Zie Guardrails & controles voor modellen die door Azure worden verkocht voor meer informatie over inhoudsfiltering.

Inhoudsfiltering wordt synchroon uitgevoerd wanneer de service vraagt om inhoud te genereren. Mogelijk wordt u afzonderlijk gefactureerd volgens Azure AI Content Veiligheid prijzen voor dergelijk gebruik. U kunt het filteren van inhoud uitschakelen voor afzonderlijke serverloze eindpunten:

• Op het moment dat u voor het eerst een taalmodel implementeert
• Later selecteert u de wisselknop voor het filteren van inhoud op de pagina met implementatiedetails

Stel dat u besluit een andere API dan de Azure OpenAI SDK te gebruiken met de Azure OpenAI v1 API's om te werken met een model dat is geïmplementeerd via een serverloze API. In een dergelijke situatie wordt inhoudsfiltering niet ingeschakeld, tenzij u deze afzonderlijk implementeert met behulp van Azure AI Content Veiligheid.

Zie Quickstart: Tekstinhoud analyseren om aan de slag te gaan met Azure AI Content Veiligheid. Als u geen inhoudsfilters gebruikt bij het werken met modellen die zijn geïmplementeerd via serverloze API, loopt u een hoger risico om gebruikers bloot te stellen aan schadelijke inhoud.

Regionale beschikbaarheid voor Foundry-modellen

Facturering per token is alleen beschikbaar voor gebruikers van wie Azure abonnement deel uitmaakt van een factureringsrekening in een land of regio waar de modelprovider de aanbieding beschikbaar maakt. Als de aanbieding beschikbaar is in de relevante regio, moet de gebruiker een projectresource hebben in de Azure regio waar het model beschikbaar is voor implementatie of afstemming, indien van toepassing. Zie voor de regionale beschikbaarheid van Foundry-modellen:

• Beschikbaarheid van regio's voor Foundry-modellen die worden verkocht door Azure
• Beschikbaarheid van regio's voor Foundry-modellen van partners en community

Netwerkisolatie voor modellen die zijn geïmplementeerd via serverloze implementaties

Eindpunten voor modellen die zijn geïmplementeerd als serverloze implementaties, volgen de instelling voor openbare netwerktoegangsvlag van de Foundry-hub met het project waarin de implementatie bestaat. Als u uw serverloze implementatie wilt beveiligen, schakelt u de vlag voor openbare netwerktoegang uit op uw Foundry-hub. U kunt binnenkomende communicatie van een client naar uw eindpunt beveiligen met behulp van een privé-eindpunt voor de hub.

De vlag voor openbare netwerktoegang voor de Foundry-hub instellen:

1. Ga naar de Azure portal.
2. Zoek naar de resourcegroep waartoe de hub behoort en selecteer uw Foundry-hub in de resources die voor deze resourcegroep worden vermeld.
3. Ga op de overzichtspagina van de hub in het linkerdeelvenster naar Instellingen>Netwerken.
4. Configureer op het tabblad Openbare toegang instellingen voor de vlag voor openbare netwerktoegang.
5. Sla uw wijzigingen op. Het kan vijf minuten duren voordat wijzigingen zijn doorgevoerd.

Beperkingen

• Als u een Foundry-hub hebt met een privé-eindpunt dat vóór 11 juli 2024 is gemaakt, volgen serverloze implementaties die zijn toegevoegd aan projecten in deze hub niet de netwerkconfiguratie van de hub. Maak in plaats daarvan een nieuw privé-eindpunt voor de hub en een nieuwe serverloze implementatie in het project, zodat de nieuwe implementaties de netwerkconfiguratie van de hub kunnen volgen.

• Als u een Foundry-hub hebt met serverloze implementaties die vóór 11 juli 2024 zijn gemaakt en u een privé-eindpunt op deze hub inschakelt, volgen de bestaande serverloze implementaties de netwerkconfiguratie van de hub niet. Voor serverloze implementaties in de hub om de netwerkconfiguratie van de hub te volgen, maakt u de implementaties opnieuw.

• Momenteel is Azure OpenAI op uw gegevens niet beschikbaar voor serverloze implementaties in privéhubs, omdat privéhubs de vlag voor openbare netwerktoegang hebben uitgeschakeld.

• Het kan vijf minuten duren voordat een netwerkconfiguratiewijziging (bijvoorbeeld het in- of uitschakelen van de vlag voor openbare netwerktoegang) is doorgevoerd.

Modellen verfijnen

Bepaalde modellen ondersteunen ook fijnregeling. Voor deze modellen kunt u beheerde berekeningen of serverloze implementaties gebruiken om de modellen af te stemmen met behulp van gegevens die u opgeeft. Zie Afstellen van modellen met Microsoft Foundry (klassiek) voor meer informatie.  

Modellevenscyclus: veroudering en buitengebruikstelling

AI-modellen ontwikkelen zich snel. Wanneer een nieuwe versie of een nieuw model met bijgewerkte mogelijkheden in dezelfde modelfamilie beschikbaar komt, kunnen oudere modellen buiten gebruik worden gesteld in de foundry-modelcatalogus. Om een soepele overgang naar een nieuwere modelversie mogelijk te maken, kunnen sommige modellen gebruikers automatische updates inschakelen. Zie voor meer informatie over de levenscyclus van verschillende modellen, toekomstige buitengebruikstellingsdatums van modellen en voorgestelde vervangingsmodellen en versies:

• Levenscyclus en ondersteuningsbeleid van Microsoft Foundry Models
• Schema voor de uitfasering van het model
• Buiten gebruik gestelde Foundry-modellen

Verwante inhoud

• Directe toegang tot modellen in Microsoft Foundry (preview)
• Gegevens, privacy en beveiliging voor modellen die worden verkocht door Azure in Microsoft Foundry
• Implementatietypen voor Microsoft Foundry-modellen