Microsoft Copilot-promptforsvar i dybden

  • Gælder for: ✅ Microsoft Copilot

Gælder for:✅ Microsoft Copilot

Microsoft Copilot anvender lagdelt beskyttelse i flere stadier af promptbehandling. Disse beskyttelser hjælper med at reducere risici for sikkerhed, beskyttelse af personlige oplysninger, overholdelse af angivne standarder og databeskyttelse, før en prompt når en sprogmodel, mens organisationsdata forankres, og før svar leveres til brugerne.

I denne artikel beskrives proaktiv beskyttelse, der hjælper med at reducere risici relateret til kunstig intelligens, kørselsbeskyttelse, der gælder i hele promptens livscyklus, og hvordan Microsoft hjælper med at beskytte mod angreb med hurtig indsprøjtning.

Proaktiv beskyttelse, der hjælper med at reducere risikoen for kunstig intelligens

Proaktiv beskyttelse reducerer risikoen ved at forbedre synligheden, begrænse eksponeringen for skadeligt indhold, kontrollere indholdsregistrering og beskytte kundedata.

Beskyttelse Beskrivelse
Gennemsigtighed for udgående færdigheder fra tredjepart Administratorer kan gennemse agentoplysninger, herunder de datakilder, værktøjer og forbindelser, der bruges af agenter. Disse oplysninger hjælper administratorer med at vurdere risici og træffe beslutninger om installation. Se Forstå oplysninger om agent i Microsoft 365 Administration.
Overvågningslogger til hurtig indsættelse Microsoft leverer revisions- og sikkerhedsovervågningsfunktioner til interaktioner mellem Microsoft Copilot og programmer med kunstig intelligens. Overvågningsposter og relaterede sikkerhedssignaler hjælper organisationer med at undersøge potentielt risikable interaktioner med kunstig intelligens og agentaktivitet.

Se efter JailbreakDetected et boolesk flag for at angive, om der blev foretaget et jailbreak-forsøg ved hjælp af en promptmeddelelse. Se overvågningslogge for Copilot- og AI-programmer.
Blokering af spam, svindel og mistænkeligt indhold Microsoft anvender beskyttelse for at reducere sandsynligheden for, at Microsoft Copilot henter eller præsenterer skadeligt, skadeligt, vildledende eller webindhold af lav kvalitet under webbaserede oplevelser. Se Sikkerhed for Microsoft Copilot.
Ingen forankring i spammail eller chats Microsoft Copilot udelukker visse kategorier af uønsket indhold fra jordforbindelseskilder for at hjælpe med at reducere risikoen for, at ondsindede eller vildledende instruktioner påvirker svar.
Begrænset indholdsregistrering Administratorer kan konfigurere Restricted Content Discovery for at begrænse synligheden af SharePoint-indhold i søgninger og Copilot-oplevelser i hele organisationen uden at ændre webstedstilladelserne. Se Begræns registrering af SharePoint-websteder og -indhold
Hurtig indsprøjtningsbeskyttelse til mail Microsoft Defender til Office 365 Plan 2 registrerer prompt-injektionsindhold i indgående mail, før indholdet når frem til en bruger eller en assistent med kunstig intelligens. Se Beskyttelse mod automatisk indsprøjtning i Microsoft Defender til Office 365.
Opdaterede produktvilkår for websøgning Microsoft oplyser, at prompter, svar og Microsoft Graph-data ikke bruges til at træne fundamentsmodeller. Der gælder anden beskyttelse for forespørgsler med webgrounding, herunder kontraktlige forpligtelser vedrørende håndtering af kundedata. Se Data, beskyttelse af personlige oplysninger og sikkerhed for websøgning i Microsoft Copilot og Microsoft Copilot Chat.

Kørselsbeskyttelse på tværs af promptlivscyklussen

Kørselsbeskyttelse hjælper med at reducere risici for sikkerhed, beskyttelse af personlige oplysninger, overholdelse af angivne standarder og data, før en prompt når en sprogmodel, mens organisationsdata får jordforbindelse, og før svar leveres til brugerne.

Følgende faser repræsenterer flowet af en typisk Microsoft Copilot-interaktion:

Bemærk!

Microsoft administrerer nogle kontrolelementer, mens du konfigurerer andre. Tilgængeligheden af nogle af de beskyttelser, der er beskrevet i denne artikel, afhænger af din organisations licenser. Nogle funktioner kræver muligvis Microsoft Purview, Microsoft Defender eller andre gældende licenser.

Fase 1: Prompt input

Under promptinputfasen angiver en bruger en prompt eller vedhæfter indhold til en Microsoft Copilot- eller agentoplevelse. Hvis du har Microsoft Purview DLP til Microsoft Copilot, gælder følgende beskyttelse:

Beskyttelse Beskrivelse
Indsæt i browserkontrolelementer Administratorer kan begrænse brugeres mulighed for at indsætte følsomt indhold i browserbaserede programmer ved hjælp af Microsoft Purview-slutpunkt DLP. Se Hjælp med at forhindre lækage af følsomt indhold ved at begrænse indsættelseshandlinger i browsere.

Fase 2: Prompt indstigning

Under promptindgang sender systemet prompter til Microsoft Copilot Orchestrator. Før de underliggende AI-systemer bliver bedt om det, anvender Microsoft flere sikkerhedsforanstaltninger, der er designet til at registrere og afhjælpe potentielt skadeligt indhold. Du kan også konfigurere visse kontrolelementer, f.eks. Microsoft Purview DLP til Microsoft Copilot, for at hjælpe med at beskytte dine data.

Beskyttelse Beskrivelse
Bloker liste Microsoft opdaterer løbende sikkerhedsforanstaltninger, der hjælper med at identificere og blokere kendte skadelige prompter, jailbreak-forsøg og andre usikre interaktioner. Se data, beskyttelse af personlige oplysninger og sikkerhed for Microsoft Copilot.
Ansvarlig filtrering af klassificering med kunstig intelligens Microsoft implementerer ansvarlige klassificeringer af kunstig intelligens i Microsoft Copilot. Se , hvordan Copilot blokerer skadeligt indhold.
Beskyttede materialer Microsoft anvender beskyttelser, der er designet til at hjælpe med at registrere og forhindre oprettelse af beskyttet eller ophavsretligt beskyttet materiale, når det er relevant. Se Copilot leverer registrering af beskyttet materiale.
Microsoft Purview DLP-kontrolelementer til hurtig behandling Administratorer kan konfigurere Microsoft Purview DLP for at beskytte interaktioner med Microsoft Copilot og Copilot Chat. Microsoft Purview DLP til Copilot-prompter hjælper organisationer med at beskytte følsomme data på det punkt, hvor de interagerer med kunstig intelligens. Ved at gennemtvinge DLP-politikker på prompter, der sendes til Microsoft Copilot og Copilot Chat, kan organisationer forhindre, at følsomme oplysninger medtages i prompter, hvilket hjælper med at reducere datalækage, overdeling og eksponering for risikabelt eller uautoriseret indhold. Se Få mere at vide om brug af Microsoft Purview Forebyggelse af datatab for at beskytte interaktioner med Microsoft Copilot og Copilot Chat.
Bloker skjulte Unicode-instruktioner i copy-paste-prompter Microsoft Copilot hjælper med at beskytte mod angreb med skjulte instruktioner ved at registrere og rense visse Unicode-baserede sløringsteknikker, der kan skjule instruktioner i kopieret og indsat tekst. Dette hjælper med at forhindre usynligt indhold i at påvirke promptbehandling. Baseret på sikkerhedsbeskrivelserne i de interne Unicode-materialer til sanering og hurtig indsprøjtning.

Trin 3: Jordforbindelse

I jordingsfasen genererer Microsoft Copilot svar ved at kombinere store sprogmodeller med organisatorisk indhold, som brugerne allerede har tilladelse til at få adgang til. Indhold, der hentes under grounding, kan omfatte dokumenter, mails, møder, chats og andre Microsoft 365-datakilder. Hvis du har Microsoft Purview, kan du konfigurere kontrolelementer for at beskytte følsomme filer og mails.

Beskyttelse Beskrivelse
Microsoft Purview DLP til Microsoft Copilot Administratorer kan konfigurere Microsoft Purview DLP for at hjælpe med at begrænse følsomme filer og mails, der har følsomhedsmærkater, i at blive behandlet af Copilot- og agentoplevelser. Se Bloker for behandling af filer og mails med følsomhedsmærkater.
Analyse af værktøjskæden Microsofts analyse omfatter evaluering af brug af værktøjer, vurdering af risikoen for et angreb med en hurtig indsprøjtning, validering af værktøjsfunktioner og beslutning om, hvorvidt en anmodning skal blokeres eller tillades. Værktøjskædeanalyse producerer et signal, der bruges til at understøtte overholdelse af opgaver.

I denne fase bruger Microsoft Copilot webindhold, hvis det er aktiveret. Nogle Copilot-oplevelser bruger webindhold til at forbedre svarkvaliteten. Webforankring er adskilt fra Microsoft Graph-forankring og ændrer ikke eksisterende Microsoft 365-tilladelser, der gælder for organisationsindhold. Når du bruger webjording, anvender Microsoft ekstra sikkerhedsforanstaltninger for at forbedre svarsikkerhed og -kvalitet.

Beskyttelse Beskrivelse
Kontrolelementer for webforbindelse Websøgning er som standard aktiveret for Microsoft Copilot og Microsoft Copilot Chat i kommercielle lejere, men ikke for lejere i den amerikanske Government Community Cloud (GCC, GCC-High og DoD). Administratorer kan konfigurere, om websøgning skal tillades. Se Tilgængelige kontrolelementer til administration af websøgning.
DLP-kontrolelementer for følsomme oplysninger i websøgning Microsoft Purview DLP hjælper organisationer med at forhindre brugere i utilsigtet at afsløre følsomme oplysninger, når de interagerer med AI-oplevelser, der bruger webindhold. Administratorer kan konfigurere DLP-politikker til at registrere og blokere følsomme data, f.eks. kreditkortnumre, regulerede data eller andre beskyttede oplysninger, i at blive inkluderet i beskeder, der sendes til webbaserede AI-tjenester. Disse DLP-kontroller hjælper med at reducere risikoen for datalækage, samtidig med at de giver medarbejderne mulighed for sikkert at drage fordel af webdrevne AI-funktioner. Se Blokere følsomme oplysningstyper i websøgning.

Fase 5: Svarudgangspunkt

Under fasen for svarudgang, før Microsoft Copilot viser et svar til en bruger, anvender den ekstra sikkerhedsforanstaltninger for at identificere og forhindre potentielt skadelige output. Hvis du har Microsoft Defender til Office 365, kan du konfigurere beskyttelse af sikre links.

Beskyttelse Beskrivelse
Citaters robusthed og fuldstændighed Microsoft Copilot indeholder citater og referencer for at hjælpe brugerne med at forstå de kilder, der bruges til at generere svar og forbedre gennemsigtigheden.
Filtrering af RAI-klassificering ved udgangspunkt Microsofts ansvarlige AI-beskyttelse evaluerer genereret indhold, før det præsenteres for brugeren. Se , hvordan Copilot blokerer skadeligt indhold.
Sikre links Administratorer kan konfigurere beskyttelse af sikre links for at beskytte brugerne, når de følger links, der returneres af Microsoft Copilot. URL-adresser evalueres på det tidspunkt, de vælges, hvilket hjælper med at identificere skadelige destinationer, før brugerne får adgang til dem. Organisationer med Microsoft Defender til Office 365 kan bruge politikker for sikre links til mere beskyttelse af URL-adressen. Se sikre links i Defender for Office 365.
Brugerens opmærksomhed om eksternt indhold Microsoft viser indikatorer, der hjælper brugerne med at skelne organisatorisk indhold fra eksternt indhold i understøttede oplevelser.
Bruger i løkken Microsoft Copilot er designet til at hjælpe brugere, som fortsat er ansvarlige for at gennemse, validere og reagere på genereret indhold.
Ansvarsfraskrivelser Microsoft minder brugerne om, at AI-genereret indhold skal gennemgås for nøjagtighed og hensigtsmæssighed før brug.

Forsvar mod angreb med hurtig indsprøjtning

Microsoft leverer kontrolelementer, der hjælper med at beskytte mod begge typer angreb med hurtig indsprøjtning, og værktøjer til at reagere på et angreb. Her er en overordnet oversigt over flowet af angrebsrespons:

  1. Der forekommer et øjeblikkeligt injektionsforsøg. Angreb med hurtig indsprøjtning kan være direkte eller indirekte angreb.

    • Direkte: Brugeren skriver en prompt, der er designet til at tvinge Microsoft Copilot til at gøre noget skadeligt.
    • Indirekte: Brugerens prompt henviser til instruktioner, der forsøger at tvinge Microsoft Copilot til at gøre noget skadeligt. Instruktionerne kan være indeholdt i tekstfiler, billeder, kode, filer eller kodet tekst, men ikke i selve prompten.

  2. Microsoft anvender øjeblikkelig injektionsbeskyttelse og andre sikkerhedskontrolelementer for at hjælpe med at registrere og afhjælpe skadelige instruktioner. Eksempler på beskyttelser, der anvendes under hurtig behandling, omfatter:

    • Hurtig indsprøjtning og jailbreak-afhjælpning
    • Registrering af spam, svindel og mistænkeligt indhold

    Afhængigt af hvad din Microsoft 365-plan omfatter, kan dine administratorer bruge funktioner i Microsoft Defender XDR og Microsoft Purview til at beskytte mod angreb med hurtig indsprøjtning.

  3. Beskeder oprettes. Microsoft driver jailbreak-klassificeringer på vegne af kunder. Når disse klassificeringer udløses, eksponerer de signaler to steder: Microsoft Defender-portalen og Microsoft Purview-overvågningslog. Disse signaler underretter organisationens sikkerhedsdriftsteam (SecOps) og dine datasikkerhedsadministratorer, så de kan undersøge sagen.

    • I Microsoft Defender-portalen (https://security.microsoft.com/) undersøger SecOps-teams beskeder ved hjælp af Microsoft Defender XDR og Microsoft Sentinel. Beskeder er beriget med trusselsefterretningsdata for at give mere kontekst, og automatiseret undersøgelse, afhjælpning og angrebsafbrydelser kan bruges til at begrænse trusler og fremskynde reaktion. Se Trusselsrespons i Microsoft Defender-portalen.

    • Ved hjælp af overvågningslogge til Copilot- og AI-programmer kan datasikkerhedsadministratorer og efterforskere gennemse brugeraktiviteter. Når systemet er onboardet, genererer det automatisk overvågningslogge, når en bruger interagerer med Copilot eller et program med kunstig intelligens. Disse overvågningsposter indeholder oplysninger om, hvilken bruger der interagerede med Copilot, hvornår interaktionen fandt sted, og hvor den fandt sted. Overvågningsposter indeholder også referencer til filer, websteder eller andre ressourcer, som Copilot- og AI-programmer får adgang til for at generere svar på brugerprompter.

      Bemærk!

      Yderligere funktioner i Microsoft Purview, f.eks. styring af insiderrisiko, kan hjælpe med at registrere, undersøge og afhjælpe potentielle skadelige eller utilsigtede insideraktiviteter. Se Brug Microsoft Purview til at administrere datasikkerhed & overholdelse for Microsoft Copilot & Microsoft Copilot Chat.

Næste trin

  • Last updated on