Dataanalys i renrum och mellan flera parter

Azures konfidentiella databehandling (ACC) utgör en grund för lösningar som gör det möjligt för flera parter att samarbeta om data. Olika metoder finns, och ett växande ekosystem av partners hjälper Azure-kunder, forskare, datavetare och dataleverantörer att samarbeta kring data samtidigt som integriteten bevaras. Den här översikten beskriver några av de metoder och befintliga lösningar som kan användas, som alla körs på ACC.

Vilka är data- och modellskydden?

Data clean room-lösningar erbjuder vanligtvis ett sätt för en eller flera dataleverantörer att kombinera data för bearbetning. Vanligtvis kommer leverantörerna överens om kod, förfrågningar eller modeller skapade av en av deltagarna, såsom en forskare eller lösningsleverantör. I många fall är datan känslig och bör inte delas direkt med andra deltagare, vare sig det är en annan dataleverantör, en forskare eller en lösningsleverantör. För att hjälpa till att säkerställa säkerhet och integritet för både data och modeller som används i datarenrum kan Confidential Computing kryptografiskt verifiera att deltagarna inte har tillgång till data eller modeller, även under bearbetningen. Genom att använda ACC kan lösningar skydda data och modell-IP från molnoperatören, lösningsleverantören och deltagarna i datasamarbetet.

Vilka är exempel på branschanvändningsfall?

Genom att använda ACC bygger kunder och partner lösningar för dataanalys mellan flera parter som bevarar integriteten, ibland kallade "konfidentiella clean rooms". Dessa lösningar kan vara helt nya lösningar byggda för att vara konfidentiella eller befintliga clean room-lösningar som görs konfidentiella med hjälp av ACC.

• Scotiabank – Visade hur AI användes för penningflöden mellan banker för att identifiera penningtvätt och flagga fall av människohandel, med hjälp av Azure Confidential Computing och en lösningspartner, Opaque.
• Novartis Biome – använde en partnerlösning från BeeKeeperAI som körs på ACC för att hitta kandidater för kliniska prövningar för sällsynta sjukdomar.
• Ledande betalningsleverantörer kopplar samman data över banker för bedrägeri och avvikelsedetektion.
• dataanalystjänster och clean room-lösningar använder ACC för att öka dataskyddet och möta EU:s kundkrav och integritetsregler.

Varför konfidentiell databehandling?

Data clean rooms är inget helt nytt koncept. Framsteg inom konfidentiell databehandling ger dock fler möjligheter att dra nytta av molnskalan med bredare datamängder, säkra immateriella rättigheter för AI-modeller och bättre uppfylla dataskyddsregler. I tidigare fall kan vissa data vara otillgängliga av orsaker som

• Konkurrensnackdelar eller reglering som hindrar delning av data mellan branschföretag.
• Anonymisering minskar kvaliteten på insikter om data eller är för kostsamt och tidskrävande.
• Data som är bundna till vissa platser och som inte bearbetas i molnet på grund av säkerhetsöverväganden.
• Kostsamma eller långa juridiska processer täcker ansvarsskydd om data exponeras eller missbrukas.

Dessa realiteter kan leda till ofullständiga eller ineffektiva datamängder som resulterar i svagare insikter, eller mer tid som behövs för träning och användning av AI-modeller.

Vad är saker att tänka på när du skapar en renrumslösning?

Batchanalys vs. realtidsdatapipelines: Tänk på storleken på datamängderna och hastigheten på insikter när du designar eller använder en renrumslösning. När data är tillgänglig "offline" kan du ladda in den i en verifierad och säker beräkningsmiljö för dataanalytisk bearbetning av stora delar av data, om inte hela datamängden. Denna batchanalysmetod gör det möjligt att utvärdera stora datamängder med modeller och algoritmer som inte förväntas ge ett omedelbart resultat. Till exempel fungerar batchanalys bra när man gör ML-inferens över miljontals patientjournaler för att hitta de bästa kandidaterna för en klinisk prövning. Andra lösningar kräver realtidsinsikter om data, till exempel när algoritmer och modeller syftar till att identifiera bedrägerier i transaktioner i nästan realtid mellan flera enheter.

Deltagande enligt zero trust: En stor skillnad i konfidentiella data clean rooms är möjligheten att inte lita på någon inblandad part, från dataleverantörer till kod- och modellutvecklare, lösningsleverantörer och administratörer hos infrastrukturoperatören. Lösningar kan tillhandahållas där både data och modellens IP skyddas från alla parter. När man introducerar användare till eller bygger en lösning bör deltagarna överväga både vad de vill skydda och från vem de vill skydda kod, modeller och data.

Federerat lärande: Federerat lärande innebär att skapa eller använda en lösning där modeller bearbetas i dataägarens klientorganisation och insikter aggregeras i en central klientorganisation. I vissa fall kan modellerna till och med köras på data utanför Azure, medan modellaggregering fortfarande sker i Azure. Många gånger itererar federerat lärande på data när modellens parametrar förbättras efter att insikter aggregerats. Iterationskostnaderna och modellens kvalitet bör räknas in i lösningen och förväntade resultat.

Datahemvist och källor: Kunder har data lagrade i flera moln och lokalt. Samarbete kan omfatta data och modeller från olika källor. Cleanroom-lösningar kan underlätta data och modeller som kommer till Azure från dessa andra platser. När data inte kan flyttas till Azure från ett lokalt datalager kan vissa lösningar för renrum köras på den plats där data finns. Hantering och principer kan drivas av en vanlig lösningsleverantör, där det är tillgängligt.

Kodintegritet och konfidentiella liggare: Genom att använda distribuerad huvudboksteknik (DLT) som körs på Azure Confidential Computing kan du bygga lösningar som körs på ett nätverk över organisationer. Kodlogiken och analytiska regler läggs bara till när det råder konsensus mellan de olika deltagarna. Alla uppdateringar av koden registreras för revision via manipulationssäker loggning som aktiveras av Azure Confidential Computing.

Vad finns det för alternativ för att komma igång?

Azure Confidential Clean Rooms (förhandsversion)

Azure Confidential Clean Rooms (ACCR) är utformat för organisationer som behöver dela integritetskänslig data, såsom personligt identifierbar information (PII) eller skyddad hälsoinformation (PHI), säkert med andra organisationer för att härleda affärskritiska insikter, finjustera ML-modeller med känslig data från andra organisationer för ökad noggrannhet, eller utföra säker analys av gemensamma data med partnerorganisationer. ACCR använder konfidentiella containrar på Azure Container Instances för att säkerställa att dina data förblir skyddade från andra medarbetare och från Azure-operatörer. Det har tillämpningar inom flera branscher såsom sjukvård, reklam, bank- och finanstjänster samt detaljhandel.

Du kan anmäla dig till ACCR-förhandsvisningen genom att skicka in detta formulär.

ACC-plattformserbjudanden som hjälper till att aktivera konfidentiella renrum

Rulla upp ärmarna och skapa en lösning för datarengöringsmiljö direkt med dessa konfidentiella databehandlingstjänster.

Konfidentiella containrar på Azure Container Instances (ACI) och konfidentiella VM-nodpooler erbjuder en containerlösning för att bygga konfidentiella clean room-lösningar. Intel SGX-enklavalternativ finns fortfarande tillgängliga för specialiserade scenarier.

Konfidentiella virtuella datorer (VM) tillhandahåller en VM-plattform för konfidentiella lösningar för renrum.

Azure SQL AE i säkra enklaver tillhandahåller en plattformstjänst för kryptering av data och frågor i SQL som kan användas i dataanalyser med flera parter och konfidentiella renrum.

Confidential Consortium Framework är ett ramverk med öppen källkod för att skapa tillståndskänsliga tjänster med hög tillgänglighet som använder centraliserad beräkning för enkel användning och prestanda, samtidigt som decentraliserat förtroende ges. Det gör det möjligt för flera parter att köra granskningsbar beräkning över konfidentiella data utan att lita på varandra eller en privilegierad operatör.

ACC-partnerlösningar som möjliggör konfidentiella renrum

Använd en partner som bygger en flerpartsdataanalys ovanpå Azure-plattformen för konfidentiell databehandling.

• Anjuna tillhandahåller en konfidentiell databehandlingsplattform som gör det möjligt för olika användningsfall, inklusive säkra rena rum, för organisationer att dela data för gemensam analys, till exempel beräkning av kreditriskpoäng eller utveckling av maskininlärningsmodeller, utan att exponera känslig information.
• BeeKeeperAI möjliggör AI för hälso- och sjukvård via en säker samarbetsplattform för algoritmägare och dataförvaltare. BeeKeeperAI använder integritetsbevarande analysmetoder på skyddade data från flera institutioner i en konfidentiell datormiljö.
• Decentriq tillhandahåller SaaS-datarengöringsrum som bygger på konfidentiell databehandling som möjliggör säkert datasamarbete utan att dela data. Data science cleanrooms tillåter flexibel analys från flera parter, och renrum utan kod för media och annonsering möjliggör kompatibel målgruppsaktivering och analys baserat på användardata från första part. Konfidentiella renrum beskrivs mer detaljerat i den här artikeln på Microsoft-bloggen.
• Duality Technologies möjliggör flerpartsanalys och AI på data som deltagarna inte kan centralisera. Den kombinerar konfidentiell beräkning och betrodda exekveringsmiljöer, fullständigt homomorf kryptering, federerad inlärning och differentiell sekretess beroende på varje arbetsbelastning, medan varje dataset förblir under ägarens kontroll mellan avdelningar eller organisationer. Användningsområden inkluderar tvärinstitutionell klinisk forskning och forskning baserad på real world evidence, bedrägeridetektion och analys av penningtvätt.
• Fortanix tillhandahåller en plattform för konfidentiell databehandling som kan möjliggöra konfidentiell AI, inklusive flera organisationer som samarbetar för flerpartsanalys.
• Opaque tillhandahåller en konfidentiell databehandlingsplattform för samarbetsanalys och AI, vilket ger möjlighet att utföra skalbar analys i samarbete och samtidigt skydda data från slutpunkt till slutpunkt och göra det möjligt för organisationer att följa juridiska och regelmässiga mandat.