Analityka danych typu cleanroom i wielostronna analityka danych

Poufne przetwarzanie na platformie Azure (ACC) stanowi podstawę dla rozwiązań, które umożliwiają wielu stronom współpracę nad danymi. Istnieje wiele różnych podejść, a rosnący ekosystem partnerów umożliwia klientom Azure, badaczom, naukowcom danych i dostawcom danych współpracę przy danych, jednocześnie chroniąc prywatność. W tym omówieniu omówiono niektóre podejścia i istniejące rozwiązania, których można użyć— wszystkie uruchomione na platformie ACC.

Jakie są zabezpieczenia danych i modeli?

Rozwiązania typu data clean room zazwyczaj umożliwiają jednemu lub kilku dostawcom danych połączenie danych w celu przetwarzania. Zazwyczaj dostawcy uzgadniają kod, zapytania lub modele stworzone przez jednego z uczestników, takiego jak badacz lub dostawca rozwiązań. W wielu przypadkach dane są wrażliwe i nie powinny być bezpośrednio udostępniane innym uczestnikom, niezależnie od tego, czy chodzi o innego dostawcę danych, badacza czy dostawcę rozwiązań. Aby zapewnić bezpieczeństwo i prywatność zarówno danych, jak i modeli używanych w clean roomach danych, poufne obliczenia mogą kryptograficznie weryfikować, że uczestnicy nie mają dostępu do danych lub modeli, także podczas przetwarzania. Dzięki zastosowaniu ACC rozwiązania mogą chronić dane i własność intelektualną modelu przed operatorem chmury, dostawcą rozwiązań oraz uczestnikami współpracy danych.

Jakie są przykłady przypadków użycia w branży?

Korzystając z ACC, klienci i partnerzy tworzą wielostronne rozwiązania do analizy danych, chroniące prywatność, czasem nazywane „poufnymi clean roomami”. Rozwiązania te mogą być całkowicie nowymi rozwiązaniami stworzonymi jako poufne lub istniejącymi rozwiązaniami cleanroom, które stają się poufne dzięki użyciu ACC.

• Scotiabank – Udowodnił wykorzystanie AI w analizie przepływów pieniędzy między bankami do identyfikacji prania pieniędzy i oznaczania przypadków handlu ludźmi, wykorzystując poufne obliczenia Azure oraz partnera rozwiązania, Opaque.
• Novartis Biome — użyła rozwiązania partnerskiego firmy BeeKeeperAI działającego na ACC w celu znalezienia kandydatów do badań klinicznych w przypadku rzadkich chorób.
• Wiodący dostawcy płatności łączą dane między bankami w celu wykrywania oszustw i nieprawidłowości.
• Usługi analizy danych i rozwiązania typu clean room wykorzystują ACC do zwiększenia ochrony danych oraz spełniania wymagań dotyczących zgodności klientów z UE i regulacji dotyczących prywatności.

Dlaczego poufne przetwarzanie?

Data clean roomy to nie jest zupełnie nowa koncepcja. Jednak postępy w poufnych obliczeniach dają więcej możliwości wykorzystania skali chmury dzięki szerszym zbiorom danych, zabezpieczenia IP modeli AI i lepszego spełniania przepisów dotyczących prywatności danych. W poprzednich przypadkach niektóre dane mogą być niedostępne z powodów, takich jak

• Niekorzystna pozycja konkurencyjna lub regulacje uniemożliwiające udostępnianie danych między firmami branżowymi.
• Anonimizacja zmniejszająca jakość szczegółowych informacji na temat danych lub zbyt kosztowna i czasochłonna.
• Dane powiązane z określonymi lokalizacjami są ograniczone w przetwarzaniu w chmurze ze względu na obawy dotyczące bezpieczeństwa.
• Kosztowne lub długotrwałe procesy prawne obejmują odpowiedzialność, jeśli dane zostaną ujawnione lub nadużyte.

Te realia mogą prowadzić do niekompletnych lub nieskutecznych zestawów danych, które powodują słabsze szczegółowe informacje lub więcej czasu potrzebnego do trenowania i używania modeli sztucznej inteligencji.

Jakie kwestie należy wziąć pod uwagę podczas kompilowania rozwiązania do czyszczenia?

Analiza wsadowa a potoki danych w czasie rzeczywistym: Warto uwzględnić rozmiar zbiorów danych oraz szybkość dostarczania wniosków podczas projektowania lub korzystania z rozwiązania typu clean room. Gdy dane są dostępne „offline”, można je załadować do zweryfikowanego i zabezpieczonego środowiska obliczeniowego do analitycznego przetwarzania dużych partii danych, jeśli nie całego zbioru danych. To podejście analityki wsadowej pozwala na ocenę dużych zbiorów danych za pomocą modeli i algorytmów, od których nie oczekuje się natychmiastowego wyniku. Na przykład analiza wsadowa dobrze sprawdza się przy wnioskowaniu ML na milionach dokumentacji medycznej, aby znaleźć najlepszych kandydatów do badania klinicznego. Inne rozwiązania wymagają wglądu w dane w czasie rzeczywistym, na przykład gdy algorytmy i modele dążą do identyfikacji oszustw w transakcjach niemal w czasie rzeczywistym między wieloma podmiotami.

Uczestnictwo w modelu zero trust: Głównym wyróżnikiem w poufnych clean roomach danych jest możliwość niezaufania żadnej ze stron — od dostawców danych, przez programistów kodu i modeli, dostawców rozwiązań, po administratorów operatora infrastruktury. Można zapewnić rozwiązania, w których zarówno dane, jak i model IP są chronione przed wszystkimi podmiotami. Podczas rozpoczynania pracy lub tworzenia rozwiązania uczestnicy powinni rozważyć zarówno to, co chcą chronić, jak i przed kim chronić kod, modele i dane.

Uczenie federacyjne: Uczenie federacyjne polega na tworzeniu lub użyciu rozwiązania, w którym modele działają w tenancie właściciela danych, a wnioski są agregowane w centralnym tenancie. W niektórych przypadkach modele mogą nawet działać na danych spoza Azure, podczas gdy agregacja modeli nadal zachodzi w Azure. Często uczenie federacyjne działa iteracyjnie na danych, gdy parametry modelu poprawiają się po agregacji wniosków. Koszty iteracji i jakość modelu powinny być uwzględniane w rozwiązaniu oraz oczekiwane rezultaty.

Miejsce przechowywania danych i źródła: Klienci mają dane przechowywane w wielu chmurach i lokalnie. Współpraca może obejmować dane i modele z różnych źródeł. Rozwiązania do czyszczenia mogą ułatwić korzystanie z danych i modeli pochodzących z platformy Azure z tych innych lokalizacji. Gdy dane nie mogą przejść na platformę Azure z lokalnego magazynu danych, niektóre rozwiązania do czyszczenia mogą działać w lokacji, w której znajdują się dane. Zarządzanie i zasady mogą być obsługiwane przez wspólnego dostawcę rozwiązań, jeśli jest dostępny.

Integralność kodu i poufne rejestry: Korzystając z technologii rozproszonych rejestrów (DLT) działającej na poufnych obliczeniach Azure, możesz budować rozwiązania działające w sieci pomiędzy organizacjami. Logika kodu i reguły analityczne są dodawane tylko wtedy, gdy istnieje konsensus między uczestnikami. Wszystkie aktualizacje kodu są rejestrowane do audytu poprzez logowanie zabezpieczające przed manipulacją, zapewniane przez usługę Azure Confidential Computing.

Jakie są opcje rozpoczęcia pracy?

Azure Confidential Clean Rooms (wersja zapoznawcza)

Azure Confidential Clean Rooms (ACCR) został zaprojektowany dla organizacji, które muszą bezpiecznie udostępniać dane wrażliwe ze względu na prywatność, takie jak informacje umożliwiające identyfikację osoby (PII) lub chronione informacje zdrowotne (PHI), innym organizacjom, aby uzyskać kluczowe informacje biznesowe, dopracować modele ML z wykorzystaniem wrażliwych danych innych organizacji w celu zwiększenia dokładności lub przeprowadzać bezpieczne analizy wspólnych danych z organizacjami partnerskimi. Usługa ACCR używa poufnych kontenerów w usłudze Azure Container Instances, aby zapewnić ochronę danych przed innymi współpracownikami i operatorami platformy Azure. Ma zastosowania obejmujące wiele branż, takich jak opieka zdrowotna, reklama, bankowość i usługi finansowe oraz handel detaliczny.

Możesz zapisać się do przeglądu ACCR, wypełniając ten formularz.

Oferty platformy ACC, które pomagają umożliwić poufne strefy czystości

Zwijaj rękawy i twórz rozwiązanie do czyszczenia danych bezpośrednio na tych poufnych ofertach usług obliczeniowych.

Poufne kontenery w usłudze Azure Container Instances (ACI) oraz poufne pule węzłów maszyn wirtualnych stanowią rozwiązanie kontenerowe do tworzenia poufnych rozwiązań cleanroom. Opcje enklawy Intel SGX pozostają dostępne dla specjalistycznych scenariuszy.

Poufne maszyny wirtualne zapewniają platformę maszyn wirtualnych dla poufnych rozwiązań do czyszczenia.

Usługa Azure SQL AE w bezpiecznych enklawach udostępnia usługę platformy do szyfrowania danych i zapytań w języku SQL, które mogą być używane w wielostronnej analizie danych i poufnych pomieszczeniach.

Confidential Consortium Framework to platforma typu open source służąca do tworzenia usług stanowych o wysokiej dostępności, które używają scentralizowanych obliczeń w celu ułatwienia użycia i wydajności, zapewniając jednocześnie zdecentralizowane zaufanie. Umożliwia wielu podmiotom przeprowadzanie audytowalnych obliczeń na danych poufnych bez konieczności wzajemnego zaufania lub zaufania do uprzywilejowanego operatora.

Rozwiązania partnerskie ACC, które umożliwiają poufne czyszczenie pomieszczeń

Skorzystaj z partnera, który zbuduje wielostronne rozwiązanie analityki danych na platformie Azure Confidential Computing.

• Anjuna udostępnia poufne platformy obliczeniowe w celu umożliwienia różnych przypadków użycia, w tym bezpiecznych pomieszczeń, w celu udostępniania danych do wspólnej analizy, takich jak obliczanie wyników ryzyka kredytowego lub opracowywanie modeli uczenia maszynowego bez ujawniania poufnych informacji.
• Usługa BeeKeeperAI umożliwia korzystanie ze sztucznej inteligencji opieki zdrowotnej za pośrednictwem bezpiecznej platformy współpracy dla właścicieli algorytmów i stewardów danych. BeeKeeperAI wykorzystuje analitykę chroniącą prywatność na danych chronionych przez wiele instytucji w środowisku poufnego przetwarzania.
• Usługa Decentriq udostępnia czyszczenie danych SaaS oparte na poufnych obliczeniach, które umożliwiają bezpieczną współpracę danych bez udostępniania danych. Sale czystych danych naukowych umożliwiają elastyczną analizę wielopartyjną, a sale bez kodu dla mediów i reklam pozwalają na zgodną aktywację i analizę odbiorców na podstawie danych użytkowników pierwszego stopnia. Poufne toalety zostały szczegółowo opisane w tym artykule na blogu firmy Microsoft.
• Duality Technologies umożliwia analitykę wielopartyjną i AI na danych, których uczestnicy nie mogą scentralizować. Łączy poufne obliczenia i zaufane środowiska wykonawcze, w pełni homomorficzne szyfrowanie, uczenie federacyjne oraz różnicową prywatność w zależności od wymagań każdego obciążenia, podczas gdy każdy zbiór danych pozostaje pod kontrolą właściciela w różnych działach lub organizacjach. Przypadki użycia obejmują międzyinstytucjonalne badania kliniczne i badania oparte na danych rzeczywistych, wykrywanie oszustw oraz analizę przeciwdziałania praniu pieniędzy.
• Fortanix oferuje platformę do obliczeń poufnych, która umożliwia poufną sztuczną inteligencję, w tym współpracę wielu organizacji przy analityce wielopodmiotowej.
• Opaque zapewnia poufną platformę obliczeniową do współpracy w zakresie analizy danych i AI, umożliwiając przeprowadzanie współdzielonych, skalowalnych analiz z zachowaniem pełnej ochrony danych oraz pozwalając organizacjom na zgodność z przepisami prawnymi i regulacyjnymi.