Kluczowe wyzwania związane z tworzeniem aplikacji sztucznej inteligencji

Mimo dużych możliwości nowoczesnych modeli AI, produkcyjne aplikacje AI są często trudne do zbudowania. Trzy kluczowe wyzwania można podsumować jako:

  • Ład: wiele platform ma trudności z zapewnieniem ujednoliconego ładu, prywatności danych i zabezpieczeń dla danych i zasobów sztucznej inteligencji.
  • Jakość: elastyczne i nieprzewidywalne zachowanie modeli sztucznej inteligencji zwiększa złożoność oceny.
  • Kontrola: Platformy muszą zapewniać elastyczność, wybór modelu i dostosowywanie.

Nadzór nad danymi i sztuczną inteligencją

Aplikacje sztucznej inteligencji wymagają różnych zasobów danych i sztucznej inteligencji: tabel, indeksów wektorów, modeli sztucznej inteligencji, narzędzi i nie tylko. Platforma sztucznej inteligencji musi zapewnić precyzyjny dostęp do tych zasobów deweloperom, zapewniając jednocześnie wspólny ład administratorom. Bez pełnego ładu organizacje napotykają zagrożenia, takie jak:

  • Wyciek danych: poufne dane klienta lub przedsiębiorstwa mogą być niewłaściwie wykorzystywane bez odpowiedniego śledzenia pochodzenia i kontroli dostępu, a dane mogą przypadkowo wyciekać za pośrednictwem danych wyjściowych modelu, jeśli odpowiednie zabezpieczenia nie są wymuszane.
  • Ograniczenia zgodności: Wiele organizacji ma wymagania dotyczące zgodności, takie jak SOC2 lub HIPAA, a integrowanie modeli sztucznej inteligencji ze zgodnymi starszymi platformami może być złożone, co prowadzi do opóźnień lub ograniczeń w korzystaniu z najlepszych modeli.
  • Nieautoryzowane użycie lub nieoczekiwane koszty: bez kontroli dostępu i barier użycia modele sztucznej inteligencji mogą być używane przez nieautoryzowane zespoły lub generują wysokie koszty użycia.

Usługa Azure Databricks upraszcza ujednolicone zarządzanie danymi i sztuczną inteligencją poprzez:

  • Unity Catalog, który zarządza plikami, tabelami, indeksami wektorów, magazynami funkcji, modelami i narzędziami w ramach zunifikowanego modelu zarządzania
  • Brama sztucznej inteligencji, która zapewnia ujednolicony nadzór i monitorowanie punktów końcowych modelu sztucznej inteligencji, w tym barier bezpieczeństwa i limitów użycia
  • Databricks AI Security Framework, która zawiera kompleksowy przewodnik po zarządzaniu ryzykiem sztucznej inteligencji
  • Databricks AI Governance Framework, która uzupełnia strukturę zabezpieczeń, zapewniając wgląd w ład obejmujący zarówno zabezpieczenia, jak i integralność operacyjną

Jakość modeli, agentów i aplikacji

Modele sztucznej inteligencji generują otwarte, stochastyczne dane wyjściowe i są często stosowane do otwartych problemów z wieloma "dobrymi" odpowiedziami. Nawet definiowanie "wysokiej jakości" może być trudne i często wymaga iteracyjnych opinii ekspertów lub użytkowników domeny. Bez niezawodnych procesów oceny organizacje napotykają zagrożenia, takie jak:

  • Negatywne doświadczenia użytkowników: jeśli aplikacje AI nie są oceniane na podstawie wskaźników zgodnych z potrzebami użytkowników, użytkownicy mogą uznać odpowiedzi za nieprzydatne, niedokładne, a nawet szkodliwe lub obraźliwe. Reputacja marki może cierpieć w skrajnych przypadkach.
  • Zawieszenie prac rozwojowych: Jeśli jakości nie można zdefiniować ani zmierzyć w sposób umożliwiający akceptację interesariuszy, projekty AI mogą zostać opóźnione lub anulowane z powodu braku „potwierdzenia” jakości.

Usługa Azure Databricks upraszcza mierzenie i optymalizowanie jakości sztucznej inteligencji za pomocą:

  • Ocena i monitorowanie platformy MLflow z wbudowanymi sędziami i niestandardowymi wskaźnikami w celu mierzenia jakości, użytecznej zarówno w monitorowaniu rozwoju, jak i produkcji
  • Śledzenie MLflow, z automatycznym i ręcznym śledzeniem, aby zapewnić wgląd zarówno w rozwój, jak i produkcję
  • Zbieranie opinii od ludzi z wbudowaną aplikacją do zbierania opinii ekspertów podczas opracowywania oraz interfejsów API do zbierania opinii użytkowników z aplikacji produkcyjnych

Kontrola danych i modeli

Najnowocześniejsze modele AI są oferowane przez wielu dostawców, a także jako samodzielnie hostowane opcje open source. Ze względu na komplikacje związane z prywatnością danych i licencjonowaniem wiele platform ma problem z wspieraniem tego zróżnicowanego ekosystemu i umożliwiać szybką iterację i dostosowanie. Organizacje muszą zachować kontrolę nad swoimi danymi i wyborami nad modelami, aby uniknąć ryzyka, takiego jak:

  • Ograniczenia dotyczące prywatności danych: Wymogi zgodności z przepisami lub integracyjne mogą uniemożliwiać organizacjom dostęp do najlepszych modeli AI od różnych dostawców, ograniczając elastyczność i możliwość wyboru kompromisu między jakością a kosztem.
  • Brak przewagi konkurencyjnej: jeśli modele, dane, agenci i aplikacje nie są dostosowywalne na podstawie zastrzeżonych danych organizacji, trudno jest tworzyć własność intelektualną.

Usługa Azure Databricks zapewnia kontrolę i elastyczność danych i modeli za pomocą:

  • Interfejsy API Modeli Bazowych, które obsługują modele czołowe od najlepszych dostawców modeli we własnym środowisku Azure Databricks, wraz z niestandardowymi modelami i agentami w Modelach serwisowanych.
  • Dostosowane aplikacje, agenci, modele, narzędzia i źródła danych utworzone wokół zastrzeżonych danych. Wszystkie te poziomy sztucznej inteligencji obsługują analizę danych, od tworzenia aplikacji i agentów po dostarczanie danych za pomocą narzędzi, do oceniania i optymalizowania agentów na podstawie danych.

Dodatkowe zasoby

  • Last updated on