Umfang der Databricks-Plattform

Ein modernes Daten- und KI-Plattformframework

Um den Umfang der Databricks Data + AI Platform zu erörtern, ist es hilfreich, zunächst einen grundlegenden Rahmen für die moderne Daten- und KI-Plattform zu definieren:

Cloud-Datenanalyse-Rahmenwerk.

Übersicht über die Databricks-Plattform

Die Databricks Data + AI Platform deckt das gesamte moderne Datenplattform-Framework ab. Sie basiert auf der Lakehouse-Architektur und wird von einem Data Intelligence-Modul unterstützt, das die einzigartigen Eigenschaften Ihrer Daten versteht. Sie ist eine offene und einheitliche Grundlage für ETL-, ML/KI- und DWH/BI-Workloads und stellt Unity Catalog als zentrale Daten- und KI-Governancelösung bereit.

Personas des Plattformframeworks

Das Framework umfasst die primären Datenteammitglieder (Personas), die mit den Anwendungen im Framework arbeiten:

Technische Fachkräfte für Daten versorgen wissenschaftliche Fachkräfte für Daten und Business Analysts mit genauen und reproduzierbaren Daten für eine zeitnahe Entscheidungsfindung und Erkenntnissen in Echtzeit. Sie implementieren äußerst konsistente und zuverlässige ETL-Prozesse, um das Benutzervertrauen in Daten zu stärken. Sie stellen sicher, dass die Daten gut in die verschiedenen Säulen des Unternehmens integriert sind und folgen in der Regel den Best Practices der Softwareentwicklung.
Wissenschaftliche Fachkräfte für Daten vereinen analytisches Fachwissen und Geschäftsverständnis, um Daten in strategische Erkenntnisse und Prognosemodelle umzuwandeln. Sie sind in der Lage, geschäftliche Herausforderungen in datengesteuerte Lösungen zu übersetzen, sei es durch retrospektive analytische Erkenntnisse oder durch vorausschauende Prognosemodellierung. Durch den Einsatz von Datenmodellierung und maschinellen Lerntechniken entwerfen, entwickeln und implementieren sie Modelle, die Muster, Trends und Prognosen in Daten aufdecken. Sie fungieren als Brücke, indem sie komplexe Daten in verständliche Geschichten umwandeln und so sicherstellen, dass Geschäftsbeteiligte die datengestützten Empfehlungen nicht nur verstehen, sondern auch umsetzen können, was wiederum einen datenzentrierten Ansatz zur Problemlösung innerhalb einer Organisation fördert.
Technische Fachkräfte für ML (maschinelles Lernen) leiten die praktische Anwendung von Data Science in Produkten und Lösungen, indem sie Modelle für maschinelles Lernen erstellen, bereitstellen und pflegen. Ihr Hauptaugenmerk richtet sich auf den technischen Aspekt der Modellentwicklung und -bereitstellung. Technische Fachkräfte für ML sorgen für die Stabilität, Zuverlässigkeit und Skalierbarkeit von Systemen für maschinelles Lernen in Liveumgebungen und kümmern sich um Herausforderungen in Bezug auf Datenqualität, Infrastruktur und Leistung. Durch die Integration von KI- und ML-Modellen in operative Geschäftsprozesse und benutzerorientierte Produkte erleichtern sie die Nutzung von Data Science bei der Lösung geschäftlicher Herausforderungen, um sicherzustellen, dass Modelle nicht nur in der Forschung bleiben, sondern auch greifbaren Geschäftswert fördern.
Geschäftsanalysten und Geschäftsbenutzer: Geschäftsanalysten bieten Projektbeteiligten und Geschäftsteams umsetzbare Daten. Sie interpretieren häufig Daten und erstellen Berichte oder andere Dokumentationen für die Verwaltung mithilfe von STANDARD BI-Tools. Sie sind in der Regel der erste Ansprechpartner für nicht technische Geschäftsbenutzer und Betriebskollegen für schnelle Analysefragen. Dashboards und Geschäfts-Apps, die auf der Databricks-Plattform bereitgestellt werden, können direkt von Geschäftsbenutzern verwendet werden.
Apps-Entwickler erstellen sichere Daten und KI-Anwendungen auf der Datenplattform und teilen diese Apps mit Geschäftsbenutzern.
Geschäftspartner sind wichtige Beteiligte in einer zunehmend vernetzten Geschäftswelt. Sie sind definiert als Unternehmen oder Einzelpersonen, mit denen ein Unternehmen eine formelle Beziehung zur Erreichung eines gemeinsamen Ziels unterhält, und können Anbieter, Lieferanten, Vertriebspartner und andere Drittpartner umfassen. Die gemeinsame Nutzung von Daten ist ein wichtiger Aspekt von Geschäftspartnerschaften, da sie die Übertragung und den Austausch von Daten zur Verbesserung der Zusammenarbeit und der datengestützten Entscheidungsfindung ermöglicht.

Domänen des Plattformframeworks

Die Plattform umfasst mehrere Domänen:

Speicher: In der Cloud werden Daten hauptsächlich in skalierbarem, effizientem und robustem Objektspeicher auf Cloudanbietern gespeichert.
Governance: Funktionen rund um Datengovernance, z. B. Zugriffssteuerung, Überwachung, Metadatenverwaltung, Nachverfolgung der Datenherkunft und Überwachung für alle Daten und KI-Ressourcen.
KI-Engine: Das KI-Modul bietet KI-Funktionen für die gesamte Plattform.
Erfassung und Transformation: Die Funktionen für ETL-Workloads.
Erweiterte Analysen, ML und KI: Alle Funktionen rund um maschinelles Lernen, KI und streaming Analytics.
Data Warehouse: Die Domäne, die DWH- und BI-Anwendungsfälle unterstützt.
Betriebsdatenbank: Funktionen und Dienste rund um operative Datenbanken wie OLTP-Datenbanken (Onlinetransaktionsverarbeitung), Schlüsselwertspeicher usw.
Automatisierung: Workflowverwaltung für die Datenverarbeitung, maschinelles Lernen, Analysepipelinen, einschließlich CI/CD und MLOps-Unterstützung.
ETL- und Data Science-Tools: Die Front-End-Tools, die Dateningenieure, Data Scientists und ML-Ingenieure hauptsächlich für die Arbeit verwenden.
BI-Tools: Die Front-End-Tools, mit denen BI-Analysten hauptsächlich arbeiten.
Daten- und KI-Apps Tools, die Anwendungen erstellen und hosten, die die von der zugrunde liegenden Plattform verwalteten Daten verwenden und ihre Analyse- und KI-Funktionen auf sichere und governancekonforme Weise nutzen.
Zusammenarbeit: Funktionen für die Datenfreigabe zwischen zwei oder mehr Parteien.