Confiance et sécurité des fonctionnalités d’assistance d’IA Databricks

Databricks comprend l’importance de vos données et la confiance que vous placez dans nous lorsque vous utilisez notre plateforme et les fonctionnalités d’assistance d’IA Databricks. Databricks s’engage à respecter les normes de protection des données les plus élevées et a implémenté des mesures rigoureuses pour garantir que les informations que vous soumettez aux fonctionnalités d’assistance à l’IA Databricks sont protégées.

• Vos données restent confidentielles.
  • Databricks n’utilise pas de données, d’invites ou de réponses envoyées à ces fonctionnalités ou sorties de ces fonctionnalités pour entraîner les modèles de base de génération que Databricks met à la disposition des tiers.
  • Nos partenaires de modèle ne conservent pas les données que vous envoyez via ces fonctionnalités, même pour la surveillance des abus. Nos fonctionnalités d’assistance IA optimisées par les partenaires utilisent des points de terminaison sans rétention de données de nos partenaires de modèles.
• Protection contre les émissions nocives. Lors de l’utilisation d’Azure OpenAI, Databricks utilise également le filtrage de contenu Azure OpenAI pour protéger les utilisateurs contre le contenu dangereux. Lors de l’utilisation de modèles anthropices, Databricks s’appuie sur les mécanismes de sécurité intégrés d’Anthropic et sur un renforcement supplémentaire contre les sorties dangereuses, comme décrit dans la documentation sur la sécurité d’Anthropic. En outre, Databricks a réalisé une évaluation approfondie avec des milliers d’interactions utilisateur simulées pour s’assurer que les protections mises en place contre les contenus nuisibles, les jailbreaks, la génération de codes non sécurisés et l’utilisation de contenus protégés par des droits d’auteur de tiers sont efficaces.
• Databricks utilise uniquement les données nécessaires pour fournir le service. Les données sont envoyées uniquement lorsque vous interagissez avec les fonctionnalités d’assistance d’IA Databricks, ou si nécessaire pour fournir les fonctionnalités. Databricks envoie votre requête, les métadonnées et valeurs de table pertinentes, les erreurs, ainsi que le code d’entrée ou les requêtes pour vous aider à retourner des résultats plus pertinents.
• Les données sont protégées en transit et au repos. Tout le trafic entre Databricks et les partenaires de modèle est chiffré en transit avec le chiffrement TLS standard du secteur. Les données stockées dans un espace de travail Azure Databricks sont chiffrées en AES-256 bits.
• Databricks offre des contrôles de résidence des données. Les fonctionnalités d’assistance par IA de Databricks sont des services désignés et respectent les limites de localisation des données. Pour plus d’informations, consultez Zones géographiques Databricks : Résidence des données et Services désignés Databricks.

Pour plus d’informations sur la façon dont des fonctionnalités spécifiques gèrent vos données, consultez les FAQ sur la confidentialité et la sécurité.

Données envoyées aux modèles

Quels sont les services et les modèles utilisés par les partenaires pour les fonctionnalités d’assistance à l’IA ?

Si le paramètre de fonctionnalités d’IA optimisées par le partenaire est activé, les fonctionnalités d’assistance à l’IA Databricks utilisent des modèles hébergés par le service Azure OpenAI ou Anthropic sur Databricks.

Certaines fonctionnalités, telles que la saisie semi-automatique de Genie Code, utilisent un modèle hébergé par Databricks, même lorsque le paramètre est activé. Si vous désactivez le paramètre fonctionnalités d’IA optimisées par le partenaire, certaines fonctionnalités d’assistance d'IA peuvent utiliser un modèle hébergé par Databricks. Pour plus d’informations, consultez fonctionnalités d’IA optimisées par les partenaires.

Quelles données sont envoyées aux modèles ?

Databricks envoie uniquement les données nécessaires pour fournir le service. En général, cela inclut votre invite (par exemple, votre question, votre code ou requête) et des métadonnées pertinentes telles que les noms de table et les descriptions de colonnes, les exemples de valeurs, les erreurs et les questions précédentes. Les données exactes diffèrent par fonctionnalité :

• Genie Code envoie du code et des requêtes dans l’onglet actuel de la cellule du bloc-notes ou de l’éditeur SQL, les noms de table et les descriptions des colonnes, les questions précédentes et les tables favorites. En mode Agent, Genie Code peut également analyser les sorties des cellules et lire des exemples de données à partir de tables, comme d’autres agents de codage dans le secteur.
• Les agents Génie utilisent l’invite de langage naturel, les noms de tables et les descriptions, les valeurs pertinentes, les instructions générales, les exemples de requêtes SQL et les fonctions SQL.
• Genie One envoie votre question sur le langage naturel ainsi que les métadonnées pertinentes, telles que les noms des tableaux et colonnes, les descriptions et les valeurs d’exemple, lorsque vous discutez avec vos données. Genie One répond en routant vers vos agents Genie et en recherchant les ressources de données auxquelles vous avez la permission. Lorsque vous connectez des sources externes, telles que Google Drive, Microsoft 365 ou Slack, Genie One peut également envoyer du contenu depuis ces sources pour répondre à votre question.
• Genie Ontology est la couche de contexte unifiée qui fournit à Genie une carte consciente de votre organisation pour l’entreprise, réunissant le contexte modélisé (sémantique du catalogue Unity, comme les vues métriques et les domaines) et le contexte déduit que Genie construit et maintient automatiquement à partir de vos ressources et de votre utilisation existantes. Les extraits d’ontologie extraits respectent les autorisations des ressources sources. Pour générer le contexte déduit, Genie extrait des connaissances de sources telles que les vues métriques, les tableaux de bord, les requêtes SQL et les agents Genie.
• Les commentaires générés par l’IA envoient des métadonnées pour l’objet documenté et ses objets parents, notamment le catalogue, le schéma, la table, la fonction, le modèle et les noms de volume, leurs commentaires actuels et les détails de colonne (nom, type, qu’il s’agisse d’une clé primaire et d’un commentaire de colonne actuel).

Les données envoyées aux modèles respectent-elles les autorisations du catalogue Unity de l’utilisateur ?

Oui, toutes les données envoyées aux modèles de fonctionnalités d’assistance IA respectent les autorisations du Unity Catalog, de sorte qu'aucune donnée à laquelle les utilisateurs n'ont pas accès n'est envoyée à ces modèles.

Les fournisseurs de modèles partenaires stockent-ils mes données ?

Non. Lorsque vous utilisez des modèles partenaires via Databricks, les fournisseurs de modèles partenaires ne stockent pas d’invites ou de réponses.

Stockage et accès

Où sont stockées les réponses des fonctions d'assistance IA ?

Les réponses de l’Agent Génie et les commentaires générés par l’IA approuvés sont stockées dans la base de données du plan de contrôle Databricks. La base de données du plan de contrôle est chiffrée par AES-256 bits.

L’historique des conversations de Génie Code est stocké au même endroit que d’autres contenus de notebook.

Les conversations de chat Genie One sont stockées dans la base de données du plan de contrôle Databricks, qui est chiffrée en AES-256 bits.

Qui peut voir mon historique de discussion avec Genie ?

Vous pouvez voir vos propres conversations Genie Code. Les administrateurs peuvent consulter le chat s’ils ont un lien direct. Lorsque vous partagez un chat, les destinataires peuvent le consulter. Voir Partager une conversation.

Les gestionnaires de l’agent Génie peuvent voir les messages d’autres utilisateurs, mais pas leurs résultats de requête. Les conversations avec Les agents Génie suivent les paramètres de partage de conversation.

Vous pouvez consulter vos propres discussions sur Genie One. Lorsque vous partagez un chat, les destinataires peuvent le voir en lecture seule. Vous pouvez partager un chat Genie One avec n’importe qui sur votre compte, ou le rendre privé à nouveau. Voir Partager une conversation.

Exécution et précision du code

Est-ce que Genie exécute du code ?

Les agents Genie sont conçus avec un accès en lecture seule aux données client, afin qu’ils puissent générer et exécuter uniquement des requêtes SQL en lecture seule.

Comme les Agents Genie, le chat Genie One offre un accès en lecture seule à vos données, générant et n’exécutant que des requêtes SQL en lecture seule sur les données auxquelles vous avez l’autorisation.

Avec le mode Agent, Genie Code peut exécuter du code dans le notebook et l’éditeur SQL. Au début, Genie Code vous demandera de confirmer l’exécution. Vous pouvez choisir de confirmer, toujours autoriser l’exécution dans le chat actuel du Code Génie, ou toujours autoriser l’exécution. Les autres modes de code Genie n’exécutent pas automatiquement le code en votre nom.

Les modèles d’IA peuvent faire des erreurs, ne pas comprendre l’intention et halluciner ou donner des réponses incorrectes. Passez en revue et testez le code généré par l’IA avant de l’exécuter.

Databricks a-t-il effectué une évaluation pour évaluer la précision et l’adéquation des réponses des fonctionnalités d’assistance d’IA ?

Oui, Databricks a effectué un test approfondi de toutes nos fonctionnalités d’assistance ia en fonction de leurs cas d’usage attendus et de l’utilisation d’entrées utilisateur simulées pour augmenter la précision et l’adéquation des réponses. Cela dit, l’IA est une technologie émergente, et les fonctionnalités d’assistance à l’IA peuvent fournir des réponses inexactes ou inappropriées.

Résidence et conformité des données

Comment mon trafic est-il acheminé via Geos ?

Les fonctionnalités d’assistance d’IA Databricks sont des services désignés qui utilisent Databricks Geos pour gérer la résidence des données lors du traitement du contenu client. Le routage du trafic dépend de votre région et de si le traitement intergéographique est activé (l'application du traitement des données dans la zone géographique de l'espace de travail pour les services désignés est désactivée).

Puis-je utiliser des fonctionnalités d’assistance IA avec des tables qui traitent des données réglementées (PHI, PCI, IRAP, FedRAMP) ?

Oui. Pour cela, vous devez respecter les exigences, telles que l’activation du profil de sécurité de la conformité, et ajouter la norme de conformité appropriée en tant que partie de la configuration du profil de sécurité de conformité.

Modèles hébergés par Databricks

Comment les fonctionnalités d’assistance de l'IA fonctionnent-elles avec les modèles hébergés par Databricks ?

Lorsque les fonctionnalités d’IA fournies par un partenaire sont désactivées, les fonctionnalités d’assistance par IA utilisent des modèles hébergés par Databricks, entièrement sélectionnés et gérés par Databricks. Databricks utilise des modèles open source disponibles pour une utilisation commerciale, comme OpenAI GPT OSS.

Le diagramme suivant fournit une vue d’ensemble de la façon dont un modèle hébergé par Databricks alimente les fonctionnalités basées sur l’IA databricks, telles que Quick Fix.

1. Un utilisateur exécute une cellule de bloc-notes, ce qui entraîne une erreur.
2. Databricks attache des métadonnées à une requête et l’envoie à un modèle de grande langue hébergé par Databricks (LLM). Toutes les données sont chiffrées au repos. Les clients peuvent utiliser une clé gérée par le client (CMK).
3. Le modèle hébergé par Databricks répond avec les modifications de code suggérées pour corriger l’erreur, qui est affichée à l’utilisateur.