Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
SecureConnect simplifie le partage de données en réseau, permettant aux fournisseurs de données de partager avec différents destinataires sans permettre d’inscrire chaque destinataire dans leurs règles de stockage réseau. De plus, SecureConnect permet aux fournisseurs de partager depuis un stockage cloud derrière un point de terminaison privé.
Fonctionnement de SecureConnect
Pour utiliser SecureConnect, un fournisseur effectue une configuration unique permettant aux destinataires Azure Databricks d'accéder au stockage du fournisseur derrière un pare-feu ou un point de terminaison privé. Azure Databricks achemine ensuite les demandes de destinataire via un proxy managé. Par conséquent, le fournisseur n’a pas besoin de mettre à jour son pare-feu de stockage lors de l’ajout d’un nouveau destinataire.
Les destinataires accèdent aux données partagées à l’aide de leur configuration OpenSharing existante :
- Les destinataires Azure Databricks sur un calcul serverless peuvent accéder aux partages sans modification du pare-feu pour chaque fournisseur.
- Les destinataires Azure Databricks utilisant le calcul classique et les destinataires ouverts autorisent un seul ensemble d’adresses IP du plan de contrôle Azure Databricks pour la région du fournisseur.
Pour optimiser les performances, les clients utilisant un environnement de calcul sans serveur dans la même région que le stockage du fournisseur accèdent directement au stockage en lecture, plutôt que de passer par le proxy géré. Les destinataires inter-régions et inter-cloud, ainsi que les destinataires sur un environnement de calcul classique, accèdent en lecture via le proxy géré. Cette différence influence la facturation de l’utilisation du réseau. Voir Billing.
Sans SecureConnect, un fournisseur doit ajouter l’identificateur réseau de chaque destinataire à son pare-feu de stockage, coordonner avec le destinataire et un administrateur de plateforme cloud pour chaque nouveau destinataire.
Configurer SecureConnect en tant que fournisseur
La configuration de SecureConnect implique la configuration de votre pare-feu de stockage pour autoriser l’accès et activer SecureConnect pour vos metastores et destinataires.
Étape 1 : Configurer votre pare-feu de stockage
Les instructions suivantes supposent que vos ressources partagées et le metastore du fournisseur se trouvent dans la même région. Pour les coûts réseau les plus bas, conservez la région de vos ressources partagées comme votre région de metastore fournisseur.
SecureConnect accède à votre stockage depuis le plan de données serverless via le réseau de votre fournisseur cloud, et non l’internet public. Choisissez l’une des options de configuration suivantes en fonction de la nécessité de votre stockage d’une connectivité privée.
Option 1 : ajouter le réseau Azure Databricks Serverless à la liste d’autorisation
Autorisez l’accès en ajoutant l’identifiant réseau serverless Azure Databricks à votre pare-feu de stockage. Si votre stockage se trouve derrière un point de terminaison privé, consultez la section suivante.
Pour autoriser Azure Databricks à accéder à vos ressources, associez votre ressource Azure à un périmètre de sécurité réseau en mode transition et ajoutez la balise de service AzureDatabricksServerless.{region} à la liste d’autorisation, où {region} correspond à la région du plan de contrôle du fournisseur. Voir Configurer un pare-feu pour l'accès à l'informatique sans serveur.
Option 2 : Configurer la connectivité privée
Utilisez cette option si votre stockage partagé est derrière un point de terminaison privé.
Un administrateur de compte doit configurer une configuration de connectivité réseau (CCN) et l’attacher au metastore qui héberge vos données partagées. Pour plus d’informations sur les contrôleurs de réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.
Une NCC associée à un espace de travail ne peut pas être associée à un metastore. Un NCC appliqué à un metastore dans OpenSharing s’applique à tous les partages associés au metastore.
Créez un NCC et des règles de point de terminaison privé pour votre compte de stockage, mais ne l’associez pas à un espace de travail. SecureConnect nécessite également une règle de point de terminaison privé et une blobdfs règle de point de terminaison privé. Créez donc une règle de point de terminaison privé pour chaque type de sous-ressource.
Consultez Configurer la connectivité privée aux ressources Azure pour la configuration de NCC et du point de terminaison privé.
Associez le NCC à votre metastore OpenSharing :
- En tant qu’administrateur de compte Azure Databricks, accédez à la console de compte.
- Dans la barre latérale, cliquez sur
Catalogue. - Cliquez sur le nom du metastore OpenSharing pour ouvrir ses détails.
- Sous OpenSharing Network connectivity configuration (NCC), cliquez sur Modifier.
- Recherchez et sélectionnez la CCN que vous avez créée pour OpenSharing.
- Cliquez sur Enregistrer.
Étape 2 : Activer SecureConnect sur un metastore
Un administrateur de metastore peut configurer le metastore afin que les nouveaux destinataires utilisent automatiquement SecureConnect. Par défaut, les destinataires nouveaux et existants ne sont pas inscrits dans SecureConnect. Vous devez configurer les destinataires existants séparément. Consultez l’étape 3 : Activer SecureConnect pour les destinataires individuels.
Pour activer SecureConnect sur un metastore :
Dans votre espace de travail Azure Databricks, cliquez sur
Catalogue pour ouvrir l’Explorateur de catalogues.En haut du volet Catalogue, cliquez sur l’
, puis sélectionnez OpenSharing.Sinon, dans le coin supérieur droit, cliquez sur Partager openSharing>.
Cliquez sur Paramètres dans le coin supérieur droit.
Activez le paramètre pour Activer SecureConnect pour les nouveaux destinataires.
Cliquez sur Enregistrer.
Étape 3 : Activer SecureConnect pour les destinataires individuels
Les propriétaires des destinataires, ainsi que les utilisateurs disposant du privilège USE_RECIPIENT, peuvent activer ou désactiver SecureConnect pour chaque destinataire. SecureConnect est désactivé sur un destinataire par défaut, sauf si le metastore a été défini pour l’activer pour tous les nouveaux destinataires lors de la création du destinataire.
Pour configurer SecureConnect sur un destinataire :
Dans votre espace de travail Azure Databricks, cliquez sur
Catalogue.En haut du volet Catalogue, cliquez sur l’
, puis sélectionnez OpenSharing.Sinon, dans le coin supérieur droit, cliquez sur Partager openSharing>.
Sous l’onglet Partagé par moi, cliquez sur l’onglet Destinataires.
Activez SecureConnect pour chaque destinataire souhaité.
(Facultatif) Étape 4 : Restreindre l’accès des destinataires ouverts avec des listes de contrôle d’accès IP
Pour les destinataires ouverts, vous pouvez restreindre les adresses IP clientes autorisées à atteindre SecureConnect à l’aide de listes d’accès IP. Les listes de contrôle d’accès IP s’appliquent uniquement aux destinataires ouverts.
Avec SecureConnect, les ACL IP s’appliquent à la fois à l’accès au point de terminaison OpenSharing et à l’accès au stockage. Sans SecureConnect, les listes de contrôle d’accès IP limitent uniquement l’accès au point de terminaison OpenSharing ; les URL de stockage restent accessibles à partir de n’importe quelle adresse IP cliente.
Pour obtenir des instructions de configuration, consultez Restreindre l’accès des destinataires OpenSharing à l’aide de listes d’accès IP (partage Databricks-to-Open).
Note
Les modifications de liste de contrôle d’accès IP pour les destinataires ouverts compatibles SecureConnect peuvent prendre jusqu’à 10 minutes.
Scénarios de partage pris en charge
Important
Toute fonctionnalité non prise en charge bascule sur un accès direct depuis la ressource de calcul du destinataire vers le stockage. Le fournisseur doit accorder manuellement l’accès aux adresses IP des destinataires dans leur pare-feu de stockage. Voir qu’est-ce que le protocole OpenSharing Databricks-to-Databricks ? ou quel est le protocole de partage Databricks-to-Open ?.
SecureConnect prend en charge le partage à des destinataires, quelle que soit l’infrastructure cloud qu’ils utilisent, aussi bien pour le partage de Databricks à Databricks que de Databricks vers le partage ouvert.
Le support pour les prestataires sur GCP est disponible en aperçu privé. Pour utiliser SecureConnect sur GCP comme fournisseur, contactez votre équipe de compte Azure Databricks.
mTLS vers SecureConnect est pris en charge uniquement par les destinataires Azure Databricks utilisant le calcul serverless pour accéder aux données partagées.
Support des fonctionnalités
| Fonctionnalité | D2O (jeton) | D2O (OIDC)* | D2O (Iceberg) | D2D (sans serveur) | D2D (classique) |
|---|---|---|---|---|---|
| Tables avec historique et sans partitions | ✓ | ✓ | ✗ | ✓** | ✓** |
| Tables sans historique ou avec des partitions | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Tables étrangères | ✓ | ✓ | ✗ | ✓ | ✓ |
| Vues matérialisées | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Tables de streaming | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Cahiers | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modèles IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* Le partage OIDC ne fonctionne pas actuellement lorsque le destinataire est également sur Azure Databricks.
** L’optimisation des jetons cloud n’est pas disponible pour SecureConnect.
*** Ces ressources sont matérialisées et filtrées côté fournisseur. Consultez Les destinataires ont-ils un accès direct aux données sous-jacentes dans les vues partagées, les vues matérialisées et les tables de diffusion en continu ?.
Limitations
- Vos ressources ne peuvent pas être sauvegardées par le stockage Azure R2.
Pour connaître les limitations côté destinataire, telles que la prise en charge de mTLS et les restrictions de partage Databricks-to-Open, consultez Limitations.
Régions non prises en charge
SecureConnect n’est pas disponible dans Azure Chine, Azure Government ou les régions Azure suivantes :
australiacentralaustraliacentral2japanwestqatarcentralsouthindiaswitzerlandwestukwestwestindia
Facturation
Les fournisseurs sont facturés pour le transfert de données (egress) lorsque les destinataires accèdent aux données partagées via SecureConnect. Pour les tarifs, consultez la section Tarification du transfert de données et de la connectivité, ou contactez votre équipe de compte Azure Databricks.
Note
Azure Databricks étend la facturation réseau SecureConnect à davantage de types de frais et de scénarios d’accès, y compris des frais pour les destinataires. Pour comprendre comment vous pourriez être facturé, voir Facturation réseau élargie pour OpenSharing SecureConnect.
L’utilisation par destinataire est attribuée via le recipient_id champ de la table système de facturation. Les fournisseurs peuvent donc décomposer l’utilisation de SecureConnect facturable par destinataire. Consultez la Table de référence du système d'utilisation facturable.
La requête suivante retourne la sortie de données SecureConnect (en Go) pour chaque destinataire au cours des 7 derniers jours :
SELECT
usage_records.usage_metadata.recipient_id,
SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
usage_records.billing_origin_product = 'NETWORKING'
AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
usage_records.usage_metadata.recipient_id
ORDER BY
total_usage_gb DESC
Pour convertir l’usage en coûts, effectuez une jointure avec la table du système de tarification. Consultez Référence de la table système de tarification.