Gestire i metastore di Unity Catalog

Questo articolo illustra come aggiornare, eliminare e gestire il comportamento dei metastore di Unity Catalog nell'account Azure Databricks.

Per informazioni sui metastore del catalogo Unity e su come crearli, vedere Creare un metastore del catalogo Unity.

Abilitare un metastore da assegnare automaticamente alle nuove aree di lavoro

Per assegnare automaticamente un metastore esistente del catalogo Unity alle nuove aree di lavoro nella stessa area del metastore, un amministratore dell'account può abilitare l'assegnazione automatica delle aree di lavoro per il metastore. Se questa impostazione non è selezionata, l'amministratore che crea un workspace nella stessa regione del metastore deve abilitare manualmente il workspace per Unity Catalog e selezionare il metastore da un menu a discesa.

Prima che un amministratore dell'account abiliti questa opzione, deve essere sicuro di comprendere gli effetti seguenti sulle nuove aree di lavoro:

• Verrà creato un catalogo dell'area di lavoro e tutti gli utenti dell'area di lavoro avranno i privilegi necessari per crearvi oggetti. Consulta Introduzione al Catalogo Unity.
• Gli amministratori dell'area di lavoro avranno le autorizzazioni necessarie per creare oggetti proteggibili a livello di metastore, come cataloghi e percorsi esterni. Vedere privilegi di amministratore dell'area di lavoro quando le aree di lavoro sono abilitate automaticamente per Unity Catalog.
• Se l'archiviazione a livello di metastore è già abilitata per il metastore, l'area di lavoro sarà in grado di usare tale archiviazione. Consultare Specificare una posizione di archiviazione gestita in Unity Catalog.
• Se per il metastore è stato definito un amministratore, questo potrà gestire l'accesso a tutti gli oggetti proteggibili in tutte le aree di lavoro collegate al metastore. Si veda gli amministratori del metastore.
• L'impostazione OpenSharing (abilitata o disabilitata) per il metastore verrà applicata a tutte le aree di lavoro collegate al metastore. Consulta Configurare OpenSharing per il tuo account (per i provider).

Per abilitare l'assegnazione automatica:

1. In qualità di amministratore dell'account, accedi alla console dell'account Azure Databricks.
2. Fare clic Catalogo.
3. Selezionare il proprio metastore.
4. Nella scheda Configurazione, in Assegnazione dell'area di lavoro, selezionare Assegna automaticamente nuove aree di lavoro in <region> questo metastore.
5. Nella finestra di dialogo di conferma fare clic su Abilita assegnazione automatica.

Aggiungi l'archiviazione gestita a un metastore esistente

L'archiviazione gestita a livello di metastore è facoltativa e non è inclusa per i metastore creati automaticamente. Potresti aggiungere l'archiviazione a livello di metastore al tuo metastore se preferisci un modello di isolamento dei dati che archivia i dati centralmente per più spazi di lavoro. Se si è un partner Azure Databricks che utilizza percorsi di staging personali, è necessaria l'archiviazione a livello di metastore.

Vedere anche Specificare una posizione di archiviazione gestita in Unity Catalog.

Requisiti

• È necessario disporre di almeno un'area di lavoro associata al metastore di Unity Catalog.
• Autorizzazioni di Azure Databricks necessarie:
  • Per creare una posizione esterna, è necessario disporre dei CREATE EXTERNAL LOCATION privilegi e CREATE STORAGE CREDENTIAL .
  • Per aggiungere il percorso di archiviazione alla definizione del metastore, è necessario essere un amministratore dell'account. Per istruzioni sull'abilitazione del ruolo di amministratore dell'account nell'account, vedere Stabilire il primo amministratore dell'account.
• Autorizzazioni del tenant di Azure necessarie:
  • Autorizzazione per creare un account di archiviazione da usare con Azure Data Lake Storage. Questo account di archiviazione deve avere uno spazio dei nomi gerarchico. Vedere Creare un account di archiviazione da usare con Azure Data Lake Storage.
  • Autorizzazione per creare una nuova risorsa per contenere un'identità gestita assegnata dal sistema. A tale scopo, è necessario essere un collaboratore o proprietario di un gruppo di risorse in qualsiasi sottoscrizione nel tenant.

Passaggio 1: Creare il percorso di archiviazione

Seguire le istruzioni in Passaggio 1 (facoltativo): Creare un contenitore di archiviazione per l'archiviazione gestita a livello di metastore e passaggio 2 (facoltativo): creare un'identità gestita per accedere al percorso di archiviazione gestito per creare un contenitore di archiviazione in Azure Data Lake Storage e un connettore di accesso di Azure Databricks che contiene un'identità gestita che ha accesso al contenitore di archiviazione.

Passaggio 2: Creare una posizione esterna nel catalogo unity

In questo passaggio viene creata una posizione esterna nel catalogo unity che fa riferimento al percorso di ADLS Gen 2 appena creato.

1. Creare credenziali di archiviazione.

   Le credenziali di archiviazione rappresenteranno l'identità gestita di Azure creata nel passaggio 1: Creare il percorso di archiviazione.

   Seguire le istruzioni in Creare credenziali di archiviazione che accedono ad ADLS Gen2.

2. Creare un percorso esterno che faccia riferimento alle credenziali di archiviazione create nel passaggio precedente e al contenitore di archiviazione DILS Gen 2 creato nel passaggio 1: Creare il percorso di archiviazione.

   Seguire le istruzioni riportate in Creare un percorso esterno per un contenitore ADLS Gen2.

3. Concedere a se stessi il CREATE MANAGED STORAGE privilegio nella posizione esterna.

   1. Fare clic sul nome della posizione esterna per aprire il riquadro dei dettagli.
   2. Nella scheda Autorizzazioni, fare clic su Concedi.
   3. Nella finestra di dialogo Concedi su <external location>, selezionare il proprio nome nel campo Soggetti e selezionare CREATE MANAGED STORAGE.
   4. Fare clic su "Concedi".

Passaggio 3: Aggiungere la posizione di archiviazione al metastore

Dopo aver creato una posizione esterna che rappresenta il bucket di archiviazione del metastore, è possibile aggiungerla al metastore.

1. Come amministratore dell'account, accedere alla console dell'account.

2. Fare clic Catalogo.

3. Fare clic sul nome del metastore.

4. Verificare di essere l'amministratore del Metastore.

   In caso contrario, fare clic su Modifica e assegnarsi il ruolo di amministratore del metastore. È possibile rimuovere la propria assegnazione una volta completata questa procedura.

5. Nella scheda Configurazione, accanto al percorso di ADLS Gen 2, fare clic su Imposta.

6. Nella finestra di dialogo Imposta la radice del metastore, immettere il percorso ADLS Gen 2 usato per creare la posizione esterna e fare clic su Aggiorna.

   Non è possibile modificare questo percorso dopo averlo impostato, ma è possibile rimuoverlo e aggiungere un nuovo percorso, se necessario.

Rimuovere l'archiviazione a livello di metastore

Se si dispone di spazio di archiviazione a livello di metastore per tabelle e volumi gestiti (noto anche come radice di archiviazione metastore), ma si vuole applicare l'isolamento dell'archiviazione dei dati a livello di catalogo o schema, è possibile rimuovere l'opzione di archiviazione a livello di metastore per il metastore. Quando si esegue questa operazione, si verifica quanto segue:

• Ai cataloghi esistenti che non hanno una radice di archiviazione specificata viene assegnata la posizione di archiviazione cloud della radice del metastore come posizione di archiviazione gestita a livello di catalogo. In altre parole, la radice di archiviazione del metastore viene "inserita in basso" in questi cataloghi. L'accesso ai dati in questi cataloghi continua a funzionare senza interruzioni.
• A seconda della modalità di creazione del metastore, potrebbe non esserci una posizione esterna protetta definita in Unity Catalog per la radice di archiviazione del metastore. In tal caso, per esso viene creata una nuova posizione esterna e le credenziali di archiviazione associate. La nuova posizione esterna è denominata prior_metastore_root_location per impostazione predefinita.
• Ogni volta che un utente crea un catalogo, deve fornire un percorso di archiviazione dedicato registrato in Unity Catalog in qualità di posizione esterna.

Per rimuovere la radice di archiviazione del metastore, segui questi passaggi:

1. Come amministratore dell'account, accedere alla console dell'account.
2. Fare clic Catalogo.
3. Fare clic sul nome del metastore.
4. Nella scheda Configurazione, in Percorso ADLS Gen 2, fare clic sul pulsante Rimuovi.
5. Nella finestra di dialogo di conferma fare clic su Rimuovi.

Aggiungere un amministratore del metastore

Gli amministratori del metastore sono facoltativi, ma in alcune situazioni può essere utile uno per il metastore.Metastore admins are optional, but there are situations where you might want one for your metastore. Vedere Assegnare un amministratore del metastore.

Eliminare un metastore

Se si chiude l'account Azure Databricks o si ha un altro motivo per eliminare l'accesso ai dati gestiti dal metastore di Unity Catalog, è possibile eliminare il metastore.

Per eliminare un metastore:

1. Come amministratore del metastore, accedi alla console dell'account.
2. Fare clic Catalogo.
3. Fare clic sul nome del metastore.
4. Nella scheda Configurazione fare clic sul menu a tre pulsanti nell'angolo in alto a destra e selezionare Elimina.
5. Nella finestra di dialogo di conferma immettere il nome del metastore e fare clic su Elimina.