Krav för fristående pipelines

För att skapa och uppdatera fristående materialiserade vyer och strömmande tabeller krävs en serverlös aktiverad, Unity Catalog-aktiverad arbetsyta och antingen ett SQL-lager eller en notebook-fil för serverlös allmän beräkning.

Du kan skapa och uppdatera fristående materialiserade vyer och strömmande tabeller med hjälp av ett SQL-lager. Om du vill skicka CREATE- och REFRESH-instruktioner använder du SQL-redigeraren i Azure Databricks-gränssnittet, Databricks SQL CLI eller Databricks SQL API.

Du kan också skapa och uppdatera fristående materialiserade vyer och strömmande tabeller från en anteckningsbok som körs med serverlös beräkningskapacitet för allmänt bruk (beta med begränsad regional tillgänglighet). Se Anteckningsböcker.

Allmänna krav

Följande krav gäller för alla fristående pipelines.

Du måste ha:

• Ett Azure Databricks-konto med serverlöst aktiverat. Se Konfigurera serverlösa SQL-lager.
• En arbetsyta med Unity Catalog aktiverat. Se Kom igång med Unity Catalog.

Behörigheter för att skapa eller uppdatera

Ägaren (användaren som skapar tabellen) måste ha följande behörigheter:

• SELECT behörighet på de underliggande tabellerna.
• USE CATALOG och USE SCHEMA behörigheter i katalogen och schemat som innehåller källtabellerna.
• USE CATALOG och USE SCHEMA behörigheter i målkatalogen och schemat.
• CREATE MATERIALIZED VIEW behörighet för det schema som innehåller den materialiserade vyn.
• CREATE TABLE behörighet på schemat som innehåller streamingtabellen. Pipelines med äldre publiceringsläge kräver också behörigheten CREATE TABLE för materialiserade vyer.

Så här uppdaterar du en fristående materialiserad vy eller strömningstabell:

• Du måste vara i den arbetsyta som skapade den.
• Du måste ha behörigheten REFRESH i tabellen. Ägare har den här behörigheten implicit.

Krav för källtabell

För inkrementell uppdatering av materialiserade vyer från Delta-tabeller måste källtabellerna ha radspårning aktiverat.

SQL-lager

Om du vill skapa eller uppdatera fristående materialiserade vyer och strömmande tabeller med hjälp av ett SQL-lager måste du ha ett Unity Catalog-aktiverat pro- eller serverlöst SQL-lager.

• Din arbetsyta måste finnas i en region som stöder serverlösa SQL-lager.

Notebooks

Du kan skapa och uppdatera fristående materialiserade vyer och streamingtabeller från en notebook med serverlös beräkningsresurs för allmänt bruk.

Serverlös allmän beräkning

Du kan skapa och uppdatera fristående materialiserade vyer och strömmande tabeller från en notebook-fil som är kopplad till serverlös allmän beräkning. Det här alternativet är användbart när du vill definiera och köra materialiserade vyer eller strömmande tabeller tillsammans med andra notebook-baserade arbetsflöden utan att etablera ett SQL-lager.

Information om hur du skapar och uppdaterar fristående materialiserade vyer och strömmande tabeller med Python i en notebook-fil finns i Använda Python med fristående pipelines.

Serverlösa allmänna beräkningskrav

• Ett notebook anslutet till serverlös beräkning för allmänt bruk.
• Databricks Runtime 18.1 eller senare. Interaktiva anteckningsböcker uppfyller detta krav automatiskt; jobb som är fästa vid en äldre version gör det inte.
• Din arbetsyta måste finnas i en region som stöds.

Limitations

• Endast tabellägaren kan uppdatera tabellen. Om du vill att en annan användare ska kunna uppdatera ändrar du ägaren. Se Ändra ägare till en strömmande tabell och Ändra ägare till en materialiserad vy.
• Asynkrona uppdateringar stöds inte. Använd en synkron uppdatering i stället.
• Förhandsgranskningskanalen stöds inte. Tabeller som skapats på serverlös allmän beräkning använder current kanalen.
• En tabell kan bara uppdateras med den beräkningstyp som den skapades med. En tabell som skapats på ett SQL-lager måste uppdateras på ett SQL-lager och en tabell som skapats på serverlös allmän beräkning måste uppdateras vid serverlös allmän beräkning. Om du vill kontrollera beräkningstypen visar du tabellen i Katalogutforskaren.
• Kostnadstillskrivning och kontroll är inte tillgängliga. Använd ett SQL-lager om du behöver kostnadstillskrivning per tabell.
• Vertikal autoskalning vid fel på grund av slut på minne stöds inte.
• Återförsök för schemauppgraderingar är inte tillgängliga.
• Valet av prestandaläge vid uppdatering är inte tillgängligt. Se Välj ett prestandaläge för schemalagda uppdateringar.

Frågekrav

Om du vill ställa frågor mot en fristående materialiserad vy eller en streamingtabell måste du vara ägare, eller så måste du ha SELECT på tabellen tillsammans med USE CATALOG och USE SCHEMA på dess överordnade objekt.

Du måste använda någon av följande beräkningsresurser:

• SQL-lager
• Gränssnitt för Lakeflow-pipelines
• Beräkning av standardåtkomstläge (tidigare läge för delad åtkomst)
• Beräkning av dedikerat åtkomstläge (tidigare åtkomstläge för en enskild användare) på Databricks Runtime 15.4 eller senare, om arbetsytan är aktiverad för serverlös beräkning. Se Detaljerad åtkomstkontroll för dedikerad beräkning. Om du är ägare kan du använda dedikerad åtkomstlägesberäkning som kör Databricks Runtime 14.3 eller senare.

För strömmande tabeller på Databricks Runtime 15.3 och nedan kan du använda dedikerad beräkning för att fråga en strömmande tabell endast om du äger den. Databricks Runtime 15.4 LTS och senare stöder att du kan köra frågor mot tabeller som genererats av pipelines på dedikerade beräkningsresurser även om du inte är ägaren. Du kan debiteras för serverlösa beräkningsresurser när du använder dedikerad beräkning för att köra datafiltreringsåtgärder. Se Detaljerad åtkomstkontroll för dedikerad beräkning.

Regional tillgänglighet

Tabeller som skapats och uppdaterats med hjälp av ett Databricks SQL-lager finns tillgängliga i alla regioner som stöder serverlösa Databricks SQL-lager.

Skapa och uppdatera fristående materialiserade vyer och strömmande tabeller på serverlös allmän beräkning är endast tillgängligt i utvalda regioner.

En lista över regioner som stöds för båda beräkningsalternativen finns i Serverlös tillgänglighet.