Beperkingen voor pijplijnen

De volgende beperkingen zijn belangrijk om te kennen bij het ontwikkelen van pijpleidingen:

• Een Azure Databricks workspace is beperkt tot 1.000 gelijktijdige pipeline-updates. Het aantal datasets dat een enkele pijplijn kan bevatten is beperkt tot 1.000, maar een pijplijnupdate kan zonder geheugen of andere middelen komen te zitten voordat die limiet wordt bereikt. De nuttige limiet wordt bepaald door de pijplijnconfiguratie en de complexiteit van de werklast. Voor resourcelimieten, zie Resource limits.

• De configuratie van een pijplijn bevat verwijzingen naar bronbestanden en mappen.

  • Als de configuratie alleen naar afzonderlijke notebooks of bestanden verwijst, is de limiet per pijplijn 100 bronbestanden.

  • Als de configuratie mappen bevat, kunt u maximaal 50 bronvermeldingen opnemen die bestaan uit bestanden of mappen.

    Het verwijzen naar een map houdt in dat er indirect naar de bestanden in die map wordt verwezen. In dit geval is de limiet voor het aantal bestanden waarnaar wordt verwezen (direct of indirect) 1000.

  Als u meer dan 100 bronbestanden nodig hebt, kunt u ze ordenen in mappen. Zie browser voor pijplijnassets in de Lakeflow-pijplijneditor voor meer informatie over het gebruik van mappen om bronbestanden op te slaan.

• Pijplijngegevenssets kunnen slechts eenmaal worden gedefinieerd. Daarom kunnen ze de target zijn van slechts één operatie binnen alle pijplijnen. De uitzondering is streamingtabellen met toevoegstroomverwerking, waarmee u vanuit meerdere streamingbronnen naar de streamingtabel kunt schrijven. Zie Standaardstromen en toevoegstromen.

• Identiteitskolommen hebben de volgende beperkingen. Zie Identiteitskolommen voor meer informatie over identiteitskolommen in Delta-tabellen.

  • Identiteitskolommen worden niet ondersteund bij tabellen die het doelwit zijn van AUTO CDC-verwerking.
  • Identiteitskolommen kunnen opnieuw worden herberekend tijdens het bijwerken van gematerialiseerde weergaven. Databricks raadt daarom aan om identiteitskolommen alleen te gebruiken in pijplijnen met streamingtabellen.

• Gerealiseerde weergaven en streamingtabellen zijn standaard alleen toegankelijk voor Azure Databricks clients en toepassingen. Om ze toegankelijk te maken voor externe systemen, zie Gematerialiseerde weergaven en streamingtabellen openen met behulp van externe systemen.

• Er zijn beperkingen voor de Databricks-rekenkracht die nodig is om Unity Catalog-pijplijnen uit te voeren en er query's op uit te voeren. Zie de vereisten voor pijplijnen die worden gepubliceerd naar Unity Catalog.

• Delta Lake time travel-query's worden alleen ondersteund met streamingtabellen en worden niet ondersteund met gerealiseerde weergaven. Zie Werken met tabelgeschiedenis.

• De pivot() functie wordt niet ondersteund. De pivot-bewerking in Spark vereist het gretige laden van invoergegevens om het uitvoerschema te berekenen. Deze mogelijkheid wordt niet ondersteund in pijplijnen.

• De run-as-identiteit van een pipeline kan een accountgroep zijn, maar de groep moet een accountgroep zijn die aan de werkruimte is toegewezen. Werkruimte-lokale groepen kunnen niet worden gebruikt als identiteit voor uitvoeren als, en dat geldt ook voor de algemene ingebouwde groepen admins, users en account users. Zie Set the run-as identity to a group.

• In de pipeline_events systeemtabel kunnen gebeurtenissen voor tabellen met meer dan 2.500 kolommen of stromen met meer dan 1.000 verwachtingen verkorte inhoud hebbendetails.

Zie voor resourcequota voor Lakeflow-pijplijnen Resourcelimieten.