Gebruik Lakehouse Real-Time met AI/BI-dashboards

Je kunt een Lakehouse//RT-warehouse gebruiken om AI/BI-dashboards te ondersteunen die reactietijden van minder dan een seconde vereisen voor honderden tot duizenden gelijktijdige gebruikers. Gebruik Lakehouse//RT om nieuwe dashboards te bouwen die binnen de huidige beperkingen passen. Het migreren van een bestaand dashboard wordt niet aanbevolen, omdat bestaande dashboards vaak afhankelijk zijn van functionaliteit die Lakehouse//RT nog niet ondersteunt, zoals Genie, externe tabellen of materialisatie van metrische weergave.

Beoogd gebruik

Lakehouse//RT levert latentie van minder dan één seconde voor selectieve queries die een kleine hoeveelheid data lezen. Het versnelt dure queries niet, zoals die die grote hoeveelheden data scannen of veel grote tabellen joinen.

De Lakehouse//RT-guardrails (zie Guardrails) handhaven harde limieten in plaats van op een elegante manier te degraderen, dus bereid je werklast voor voordat je deze naar een Lakehouse//RT-warehouse verplaatst:

• Optimaliseer dure queries door vroeg te filteren zodat ze minder data scannen.
• Pre-aggregeer resultaten met gematerialiseerde weergaven wanneer een dashboard veel minder data leest dan het scant.

Stel een dashboard op op een Lakehouse//RT warehouse

Om een AI/BI-dashboard te publiceren dat draait op Lakehouse//RT, maak je het warehouse aan en selecteer je het als het dashboard warehouse:

1. Maak een Lakehouse//RT-warehouse, net als elk ander SQL-warehouse. Zie Lakehouse Real-Time.
2. Geef gebruikers de machtiging Kan gebruiken of hoger voor het magazijn. Het warehouse verschijnt dan in de compute picker voor dashboardontwerp voor die gebruikers.
3. Selecteer in je dashboard de Lakehouse//RT-warehouse als de warehouse van het dashboard.
4. Publiceer het dashboard zoals gewoonlijk.

Beschermhekken

Om de gedeelde service met lage latentie te beschermen, handhaaft Lakehouse//RT limieten per query voor hulpbronnen. Een dashboardquery die een limiet overschrijdt, levert een foutmelding op in plaats van traag te worden uitgevoerd, dus ontwerp je query's zo dat ze ruim binnen deze limieten blijven.

Deze waarden werden ingesteld tijdens bètatesten en kunnen veranderen vóór de algemene beschikbaarheid:

• Query-runtime: 2 minuten. Lakehouse//RT annuleert een widget-query die te lang wordt uitgevoerd. Een query die deze limiet nadert, haalt het sub-seconde doel niet, zelfs als het wordt voltooid, en het is waarschijnlijker dat het de shuffle of spill-limieten hieronder bereikt. Behandel het als een signaal om meer te filteren of vooraf te aggregateren.
• Time-out van instructie: standaard 1 minuut. Je kunt de timeout per statement instellen tot aan de query-runtime limiet van 2 minuten.
• Shufflebytes geschreven per fase: 300 GB. Brede joins of aggregaties over grote tabellen kunnen deze limiet overschrijden. Als een query deze overschrijdt, preaggregeer dan met gematerialiseerde weergaven in plaats van grote tabellen tijdens het uitvoeren van de query te joinen.
• Spillgrootte: 30 GB, wanneer spill is ingeschakeld.
• Bestandslijst na opschonen: 10.000 bestanden, instelbaar tot 50.000. Als een query deze limiet overschrijdt, filter dan op partitie- of liquid clustering-kolommen zodat het dashboard alleen de bestanden leest die het nodig heeft.

Limitations

Dashboards op een Lakehouse//RT-warehouse erven alle Lakehouse//RT-beperkingen, inclusief ondersteuning voor alleen Unity Catalog beheerde tabellen en alleen ANSI-conforme SELECT queries. Converteer andere tabeltypen, zoals externe tabellen, naar beheerde tabellen voordat je ze opvraagt.

De volgende beperkingen gelden specifiek voor dashboards die zijn gepubliceerd met een Lakehouse//RT-warehouse:

• Genie wordt niet ondersteund.
• Materialisatie van lokale metrische weergaven wordt niet ondersteund.

Hulp krijgen

Als je nog steeds problemen ondervindt met een dashboard op Lakehouse//RT, verzamel dan de volgende informatie en neem contact op met de Azure Databricks support:

• De foutmeldingen die je ziet.
• Een export van je queryprofiel, inclusief de ruwe querytekst.
• Een link naar je dashboard.
• Bevestiging dat dezelfde fout niet voorkomt in een serverless SQL-warehouse.