Inkrementell uppdatering för Data Lake Storage-datakällor

Stegvis uppdatering för datakällor baserat på Azure Data Lake Storage har följande fördelar:

• Snabbare uppdateringar – endast data som har ändrats uppdateras. Du kan till exempel endast uppdatera de fem senaste dagarna av en historisk datauppsättning.
• Ökad pålitlighet – med mindre uppdateringar behöver du inte upprätthålla anslutningar till temporärt källsystem så länge som minskar risken för anslutningsproblem.
• Minskad resursförbrukning – att endast uppdatera en delmängd av all din data leder till effektivare användning av beräkningsresurser och minskar miljöavtrycket.

Konfigurera inkrementell uppdatering för Azure Data Lake Storage datakällor

Microsoft rekommenderar Delta Lake-formatet för att få bästa prestanda och resultat för att arbeta med stora datamängder. Customer Insights – Data ger ett anslutningsprogram som är optimerat för Delta Lake-formaterad data. Interna processer såsom sammanslagning är optimerade för att stegvis bearbeta endast de ändrade data, vilket resulterar i kortare handläggningstider.

För att använda inkrementell inmatning och uppdatering för en Data Lake-tabell, konfigurera den tabellen när du lägger till eller redigerar Azure Data Lake-datakällan. Tabelldatamappen måste innehålla följande mappar:

• FullData: Mapp med datafiler som innehåller initiala poster
• IncrementalData: Mapp med mappar i datum-/tidhierarkin i formatet yyyy/mm/dd/hh som innehåller de inkrementella uppdateringarna. Mappar för år, månad, dag och timme ska vara fyra respektive två siffror långa. hh representerar UTC-timmen för uppdateringarna och innehåller mapparna Upserts och Borttagningar. Upserts innehåller datafiler med uppdateringar av befintliga poster eller nya poster. Raderingar innehåller datafiler med poster som ska raderas.

Ordning för behandling av inkrementella data

Systemet bearbetar filerna i mappen IncrementalDataefter att den angivna UTC-timmen har avslutats. Om systemet till exempel börjar bearbeta uppdateringen 21 januari 2023 klockan 8:15 bearbetas alla filer i mappen 2023/01/21/07 (representerar datafiler som lagras 07:00 till 08:00). Alla filer i mappen 2023/01/21/08 (representerar den aktuella timmen där filerna fortfarande genereras) bearbetas inte förrän nästa körning.

Om det finns två poster för samma primärnyckel, en upsert och en borttagning, använder Customer Insights – Data posten med det senaste ändringsdatumet. Till exempel, om tidsstämpeln för borttagning är 2023-01-21T08:00:00 och tidsstämpeln för upsert är 2023-01-21T08:30:00, används upsert-posten. Om borttagningen inträffade efter upserten antar systemet att posten är borttagen.

Konfigurera inkrementell uppdatering för Azure Data Lake datakällor

1. När du lägger till eller redigerar datakälla navigerar du till tabellen attribut fönster.

2. Granska attributen. Se till att ett skapat eller senast uppdaterat datumattribut är inställt med en dateTimeDataformat och Calendar.DateSemantisk typ. Redigera attributet om det behövs och välj Klar.

3. Från fönstret Välj tabeller redigera tabellen. Kryssrutan Inkrementell import är markerad.

   

   1. Bläddra till rotmappen som innehåller .csv- eller .parquet-filerna för kompletta data, inkrementella upsert-åtgärder och inkrementella databorttagningar.
   2. Ange filändelsen för den fullständiga datafilen och båda inkrementella filerna (.csv eller .parquet).
   3. Om .csv filer markerar du kolumnavgränsaren och om du vill ha den första raden i filen som en kolumnrubrik.
   4. Välj Spara.

4. För Senaste uppdatering väljer du attributet datumtidsstämpel.

5. Om den primära nyckeln inte är markerad markerar du den primära nyckeln. Den primära nyckeln är ett attribut som är unikt för tabellen. För att ett attribut ska vara en giltig primär nyckel bör det inte innehålla dubblettvärden, saknade värden och null-värden. Sträng-, heltals- och GUID-datatypattribut stöds som primärnycklar.

6. Välj Stäng när du vill spara och stänga fönstret.

7. Fortsätt med att lägga till eller redigera datakälla.

Kör engångs fullständig uppdatering för Azure Data Lake datakällor

När du har konfigurerat en inkrementell uppdatering för Azure Data Lake-datakällor, finns det tillfällen då data behöver bearbetas med en fullständig uppdatering. Mappen för fullständiga data som har konfigurerats för den inkrementella uppdateringen måste innehålla platsen för de fullständiga dataene.

1. När du redigerar datakälla navigerar du till rutan Välj tabeller och redigerar den tabell du vill uppdatera.

2. I rutan Redigera tabell bläddrar du till kryssrutan Kör engångs fullständig uppdatering och markerar den.

   

3. För Bearbeta inkrementella filer från, ange datum och tid för att behålla de inkrementella filerna. Fullständig data plus inkrementell data börjar bearbetas efter angivet datum och tid. Ange till exempel 1 december om du vill utföra en partiell datauppdatering/backfill fram till slutet av november samtidigt som du behåller de inkrementella data från början av december till i dag (30 dec). Om du vill ersätta all data och ignorera data i den inkrementella mappen anger du ett framtida datum.

4. Välj Stäng när du vill spara och stänga fönstret.

5. Klicka på Spara om du vill tillämpa ändringarna och återgå till sidan Datakällor. Datakällan har statusen Uppdatering och utför en fullständig uppdatering.