Mata in data i ditt lager med Hjälp av Transact-SQL

Gäller för:✅ Lager i Microsoft Fabric

Transact-SQL-språket erbjuder alternativ som du kan använda för att ladda data på stor skala från befintliga tabeller i ditt sjöhus och lager till nya tabeller i ditt lager. De här alternativen är praktiska om du behöver skapa nya versioner av en tabell med aggregerade data, versioner av tabeller med en delmängd av raderna eller för att skapa en tabell som ett resultat av en komplex fråga. Nu ska vi utforska några exempel.

Välj en T-SQL-inmatningssats

T-SQL-språket tillhandahåller en rik uppsättning instruktioner som du kan använda för att mata in och transformera data i ditt datalager. Du kan ladda in data i nya eller befintliga tabeller, lägga till nya rader, transformera data under inmatning eller synkronisera ändringar med befintlig data. Warehouse i Microsoft Fabric stöder följande T-SQL-inläsningssatser:

  • CREATE TABLE AS SELECT (CTAS)-instruktion som gör att du kan skapa en ny tabell i ditt lager från utdata från en SELECT -instruktion.
  • SELECT INTO frågesats som gör att du kan välja resultat från valfri tabellkälla och omdirigera resultatet till en ny tabell. Det här är en standardfunktion i T-SQL-språket.
  • INSERT ... SELECT Lägger till frågeresultat till destinationstabellen. Använd denna sats när du vill ladda en ny batch eller en inkrementell delmängd i en tabell vars schema du kontrollerar.
  • MERGE jämför käll- och destinationsrader och infogar, uppdaterar eller raderar destinationsrader villkorligt. Använd denna sats när du behöver synkronisera nya och ändrade rader, eller stämma av en destination med en komplett källsnapshot.

Välj en instruktion baserat på om destinationstabellen redan finns och om du vill skapa, lägga till eller synkronisera data. Källan till varje instruktion är en T-SQL-fråga. Du kan använda stödda uttryck, funktioner, filter, sammanfogningar och aggregeringar för att forma datan under importen. Du kan använda följande datakällor för att läsa datan i dina T-SQL-satser:

  • Att läsa en lagertabell, till exempel en mellanlagringstabell.
  • Läsa en Lakehouse Delta Lake-mapp med hjälp av en automatiskt genererad tabell i SQL-analysslutpunkten för Lakehouse.
  • Läsa CSV-, Parquet- eller JSONL-filer direkt från Azure Data Lake eller Azure Blob Storage med hjälp av OPENROWSET funktionen.

Använd CTAS för att skapa en tabell

CTAS skapar destinationstabellen och laddar frågeresultaten i en enda operation. Det första exemplet visar hur du skapar en ny tabell som är en kopia av den befintliga dbo.TaxiTrips tabellen, men filtreras för att endast inkludera data från år 2023:

CREATE TABLE dbo.TaxiTrips_2023
AS
SELECT * 
FROM dbo.TaxiTrips 
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

Använd CTAS för att skapa och fylla en ny tabell med data från frågeresultat. Denna metod är användbar när destinationstabellen inte finns eller när du vill materialisera transformerad eller kombinerad data från en eller flera källor.

Använd SELECT INTO för att skapa en tabell

SELECT ... INTO skapar också en destinationstabell från frågeresultat:

SELECT * 
INTO dbo.TaxiTrips_2023
FROM MyLakehouse.dbo.TaxiTrips 
WHERE DATEPART(YEAR, tpep_pickup_datetime) = '2023';

Både CTAS och SELECT ... INTO härleder destinationskolumner från frågeresultatet. Kasta uttryck explicit när destinationen kräver en specifik datatyp, precision eller längd.

Använd INSERT ... SELECT för att lägga till data

INSERT ... SELECT laddar in frågeresultat i en befintlig tabell. Du kan lägga till data i en tabell genom att transformera data från en extern, offentligt tillgänglig Parquet-fil:

INSERT INTO dbo.<table name>
SELECT *
FROM OPENROWSET(BULK 'https://<storage account>.blob.core.windows.net/public/<subfolder>/<file name>.parquet') AS data;

Använd MERGE för att synkronisera data

MERGE matchar käll- och destinationsrader med en stabil nyckel. Följande mönster antar att dbo.DimCustomer redan finns med de kolumner som används av instruktionen. Se till att källan inte returnerar mer än en rad för varje destinationsnyckel.

MERGE dbo.DimCustomer AS target
USING staging.Customers AS source
ON target.CustomerID = source.CustomerID
WHEN MATCHED AND source.ModifiedDate > target.ModifiedDate THEN
    UPDATE SET CustomerName = source.CustomerName, City = source.City,
        ModifiedDate = source.ModifiedDate
WHEN NOT MATCHED BY TARGET THEN
    INSERT (CustomerID, CustomerName, City, ModifiedDate)
    VALUES (source.CustomerID, source.CustomerName, source.City, source.ModifiedDate);

Använd WHEN NOT MATCHED BY SOURCE THEN DELETE endast när källfrågan representerar den kompletta auktoritativa datamängden för de rader som omfattas. Använd inte den klausulen med en inkrementell källbatch, eftersom destinationsrader som saknas från batchen kan raderas.

Välj en datakälla

Importsatserna fungerar konsekvent över stödda källtyper. Endast källhänvisningen ändras.

Filer i en datasjö

Använd OPENROWSET för att läsa Parquet-, CSV- eller JSONL-filer i OneLake, Azure Data Lake Storage eller Azure Blob Storage. Du kan rikta in dig på en fil, flera filer med jokertecken eller partitionerade mappar.

För filvägar, schemainferens, partitionsfiltrering, metadatafunktioner och exempel för alla fyra instruktionerna för datainhämtning, se Ingest and transform lake data with OPENROWSET och T-SQL.

Delta-tabeller i ett lakehouse

SQL-analysändpunkten i ett lakehouse exponerar Delta-tabeller i dess /Tables område. Från ett lager i samma arbetsyta, referera till en tabell genom att använda det tredelade namnet <lakehouse>.<schema>.<table>. Detta är inte begränsat till Delta-tabeller som fysiskt förvaras i lakehouse. Tabeller som exponerats via OneLake-genvägar i /Tables området kan också referera till data lagrad på andra platser, inklusive lakehouse-området /Files, extern lagring som ADLS eller Amazon S3, speglad data och OneLake-data i andra arbetsytor. Genom att använda denna arkitektur kan du fråga data som stöds av genvägar via lakehouse SQL-analysendpoint utan att kopiera datan till lakehouse.

För tabellskapande, inkrementella inläsningar och synkroniseringsexempel, se Ingest Delta Lake-tabeller med T-SQL.

Tabeller i det nuvarande lagret

Använd ett tvådelat namn, till exempel <schema>.<table> för att inhämta data från en tabell i det aktuella datalagret.

För exempel från Brons till Silver till Guld som slår ihop, aggregerar och inkrementellt laddar tabeller inom ett lager, se Ingest from warehouse tables and mirrored databases with T-SQL

Speglade databaser och andra arbetsytsobjekt

För att ta in data från en speglad databas, ett annat datalager eller ett annat objekt som stöds i samma arbetsyta, lägg till objektet i Utforskaren och använd det tredelade namnet <item>.<schema>.<table>. Mer information om frågor mellan lager finns i Skriva en SQL-fråga mellan databaser. För exempel som använder båda namngivningsmönstren, se Inmatning från informationslagertabeller och speglade databaser med T-SQL.

Granska och övervaka T-SQL-inmatning

CTAS, SELECT ... INTO, INSERT ... SELECT, och MERGE operationer visas i lagrets frågehistorik/aktivitet. Använd Query Insights för att granska exekveringsdetaljer och felsöka inmatningsfrågor för dataimport.

Datainmatningsalternativ

Använd T-SQL-inläsning när inläsningen inkluderar filtrering, typkonvertering, joins, beräkningar, aggregering eller synkronisering. Välj ett annat alternativ när: Andra sätt att mata in data i ditt datalager inkluderar: