Migraatiomenetelmät Azure Synapse Analytics omistetut SQL-poolit Fabric tietovarasto

Koskee:✅ Varasto Microsoft Fabricissa

Tässä artikkelissa kuvataan menetelmiä siirtymiseen Azure Synapse Analytics omistautuneesta SQL-poolista Microsoft Fabric tietovarasto.

Seuraava taulukko tiivistää menetelmät dataskeeman (DDL), tietokantakoodin (DML) ja datan siirtoon. Option-sarake linkittää yksityiskohtiin jokaisesta skenaariosta.

Valitse kuormitus alkuperäiselle siirrolle

Kun päätät, mistä aloittaa Synapsen omistetun SQL-poolin Fabric tietovarasto migraatioprojektissa, valitse työkuorma-alue, jossa voit:

• Todista siirtymisen toimivuus Fabric tietovarasto tarjoamalla nopeasti uuden ympäristön hyödyt. Aloita pienestä ja yksinkertaisesti, ja valmistaudu useisiin pieniin muuttoihin.
• Anna talon tekniselle henkilöstölle aikaa saada asiaankuuluvaa kokemusta prosesseista ja työkaluista, joita he käyttävät siirtyessään muille alueille.
• Luo malli lisäsietosijainteja varten, jotka liittyvät lähteen Synapse-ympäristöön sekä käytössä olevat työkalut ja prosessit.

Alkuperäisessä siirrossa siirretyn datan määrän tulisi olla riittävän suuri osoittamaan Fabric tietovarasto-ympäristön kyvykkyyksiä ja hyötyjä, mutta ei liian suuri, jotta arvo olisi nopeasti osoittautunut. Koko 1-10 teratavun alueella on tyypillinen.

Siirtäminen Fabric Data Factoryn avulla

Tässä osiossa kuvataan Data Factory -vaihtoehdot käyttäjille, jotka tuntevat Azure Data Factory- ja Synapse-putket. Vedä ja pudota -liitäntä tarjoaa yksinkertaisen tavan muuntaa DDL ja siirtää dataa.

Fabric Data Factory voi suorittaa seuraavat tehtävät:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeema (DDL) Fabric tietovarasto.
• Siirrä tiedot Fabric tietovarasto.

Vaihtoehto 1. Skeeman ja datan siirto – Copy data assistant ja ForEach Copy Activity

Tämä menetelmä käyttää Data Factory Copy data assistantia yhdistääkseen lähdekoodin omistettuun SQL-pooliin, muuntaa omistetun SQL-poolin DDL-syntaksin Fabric:ksi ja kopioida tiedot Fabric tietovarasto:ksi. Voit valita yhden tai useamman kohdetaulukon (TPC-DS tietojoukossa on 22 taulukkoa). Se luo ForEach-kohteen, joka käy läpi käyttöliittymässä valittujen taulukoiden luettelon ja kutkuttaa 22 rinnakkaista Kopioi toiminta -säikettä.

• 22 SELECT kyselyä (yksi jokaista valittua taulua kohden) luodaan ja suoritetaan omistettuun SQL-pooliin.
• Varmista, että sinulla on sopiva DWU ja resurssiluokka, jotta generoidut kyselyt voivat suorittaa. Tässä tapauksessa tarvitset vähintään DWU1000 staticrc10 , jotta enintään 32 kyselyä voidaan suorittaa 22 lähetetyn kyselyn käsittelemiseksi.
• Datan kopioiminen suoraan omistetulta SQL-poolilta Data Factoryn Fabric tietovarasto vaatii vaiheitusta. Nielemisprosessi koostuu kahdesta vaiheesta:
  • Ensimmäinen vaihe poimii datan omistetun SQL-poolin kautta ADLS:ään. Tätä vaihetta kutsutaan vaiheistoksi.
  • Toinen vaihe vastaanottaa vaiheitetut tiedot Fabric tietovarasto. Suurin osa käsittelyajasta kuluu vaiheen käsittelyssä, joten lavastus vaikuttaa merkittävästi suorituskykyyn.

Suositeltu käyttö

Copy assistantin käyttäminen ForAchify-toiminnon luomiseen tarjoaa yksinkertaisen käyttöliittymän DDL:n muuntamiseen ja valittujen taulukoiden vastaanottamiseen omistetun SQL-poolin joukosta Fabric tietovarasto:ksi yhdellä askeleella.

Tämä vaihtoehto ei kuitenkaan tarjoa optimaalista kokonaisläpimenoa. Vaiheistus ja tarve rinnakkaistaa luku- ja kirjoitusvuorot lähteestä vaiheeseen -vaiheessa ovat viiveen pääasiallisia lähteitä. Käytä tätä vaihtoehtoa vain ulottuvuustaulukoille.

Vaihtoehto 2. DDL/tietojen siirto - Putki osiovaihtoehdon avulla

Parantaaksesi läpimenoa, kun lataat suurempia faktatauluja Fabric-putkella, käytä Copy activity -toimintoa jokaiselle faktataululle ja ota osiointi käyttöön. Tämä konfiguraatio tarjoaa parhaan Copy activity -suorituskyvyn.

Käytä lähdetaulun fyysisiä osioita, kun ne ovat saatavilla. Jos taulukko ei ole fyysisesti ositeltu, määritä osiosarake sekä minimi- ja maksimiarvot dynaamiselle osioinnille. Seuraavassa kuvakaappauksessa putkiston lähdeasetukset määrittelevät dynaamisen osioalueen sarakkeen ws_sold_date_sk perusteella.

Osiointi voi lisätä vaiheen läpimenoa. Ota huomioon seuraavat ohjeet konfiguroidessasi:

• Osiointialueesta riippuen operaatio voi tuottaa yli 128 kyselyä ja käyttää kaikkia samanaikaisia paikkoja omistetun SQL-poolin sisällä.
• Sinun täytyy skaalata vähintään DWU6000, jotta kaikki kyselyt voivat suorittaa.
• Esimerkiksi TPC-DS-taulukolle web_sales lähetettiin 163 kyselyä varattuun SQL-varantoon. Kohdassa DWU6000 suoritettiin 128 kyselyä ja 35 kyselyä jonotus.
• Dynaaminen osio valitsee automaattisesti alueen osion. Tässä tapauksessa 11 päivän alue kullekin SELECT-kyselylle, joka on lähetetty varattuun SQL-varantoon. Esimerkki:

  WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
  ...
  WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
  

Suositeltu käyttö

Taulujen osalta käytä Data Factorya, jossa on osiointivaihtoehto läpimenon lisäämiseksi.

Rinnakkaislukemiset vaativat kuitenkin omistetun SQL-poolin skaalaamista korkeammalle DWU:lle, jotta se voi suorittaa poimintakyselyt. Osiointi parantaa nopeutta kymmenkertaisesti verrattuna siihen, ettei osiointia käytetä. Voit kasvattaa DWU:ta saadaksesi enemmän läpimenoa, mutta omistettu SQL-pooli sallii enintään 128 aktiivista kyselyä.

Lisätietoja Synapse DWU:sta Fabric -kartoituksesta löytyy aiheesta Blogi: Mapping Azure Synapse dedicated SQL pools to Fabric tietovarasto compute.

Vaihtoehto 3. DDL-migraatio – Kopiointidata-avustaja For Each Copy Activity

Kaksi edellistä vaihtoehtoa sopivat pienempiin tietokantoihin. Jos tarvitset suuremman läpimenon, käytä tätä vaihtoehtoa:

1. Purkaa data omasta SQL-poolista ADLS:ään staging-kuormituksen vähentämiseksi.
2. Käytä joko Data Factorya tai COPY-komentoa syöttääksesi datan varastoosi.

Suositeltu käyttö

Voit jatkaa Data Factoryn käyttöä rakenteen (DDL) muuntamiseen. Copy data assistantin avulla voit valita tietyn taulun tai Kaikki taulukot. Suunnittelun mukaan tämä menetelmä siirtää skeeman yhdellä askeleella, poimien skeeman ilman rivejä käyttämällä väärää ehtoa kyselylauseessa TOP 0 .

Seuraava koodiesimerkki kattaa rakenteen (DDL) siirtämisen Data Factoryen.

Koodiesimerkki: Schema (DDL) -siirto Data Factoryen

Voit käyttää Fabric Pipelinesia helposti siirtääksesi DDL:n (skeemat) taulukkoobjekteille mistä tahansa lähteestä (Azure SQL Database tai omistettu SQL-pooli. Tämä putkisto siirtää lähteelle omistetun SQL-poolitaulun skeeman (DDL) Fabric tietovarasto.

Putken rakenne: parametrit

Tämä putkisto hyväksyy parametrin SchemaName, jota käytät määrittämään, mitkä skeemat siirretään. Oletusskeema on dbo.

Kirjoita Oletusarvo-kenttään pilkuin eroteltu taulukkorakenteen luettelo, joka ilmaisee, mitkä rakenteet siirretään: 'dbo','tpch' anna kaksi dbo rakennetta ja .tpch

Putken rakenne: hakutoiminto

Luo hakutoiminto ja määritä yhteys osoittamaan lähdetietokantaasi.

Asetukset-välilehdessä:

• Määritä Tietosäilön tyypiksiUlkoinen.

• Yhteys on Azure Synapse varattu SQL-varanto. Yhteystyyppi on Azure Synapse Analytics.

• Käytä kyselyäon määritetty kyselyyn.

• Rakenna kyselykenttä käyttämällä dynaamista lauseketta, jotta voit käyttää parametria SchemaName kyselyssä, joka palauttaa listan kohdelähdetauluista. Valitse Kysely ja sitten Lisää dynaamista sisältöä.

  Tämä lauseke LookUp-aktiviteetissa luo SQL-lausekkeen, joka lähettää kyselyjä järjestelmänäkymiin rakenne- ja taulukkoluettelon noutamiseksi. Se viittaa parametriin SchemaName mahdollistaakseen suodatuksen SQL-skeemoilla. Tämän lausekkeen tuloksena on taulukko SQL-skeemoja ja tauluja, joita ForEach Activity käyttää syötteenä.

  Seuraavan koodin avulla voit palauttaa luettelon kaikista käyttäjätaulukoista rakenteen nimineen.

  @concat('
  SELECT s.name AS SchemaName,
  t.name  AS TableName
  FROM sys.tables AS t
  INNER JOIN sys.schemas AS s
  ON t.type = ''U''
  AND s.schema_id = t.schema_id
  AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
  ')
  

Putken rakenne: ForEach Loop

Määritä ForEach-silmukka-välilehdessä seuraavat asetukset:

• Poista Sequential käytöstä, jotta useat iteraatiot voivat toimia samanaikaisesti.
• Määritä Erän määrä -arvoksi50, mikä rajoittaa samanaikaisten iteraatioiden enimmäismäärää.
• Käytä dynaamista sisältöä Items-kentässä viitataksesi LookUp-toiminnon tulokseen. Käytä seuraavaa koodikatkelmaan: @activity('Get List of Source Objects').output.value

Putken rakenne: Kopioi aktiviteetti ForEach-silmukan sisällä

Lisää ForEach-aktiviteettiin Kopioi aktiviteetti. Tämä menetelmä käyttää putkistoissa Dynamic Expression Languagea rakentaakseen lauseen SELECT TOP 0 * FROM <TABLE> , jolla siirretään vain skeema ilman dataa varastoon.

Lähde-välilehdessä:

• Määritä Tietosäilön tyypiksiUlkoinen.
• Yhteys on Azure Synapse varattu SQL-varanto. Yhteystyyppi on Azure Synapse Analytics.
• Määritä Käytä kyselyä -arvoksi Kysely.
• Kyselykenttään liitä dynaaminen sisältökysely ja käytä tätä lauseketta, joka palauttaa nollarivejä, mutta sisältää taulukon skeeman:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Kohde-välilehdessä:

• Määritä Tietosäilön tyypiksiTyötila.
• Aseta Workspace-tietovaraston tyyppitietovarasto ja aseta tietovarasto varastoksi.
• Kohdetaulukon rakenne ja taulukon nimi määritetään dynaamisen sisällön avulla.
  • Skeema viittaa nykyisen iteroinnin kenttään, SchemaName jossa on pätkä: @item().SchemaName
  • Taulukon viitteet TableName pätkän kera: @item().TableName

Putken rakenne: Nielu

Osoita Sink-kohdan kohdalla Warehouseen ja viittaa Lähderakenteeseen ja Taulukon nimeen.

Kun ajat tätä putkea, näet varastosi täytettynä jokaiselle lähteesi taululle, käyttäen oikeaa skeemaa.

Migraatio käyttämällä tallennettuja proseduureja Synapsen omistettuun SQL-pooliin

Tämä vaihtoehto käyttää tallennettuja proseduureja siirron suorittamiseen Fabric tietovarasto.

Koodinäytteet saat microsoft/fabric-migration-sivustolta GitHub.com. Tämä koodi jaetaan avoimen lähdekoodin muodossa, joten voit osallistua yhteistyöhön ja auttaa yhteisöä.

Mitä Fabric Migration -tallennetut menetelmät voivat tehdä:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeema (DDL) Fabric tietovarasto.
• Poimi tiedot erillisestä Synapse-varannosta ADLS:ään.
• Merkitse tueton Fabric-syntaksi T-SQL-koodeille (tallennetut proseduurit, funktiot, näkymät).

Suositeltu käyttö

Tämä vaihtoehto sopii sinulle erinomaisesti, jos:

• T-SQL on tuttu.
• Haluan käyttää integroitua kehitysympäristöä T-SQL-kehitykseen.
• Haluat tarkemman hallinnan siitä, mitä tehtäviä teet.

Voit suorittaa tietyn tallennetun toimintosarjan rakenteen (DDL) muunnosta, tietokatkelmaa tai T-SQL-koodiarviointia varten.

Datan siirtoa varten käytä joko COPY INTO tai Fabric Data Factory -toimintoja, jotka siirrät datan varastoosi.

Siirtyminen SQL-tietokantaprojektien avulla

Fabric tietovarasto tukee SQL Database Projects -laajennusta, jokaon saatavilla Visual Studio Code:n sisällä.

Tämä laajennus on saatavilla Visual Studio Codessa. Tämä ominaisuus ottaa käyttöön ominaisuudet lähteen hallintaa, tietokantatestausta ja rakenteen vahvistamista varten.

Lisätietoja lähdekoodin hallinnasta löytyy kehitys - ja käyttöönoton yleiskatsauksesta.

Suositeltu käyttö

Käytä tätä vaihtoehtoa, jos haluat käyttää SQL Database Project -sovellusta käyttöönotossa. Tämä vaihtoehto integroi Fabric Migrationin tallennetut proseduurit SQL-tietokantaprojektiin tarjoten saumattoman migraatiokokemuksen.

SQL-tietokantaprojekti voi:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeema (DDL) Fabric tietovarasto.
• Poimi tiedot erillisestä Synapse-varannosta ADLS:ään.
• T-SQL-koodien (tallennetut toimintosarjat, funktiot, näkymät) syntaksi, jota ei tueta.

Datan siirtoa varten käytä joko COPY INTO -toimintoa tai Data Factorya, jotta saat datan varastoosi.

Microsoft Fabric CAT -tiimi tarjoaa PowerShell-skriptejä skeeman (DDL) ja tietokantakoodin (DML) poimimiseen, luomiseen ja käyttöönottoon SQL-tietokantaprojektin kautta. Läpipeluuohjeita varten katso microsoft/fabric-migration GitHub-sivustolla.

Lisätietoja SQL-tietokantaprojekteista löytyy kohdasta Aloita SQL Database Projects -laajennuksella ja Rakenna tietokantaprojekti komentoriviltä.

Tietojen siirtäminen CETAS-yhteyden avulla

T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) -komento tarjoaa kustannustehokkaimman ja optimaalisimman tavan poimia dataa Azure Synapse -omistetuista SQL-pooleista Azure Data Lake Storage (ADLS) Gen2:een.

Mitä CETAS voi tehdä:

• Poimi tiedot ADLS:iin.
  • Tämä vaihtoehto vaatii, että luot skeeman (DDL) varastossasi ennen datan vastaanottamista. Harkitse tämän artikkelin vaihtoehtoja rakenteen (DDL) siirtämiseksi.

Tämän vaihtoehdon etuja ovat seuraavat:

• Migraatio lähettää vain yhden kyselyn per taulu Synapsen omistettua SQL-poolia vastaan. Tämä kysely ei käytä kaikkia samanaikaisia paikkoja, eikä se estä samanaikaista asiakastuotantoa tai kyselyitä.
• Sinun ei tarvitse skaalata DWU6000:lle, sillä jokaiselle pöydälle käytetään vain yhtä samanaikaista paikkaa, joten voit käyttää matalampia DWU-tasoja.
• Poiminta toimii rinnakkain kaikissa laskentasolmuissa, ja tämä ominaisuus parantaa suorituskykyä.

Suositeltu käyttö

Käytä CETAS-koodausta tietojen purkamiseen ADLS:lle Parquet-tiedostoina. Parquet-tiedostot tarjoavat edun tehokkaasta datan tallennuksesta sarakkeiden pakkauksella, joka vaatii vähemmän kaistanleveyttä verkon yli. Koska Fabric tallentaa datan Delta-parquet -muodossa, tiedon vastaanotto on 2,5 kertaa nopeampaa kuin tekstitiedostomuotoon, koska Delta-muodon ylikuormitusta ei tapahdu vastaanoton aikana.

CETAS-siirtomäärän suurentaminen:

• Lisää rinnakkaisia CETAS-toimintoja, jolloin samanaikaisuuspaikkojen käyttö kasvaa mutta siirtomäärä kasvaa.
• Skaalaa DWU Synapseille varatun SQL-varannon päälle.

Siirtäminen tietokannasta

Tässä osiossa kuvataan dbt-vaihtoehto asiakkaille, jotka jo käyttävät dbt:tä Synapse-omistetussa SQL-allasympäristössään.

Mitä dbt voi tehdä:

• Muunna skeema (DDL) Fabric tietovarasto syntaksiksi.
• Luo skeema (DDL) Fabric tietovarasto.
• Muunna tietokantakoodi (DML) Fabric-syntaksiksi.

Dbt-kehys luo DDL:n ja DML:n (SQL-komentosarjat) lennossa kunkin suorituksen yhteydessä. Käyttämällä mallitiedostoja, jotka on ilmaistu SELECT lauseissa, dbt muuntaa DDL/DML:n välittömästi mille tahansa kohdealustalle muuttamalla profiilia (yhteysmerkkijono) ja adapterin tyyppiä.

Suositeltu käyttö

DBT-kehys käyttää koodilähtöistä lähestymistapaa. Siirrä tiedot käyttämällä tässä dokumentissa mainittuja vaihtoehtoja, kuten CETAS tai COPY/Data Factory.

Käyttämällä dbt-sovitinta Microsoft Fabric tietovarasto voit siirtää olemassa olevia dbt-projekteja, jotka kohdistuvat eri alustoihin kuten Azure Synapse omistetut SQL-poolit, Snowflake, Databricks, Google BigQuery tai Amazon Redshift, varastoon yksinkertaisella konfiguraatiomuutoksella.

Jos haluat aloittaa dbt-projektin, joka kohdistuu Fabric tietovarasto, katso Tutorial: Aseta dbt Fabric tietovarasto:lle. Tässä dokumentissa on myös mahdollisuus siirtyä eri varastojen ja alustojen välillä.

Datan vastaanotto Fabric tietovarasto

Fabric tietovarasto käsittelyyn käytä COPY INTO tai Fabric Data Factorya, mieltymyksesi mukaan. Molemmat menetelmät ovat suositeltuja ja parhaiten suoriutuvia vaihtoehtoja, sillä niillä on vastaava suorituskyky, edellyttäen, että tiedostot on jo purettu Azure Data Lake Storage (ADLS) Gen2:een.

Suunnittele prosessisi maksimaalisen suorituskyvyn saavuttamiseksi ottamalla huomioon seuraavat tekijät:

• Fabric:n kanssa ei ole resurssien kiistaa, kun ladataan useita taulukoita ADLS:stä Fabric tietovarasto:een samanaikaisesti. Tämän seurauksena suorituskyvyn heikkenemistä ei ole, kun ladataan rinnakkaisia säikeitä. Maksimiläpäisykyky rajoittuu vain Fabric-kapasiteetin laskentatehoon.
• Fabric-kuormituksen hallinta mahdollistaa kuormitukselle ja kyselyille varattujen resurssien erottamisen. Resurssien kiistaa ei ole, kun kyselyt ja datan lataus suoritetaan samanaikaisesti.

Aiheeseen liittyvä sisältö

• Fabric -siirtoavustaja tietovarastoon
• Luo varasto Microsoft Fabricissa
• Fabric tietovaraston suorituskykyohjeet
• Turvallisuus Fabric tietovarasto
• Blogi: Omistautuneiden SQL-poolien Azure Synapse kartoittaminen Fabric tietovarasto laskentaan
• Microsoft Fabric -siirron yleiskatsaus