Migrera data från Google Cloud Storage till Azure Blob Storage med Azure Storage Mover

Källmigreringsfunktionen S3 (Simple Storage Service) i Azure Storage Mover överför på ett säkert sätt data från S3-kompatibla GCS-objektarkiv (Google Cloud Storage) till Azure Blob Storage.

Till skillnad från AWS S3-migreringar (Amazon Simple Storage Services) som använder Azure Arc anslutningsprogram för flera moln använder S3-kompatibla källmigreringar en förenklad metod. När du lagrar källslutpunkts-URL:en och HMAC-autentiseringsuppgifterna (Hash-baserad kod för meddelandeautentisering) på ett säkert sätt i Azure Key Vault behöver du ingen anslutning för flera moln eller automatisk källidentifiering.

Den här artikeln vägleder dig genom hela processen med att konfigurera Storage Mover för att migrera dina data från en GCS S3-kompatibel källa till Azure Blob Storage. Processen består av att lagra källautentiseringsuppgifter i Azure Key Vault, konfigurera käll- och målslutpunkter och skapa och köra ett migreringsjobb.

Prerequisites

Kontrollera att du har följande innan du börjar:

  • En aktiv Azure-prenumeration med behörighet att skapa och hantera Azure Storage Mover-resurser.
  • Ett Google Cloud-konto med åtkomst till GCS-bucketen som du vill migrera från.
  • Ett Azure Storage konto som ska användas som mål.
  • En Storage Mover-resurs som distribuerats i din Azure-prenumeration.
  • En Azure Key Vault för att lagra dina HMAC-källautentiseringsuppgifter på ett säkert sätt.
  • HMAC-nycklar som har genererats för din GCS-bucket. Se Generera HMAC-nycklar för GCS.
  • En konfiguration av privat anslutning på Azure, om dina källdata endast är tillgängliga via ett privat nätverk.

Limits

Den S3-kompatibla GCS-källmigreringsfunktionen i Azure Storage Mover har följande gränser:

  • Varje migreringsjobb stöder överföring av 500 miljoner objekt.
  • Högst 10 samtidiga jobb stöds per prenumeration. Om du behöver köra fler än 10 skapar du en supportbegäran.
  • Endast HTTPS-åtkomst till den S3-kompatibla källan stöds.
  • Den S3-kompatibla källan måste ha stöd för autentisering med AWS Signature Version 4 (SigV4).

Saker att veta

Innan du påbörjar migreringen bör du granska följande överväganden som är specifika för GCS S3-kompatibla källmigreringar:

Autentiseringsmetod

GCS S3-kompatibel åtkomst använder HMAC-nycklar (åtkomstnyckel-ID och hemlig nyckel) som är associerade med ett GCS-tjänstkonto eller användarkonto. Dessa nycklar gör det möjligt för GCS att svara på standard-S3 API-begäranden med hjälp av autentiseringsprocessen för AWS-signatur version 4.

Generera HMAC-nycklar för GCS

För att få åtkomst till din GCS-bucket med hjälp av det S3-kompatibla gränssnittet måste du generera HMAC-nycklar i Google Cloud Console.

  1. Gå till Google Cloud Console.

  2. Gå till fliken Molnlagringsinställningar>>Samverkan.

  3. Om du inte redan har gjort det väljer du Ange ett standardprojekt för åtkomst till samverkan.

  4. I avsnittet Åtkomstnycklar för tjänstkonton väljer du det tjänstkonto som du vill använda och väljer Skapa en nyckel.

  5. Observera värdena åtkomstnyckel och hemlighetsnyckel . Du behöver dessa värden i nästa steg.

    Important

    Lagra dessa nycklar på ett säkert sätt. Hemlighetsnyckeln visas bara en gång. Nyckeln visas bara när den skapas första gången och kan inte hämtas i efterhand.

  6. Se till att HMAC-autentiseringsuppgifterna har en minsta giltighetsperiod på en vecka för att säkerställa att jobbet slutförs och att säkerheten är optimal.

Lagra källautentiseringsuppgifter i Azure Key Vault

När du har genererat HMAC-nycklar för din GCS-bucket lagrar du dem som hemligheter i Azure Key Vault för säker åtkomst av Storage Mover-tjänsten.

  1. Med Azure-portalen går du till det Azure Key Vault som finns i samma prenumeration som din Storage Mover-resurs.

  2. I det vänstra navigeringsfältet expanderar du menyn Objekt och väljer Hemligheter. Välj sedan Generera/importera.

    Skärmdump som markerar platsen för menyalternativet Key Vault hemligheter i det vänstra navigeringsfältet.

    Skärmdump som markerar platsen för menyalternativet generera hemligheter i Key Vault.

  3. Skapa en hemlighet för åtkomstnyckeln:

    • Namn: Ange ett beskrivande namn (till exempel gcs-access-key).
    • Hemligt värde: Klistra in värdet för HMAC-åtkomstnyckeln från föregående avsnitt.
    • Välj Skapa.

    Skärmdump som visar de fält som är relevanta för fönstret Key Vault

  4. Skapa en andra hemlighet för den hemliga nyckeln:

    • Namn: Ange ett beskrivande namn (till exempel gcs-secret-key).
    • Hemligt värde: Klistra in värdet för HMAC-hemlighetsnyckeln från föregående avsnitt.
    • Välj Skapa.

    Skärmbild som visar de fält som är relevanta för fönstret Key Vault Skapa en hemlighet för att spara din hemliga nyckel.

  5. Observera den fullständiga URI:n för hemlig identifierare för varje hemlighet. Du behöver dessa identifierare när du skapar källslutpunkten.

Note

För att säkerställa optimal säkerhet rekommenderar vi att du inaktiverar offentlig åtkomst på Key Vault som innehåller HMAC-hemligheter och lägger till Storage Mover som en betrodd tjänst.

Mer information finns i Ange och hämta en hemlighet från Key Vault med hjälp av Azure portalen.

Konfigurera käll- och målslutpunkter

När du har lagrat dina HMAC-autentiseringsuppgifter i Azure Key Vault är nästa steg att skapa käll- och målslutpunkterna för migreringen.

I samband med Azure Storage Mover-tjänsten är en slutpunkt en resurs som innehåller sökvägen till antingen en käll- eller målplats och annan relevant information. Storage Mover-jobbdefinitioner använder slutpunkter för att definiera käll- och målplatserna för kopieringsåtgärder.

Konfigurera en GCS S3-kompatibel källslutpunkt

Källslutpunkter identifierar platser från vilka dina data migreras. Källslutpunkter används för att definiera ursprunget till de data som anges i migreringsprojektet.

Följande steg beskriver processen för att skapa en källslutpunkt.

  1. Gå till din Storage Mover-instans i Azure portal.

  2. Från resurshanteringsgruppen i det vänstra navigeringsfältet väljer du Lagringsslutpunkter. Välj fliken Källslutpunkter och välj sedan Skapa slutpunkt för att öppna fönstret Skapa källslutpunkt .

  3. I fönstret Skapa källslutpunkt :

    • Välj Multicloud-migrering som migreringstyp.
    • Välj GCS Object Storage – S3 som källtyp.
    • Käll-URL: Ange den fullständiga HTTPS-URL:en till din GCS-bucket i S3-kompatibelt format. Använd formatet: https://storage.googleapis.com/<bucket-name>/ eller https://storage.googleapis.com/<bucket-name>/<prefix>/ om du bara vill migrera en delmängd av objekt.
    • URI för åtkomstnyckelhemlighet i Key Vault: Ange den fullständiga URI:n för hemligheten som innehåller HMAC-åtkomstnyckeln
    • URI för Key Vault-hemlighet: Ange den fullständiga URI:n för hemligheten som innehåller din hemliga HMAC-nyckel
    • Du kan också ange en beskrivning för slutpunkten.

  4. Kontrollera att dina val är korrekta och välj Skapa för att skapa slutpunkten.

    Skärmbild som visar de fält som är relevanta för fönstret Skapa källslutpunkt för lagringsflyttaren.

    Note

    När källslutpunkten skapas etableras automatiskt en systemtilldelad hanterad identitet. Den här identiteten kräver rollåtkomst för Key Vault Secrets User Role-Based Access Control (RBAC) på din Azure Key Vault för att hämta HMAC-autentiseringsuppgifterna under migreringen. Portalen försöker tilldela den här rollen automatiskt. Om tilldelningen misslyckas på grund av otillräckliga behörigheter tilldelar du dem manuellt eller kontaktar din Azure administratör för att bevilja rollen manuellt.

Konfigurera en Azure Blob Storage målslutpunkt

  1. Från resurshanteringsgruppen i det vänstra navigeringsfältet väljer du Lagringsslutpunkter. Välj fliken Målslutpunkter och välj sedan Lägg till slutpunkt för att öppna fönstret Skapa målslutpunkt .

  2. I fönstret Skapa målslutpunkt :

    • Välj ditt prenumerations- och lagringskonto i respektive listruta.
    • Välj Blobcontainer i fältet Måltyp .
    • Välj den blobcontainer som du vill migrera från i listrutan.
    • Du kan också ange en beskrivning för slutpunkten.

  3. Kontrollera att dina val är korrekta och välj Skapa för att skapa slutpunkten.

Tilldela RBAC-roller

När du skapar slutpunkter via Azure-portalen tilldelas de nödvändiga RBAC-rollerna automatiskt till de systemtilldelade hanterade identiteterna:

Endpoint Befattning Målresurs
Källslutpunkt Key Vault Secrets-användare Din Azure Key Vault
Målslutpunkt Storage Blob Data-bidragsgivare Din Azure Blob-container

Om automatisk tilldelning misslyckas (till exempel på grund av otillräcklig behörighet) måste du tilldela dessa roller manuellt eller kontakta din Azure administratör.

Skapa ett migreringsprojekt och en jobbdefinition

När du har definierat käll- och målslutpunkter för migreringen är nästa steg att skapa ett storage mover-migreringsprojekt och en jobbdefinition.

Med ett migreringsprojekt kan du organisera stora migreringar till mindre, mer hanterbara enheter. En jobbdefinition beskriver resurser och migreringsalternativ för en specifik uppsättning kopieringsåtgärder. Dessa resurser omfattar till exempel käll- och målslutpunkter och eventuella migreringsinställningar som du vill använda.

Följ stegen i det här avsnittet för att skapa ett migreringsprojekt och köra ett migreringsjobb.

Skapa ett projekt

  1. Gå till avsnittet Projekt under Planera och kör migreringar i din Storage Mover-instans och välj Skapa projekt på fliken Projekt .

  2. Ange värden för följande fält:

    • Namn: Ett beskrivande namn för migreringsprojektet.
    • Projektbeskrivning: En användbar beskrivning för projektet.

  3. Välj Skapa för att skapa projektet.

    Skärmbild som visar de fält som är relevanta för fönstret Skapa projekt i Storage Mover.

Skapa en jobbdefinition

Välj projektet när det visas och välj sedan Skapa ett jobb. Guiden för att skapa ett jobb har fyra flikar: Grundläggande, Schema, Inställningar, och Granska.

Grundläggande-fliken

  1. Ange värden för följande fält:

    Fält Value
    Migreringstyp Välj Multicloud-migrering
    Källtyp Välj GCS Object Storage – S3 (förhandsversion)
    typ av S3-bucket Välj Offentlig eller Privat (förhandsversion)
    Namn Ett beskrivande namn för jobbet
    Beskrivning (Valfritt) En beskrivning av jobbet (max 1 024 tecken)

    Skärmbild som visar de fält som hör till fliken ”Grundläggande” i Storage Mover-fönstret ”Skapa projekt”.

  2. I avsnittet Källa :

    • Källslutpunkt: Välj Lägg till källslutpunkt för att skapa en ny slutpunkt eller välj en befintlig GCS S3-kompatibel källslutpunkt.
    • Källsökväg för undermapp: (Valfritt) Ange en undermappssökväg om du bara vill migrera en del av din bucket. Om det lämnas tomt startar jobbet från roten i bucketen.
    • Kontrollera att den fullständiga sökvägen som visas är korrekt.

  3. I avsnittet Mål :

    • Målslutpunkt: Välj Lägg till målslutpunkt för att skapa en ny slutpunkt eller välj en befintlig Azure Blob Storage målslutpunkt.
    • Undersökväg för mål: (Valfritt) Ange en undermapp för målet. Om det lämnas tomt migreras allt innehåll till containerroten. En unik delsökväg skapar en ny undermapp.

    Skärmbild som visar fälten som är relevanta för fönstret Skapa projekt i Storage Mover på fliken Grundläggande.

  4. Om du har valt Privat för S3-buckettypen visas avsnittet Privata anslutningar :

    • Välj Lägg till för att associera godkända privata anslutningar med det här jobbet.
    • Endast anslutningar i godkänt tillstånd kan läggas till.
    • Du kan associera flera privata anslutningar för belastningsutjämning.

    Note

    Privata bucketar kräver privata anslutningar. Du måste ha minst en godkänd privat anslutning innan du kan starta ett jobb med buckettype Private. Se Privata nätverksanslutningar för GCS för installationssteg.

  5. Gå vidare genom att klicka på Nästa.

Schemaflik

Välj när du vill att migreringen ska köras:

Option Description
Inget schema Starta migreringen manuellt
Engångsschema Kör migreringen en gång vid en viss tidpunkt
Återkommande schema Kör migreringen enligt ett dagligt, vecko- eller månadsschema

Important

Schemaläggning är för närvarande inte tillgängligt för GCS Object Storage – S3-källtypen. Jobb kan bara köras manuellt. Välj Inget schema och välj Nästa för att fortsätta.

Fliken Inställningar

  1. Välj önskat kopieringsläge i listrutan:

    Kopieringsläge Behavior
    Sammanfoga innehåll till målet Filer behålls i målet även om de inte finns i källan. Filer med matchande namn och sökvägar uppdateras för att matcha källan. Namnändringar av mappar mellan kopieringarna kan leda till duplicerat innehåll på målplatsen.
    Spegla källa till mål Gör målet till en exakt kopia av källan. Objekt som tas bort från källan tas också bort från målet.

  2. Läs avsnittet Migreringsresultat för att förstå hur dina data mappas:

    Outcome Description
    Katalogstruktur Målet stöder "virtuella" mappar. Filer får källsökvägen tillagd före sina namn och placeras i en platt lista. Tomma mappar representeras som en tom blob med mappmetadata bevarade i anpassade metadata.
    Skapa tidsstämpel Bevaras som anpassade blobmetadata. Den blob-inbyggda tidsstämpeln återspeglar den tid då filen migrerades.
    Ändra tidsstämpel Bevaras som anpassade blobmetadata. Det finns ingen blob-intern tidsstämpel av den här typen.
    Ändrad tidsstämpel Bevaras som anpassade blobmetadata. Den blob-inbyggda tidsstämpeln återspeglar den tid då filen migrerades.
    Tidsstämpel som senast använts Bevaras som anpassade blobmetadata om det finns på källan. Ingen blob-intern tidsstämpel av den här typen.
    Andra metadata Sparas i anpassad metadata på målbloben. Endast 4 kiB metadata kan lagras. Metadata som är större än 4 KiB migreras inte.
    Protokoll för molnmigrering REST-API för blob

  3. Gå vidare genom att klicka på Nästa.

Fliken Granskning

Granska sammanfattningen av konfigurationen:

  • Grunderna: Jobbnamn, migreringstyp
  • Källa: Källtyp, käll-URL med bucketnamn, molnnamn (GCS), källundersökväg
  • Mål: Lagringskonto, Azure Blob-behållare, målsökväg
  • Schema: Migreringsfrekvens
  • Inställningar: Kopieringsläge

Om alla inställningar är korrekta väljer du Skapa för att distribuera jobbet. Välj Föregående för att göra ändringar.

Kör en migreringsuppgift

Starta ett jobb

  1. Gå till fliken Projekt . Det nya jobbet visas i listan under projektet.
  2. Välj din jobbdefinition för att visa dess information på fliken Egenskaper .
  3. Välj knappen Starta jobb .
  4. Bekräfta jobbinformationen i fönstret Startjobb och välj Starta för att påbörja migreringen.

Jobbet körs i bakgrunden. Du kan övervaka förloppet på fliken Migreringsöversikt .

Övervaka migreringsstatus

När du använder Storage Mover för att migrera dina data bör du övervaka kopieringsåtgärderna för potentiella problem. Data som rör de åtgärder som utförs under migreringen visas på fliken Migreringsöversikt . Med dessa data kan du spåra migreringens förlopp genom att ange aktuell status och viktig information, till exempel förlopp, hastighet och uppskattad slutförandetid.

När det är konfigurerat tillhandahåller Azure Storage Mover även kopieringsloggar och jobbkörningsloggar. Med de här loggarna kan du spåra migreringsresultatet från jobbkörningar och enskilda filer.

  1. Gå till fliken Migreringsjobb .
  2. Välj ditt jobb för att visa förlopp, hastighet och uppskattad slutförandetid.
  3. Välj Loggar för att söka efter eventuella fel eller varningar.
  4. När migreringen är klar kontrollerar du data i Azure Blob Storage.

Mer information om kopierings- och jobbloggar för Azure Storage Mover finns i artikeln Så här aktiverar du Azure Storage Mover-kopierings- och jobbloggar .

Validering efter migrering

Dataverifiering efter migreringen säkerställer att dina data är korrekta och att överföringen från GCS till Azure Blob Storage är klar. Den här valideringsprocessen verifierar dataintegriteten genom att jämföra migrerade data med samma data från källan.

Följ dessa steg för att slutföra manuell validering och rensa oanvända GCS-resurser:

  1. Jämför källa och mål: Kontrollera att alla förväntade objekt överförs genom att jämföra antalet objekt och den totala datastorleken mellan GCS-bucketen och Azure Blob-containern.
  2. Stickprovskontrollera dataintegriteten: Ladda ned ett representativt urval av objekt från både källa och mål och jämför kontrollsummor.
  3. Aktivera inkrementell synkronisering (om det behövs): Om du behöver hålla din GCS-bucket och Azure Blob-containern synkroniserad över tid schemalägger du återkommande jobbkörningar.
  4. Avveckla källan: Ta bort GCS-bucketen och HMAC-nycklarna när migreringen är helt slutförd och verifierad. Ta bort motsvarande hemligheter från Azure Key Vault när de inte längre behövs.

Felsökning och support

Om du stöter på problem under migreringen börjar du felsöka genom att utföra följande steg.

Problematik Upplösning
Migreringsjobbet misslyckades I loggarna Kopiera och Jobb finns detaljerade felmeddelanden. Vanliga orsaker är ogiltiga autentiseringsuppgifter eller problem med nätverksanslutningen.
Autentiseringsfel Kontrollera att HMAC-åtkomstnyckeln och den hemliga nyckeln som lagras i Azure Key Vault är korrekta och inte har upphört att gälla. Se till att den hanterade identiteten för källslutpunkten har behörigheten Key Vault Secrets User för ditt Key Vault.
Behörighetsfel på målet Kontrollera att målslutpunktens hanterade identitet har rollen Storage Blob Data Contributor för målblobcontainern.
Dataöverföringen är långsam Se till att nätverksbandbredden är tillräcklig. GCS kan implementera hastighetsbegränsningar för S3-kompatibla API-begäranden. Överväg att minska antalet samtidiga jobb om begränsning sker.
Objekt som saknas efter synkronisering På grund av GCS-tidsstämpelns kornighet på andra nivån kan det hända att objekt som ändrats inom samma sekund som den senaste synkroniseringen inte identifieras förrän nästa jobb körs. Vänta och kör en tilläggssynkronisering.
Oväntade objekt i målet Platshållarobjekt för GCS-kataloger (objekt på noll byte som slutar med /) hoppas över automatiskt och bör inte visas i målkatalogen. Om det finns oväntade objekt, granska kopieringsloggarna för detaljer.
Käll-URL avvisades Kontrollera att käll-URL:en använder HTTPS, inte innehåller frågeparametrar, fragment eller IP-adresser och pekar på ett giltigt fullständigt kvalificerat domännamn.

Om du inte kan lösa problemet skapar du en Azure support begäran.

Relaterat innehåll

Följande artiklar kan hjälpa dig att bekanta dig med Storage Mover-tjänsten:

  • Last updated on