Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
S3 (Simple Storage Service) källmigreringsfunktionen i Azure Storage Mover överför säkert data från S3-kompatibel objektlagring som körs i ditt eget datacenter till Azure Blob Storage. Lokala S3-kompatibla system inkluderar produkter som MinIO, Dell ECS och andra.
Eftersom källsystemet körs lokalt beror migreringen också på hybridnätverksanslutning mellan ditt datacenter och Azure. Storage Mover når din S3-endpoint genom en ExpressRoute-krets eller ett plats-till-plats-VPN, med samma modell för privat anslutning som Storage Mover använder för andra moln-till-moln-scenarier.
Den här artikeln guidar dig genom hela processen att konfigurera Storage Mover för att migrera din data från en lokal S3-kompatibel källa till Azure Blob Storage. Processen består av att förbereda din S3-endpoint, lagra källuppgifter i Azure Key Vault, konfigurera käll- och målendpoints samt skapa och köra ett migrationsjobb.
Prerequisites
Kontrollera att du har följande innan du börjar:
- En aktiv Azure-prenumeration med behörighet att skapa och hantera Azure Storage Mover-resurser.
- Ett lokalt S3-kompatibelt objektlagringssystem som exponerar en Amazon S3 API-endpoint via HTTPS.
- Nätverksanslutning mellan ditt lokala datacenter och Azure (ExpressRoute eller site-to-site VPN). Se Konfigurera privat nätverksanslutning.
- Ett offentligt betrott, CA-signerat TLS-certifikat installerat på din S3-endpoint. Självsignerade certifikat och privata/interna CA-certifikat stöds inte.
- Ett Azure Storage konto som ska användas som mål.
- En Storage Mover-resurs som distribuerats i din Azure-prenumeration.
- Ett Azure Key Vault för att säkert lagra dina källåtkomstnyckeluppgifter.
- S3-åtkomstnycklar (Access Key ID och Secret Key) genereras på din lokala enhet. Se Generera S3-åtkomstnycklar på din apparat.
Limits
Den S3-kompatibla lokala källmigreringsfunktionen i Azure Storage Mover har följande begränsningar:
- Varje migreringsjobb stöder överföring av 500 miljoner objekt.
- Varje prenumeration stödjer upp till 10 samtidiga jobb. För att köra fler än 10 jobb, skapa en supportförfrågan.
- Endast HTTPS-åtkomst till den S3-kompatibla källan stöds. Protokollet är HTTPS och porten är TCP 443.
- Storage Mover-dataplanet litar endast på offentligt betrodda CA-signerade certifikat för S3-kompatibla ändpunkter. Självsignerade eller privata CA-certifikat orsakar att anslutningen misslyckas.
- Den S3-kompatibla källan måste ha stöd för autentisering med AWS Signature Version 4 (SigV4).
- Källändpunkten måste vara ett fullt kvalificerat domännamn (FQDN) som kan nås via HTTPS. Obearbetade IP-adresslutpunkter stöds inte.
- Du måste använda sökvägsliknande URL:er för att komma åt bucketar med namn som innehåller tecken som inte är DNS-kompatibla (till exempel
_eller.). URL:er i virtual-hosted-style-format stöds inte för dessa hinkar, eftersom initieringen av S3-klienten kan misslyckas vid DNS-upplösning.
Saker att veta
Innan du påbörjar din migrering, granska följande överväganden som är specifika för lokala S3-kompatibla källmigreringar:
Autentiseringsmetod
Lokal S3-kompatibel åtkomst använder HMAC-åtkomstnycklar (ett Access Key-ID och en Secret Key) som din lagringsenhet utfärdar. Dessa nycklar gör det möjligt för enheten att svara på standardförfrågningar i S3 API genom att använda AWS Signature Version 4-autentiseringsprocessen. De exakta stegen för att skapa nycklar skiljer sig mellan leverantörer. Konsultera din leverantörs dokumentation.
TLS-certifikatkrav
Storage Mover-dataplanet ansluter endast till din S3-endpoint via HTTPS (TCP 443), och validerar endpointens TLS-certifikat mot offentligt betrodda certifikatutfärdare.
Important
Din S3-endpoint måste presentera ett offentligt betrott, CA-signerat certifikat vars subject eller alternativt ämnesnamn (SAN) matchar endpointens FQDN. Självsignerade certifikat, privata/interna företags-CA-certifikat och IP-adress-endast certifikat stöds inte. Många lokala enheter levereras med ett självsignerat certifikat som standard, så planera att installera ett CA-signerat certifikat innan du migrerar.
Krav på nätverksanslutning
Eftersom källan är lokal når Storage Mover den via hybridanslutning istället för det offentliga internet. Du behöver en ExpressRoute-krets eller en site-to-site VPN mellan ditt datacenter och Azure, plus en Storage Mover-privat anslutning som riktar sig mot din S3-endpoint. För installationssteg, se Konfigurera privat nätverksanslutning.
Generera S3-åtkomstnycklar på din enhet
För att komma åt din lokalt installerade bucket via det S3-kompatibla gränssnittet, generera ett Access Key-ID och en hemlig nyckel på ditt lagringssystem. Den exakta proceduren varierar mellan leverantörer; det allmänna mönstret är:
Logga in på ditt lagringssystems hanteringskonsol eller CLI.
Hitta identiteten eller kontot som har läsbehörighet till målhinken.
Generera ett S3-liknande accessnyckelpar (Access Key ID och Secret Key).
Important
Kopiera den hemliga nyckeln omedelbart. Många system visar den bara en gång och kan inte hämta den senare.
Bekräfta att identiteten minst har läs- och listbehörigheter på de bucketar och objekt du planerar att migrera.
För exakta steg, se din leverantörs dokumentation (till exempel MinIO, Dell ECS, NetApp StorageGRID, Cloudian, Scality eller Pure Storage FlashBlade).
Bestäm URL:en för den lokala installationens S3-endpoint
Ange din endpoint-URL i path-style-format. Värden måste vara en offentligt lösbar FQDN som matchar endpointens CA-signerade certifikat:
- Sökvägsformat:
https://<s3-endpoint-fqdn>/<bucket>/ - Virtuell värdbaserad stil:
https://<bucket>.<s3-endpoint-fqdn>/
Note
Använd sökvägsliknande URL:er för bucketar vars namn innehåller tecken (såsom _ eller .) som inte är DNS-kompatibla. Virtuell hostad adressering kräver också en wildcard DNS-post och ett motsvarande wildcard- (eller per-bucket) certifikat, vilket många lokala installationer inte erbjuder.
Lagra källautentiseringsuppgifter i Azure Key Vault
Efter att du genererat åtkomstnycklar på din apparat, lagra dem som hemligheter i Key Vault så att Azure Storage Mover-tjänsten säkert kan komma åt dem.
- Med Azure-portalen går du till Key Vault som finns inom samma prenumeration som din Storage Mover-resurs.
- I navigeringen till vänster fäller du ut Objekt-menyn och väljer Secrets. Välj sedan Generera/importera.
- Skapa en hemlighet för åtkomstnyckeln:
-
Namn: Ange ett meningsfullt namn (till exempel,
onprem-s3-access-key). - Hemligt värde: Klistra in Access Key-ID-värdet från föregående avsnitt.
- Välj Skapa.
-
Namn: Ange ett meningsfullt namn (till exempel,
- Skapa en andra hemlighet för Secret Key:
-
Namn: Ange ett meningsfullt namn (till exempel,
onprem-s3-secret-key). - Hemligt värde: Klistra in värdet för Secret Key från föregående avsnitt.
- Välj Skapa.
-
Namn: Ange ett meningsfullt namn (till exempel,
- Observera den fullständiga URI:n för hemlig identifierare för varje hemlighet. Du behöver dessa identifierare när du skapar källslutpunkten.
Note
För att säkerställa optimal säkerhet, inaktivera offentlig åtkomst på Key Vault som innehåller hemligheterna och lägg till Storage Mover som en betrodd tjänst.
Mer information finns i Ange och hämta en hemlighet från Key Vault med hjälp av Azure portalen.
Konfigurera käll- och målslutpunkter
Efter att du har lagrat dina inloggningsuppgifter i din Key Vault, skapa din migrations käll- och måländpunkter.
I samband med Azure Storage Mover-tjänsten är en slutpunkt en resurs som innehåller sökvägen till antingen en käll- eller målplats och annan relevant information. Storage Mover-jobbdefinitioner använder slutpunkter för att definiera käll- och målplatserna för kopieringsåtgärder.
Konfigurera en lokal S3-kompatibel källslutpunkt
Källslutpunkter identifierar platser från vilka dina data migreras. Följande steg beskriver processen för att skapa en källslutpunkt.
Gå till din Storage Mover-instans i Azure-portalen.
Från resurshanteringsgruppen i det vänstra navigeringsfältet väljer du Lagringsslutpunkter. Välj fliken Källslutpunkter och välj sedan Skapa slutpunkt för att öppna fönstret Skapa källslutpunkt .
I fönstret Skapa källslutpunkt :
- Välj Multicloud-migrering som migreringstyp.
- Välj S3-kompatibel objektlagring som Källtyp.
-
Käll-URL: Ange hela HTTPS-URL:en till din bucket i S3-kompatibelt (path-style) format. Använd formatet
https://<s3-endpoint-fqdn>/<bucket-name>/, eller lägg till<prefix>/för att migrera endast en delmängd av objekten. Använd adressiering i sökvägsstil för bucketar vars namn innehåller_eller.. - Access Key Vault Secret URI: Ange hela URI:n för hemligheten som innehåller din Access Key Vault.
- Secret Key Vault Secret URI: Ange hela URI:n för hemligheten som innehåller din Secret Key Vault.
- Du kan också ange en beskrivning för slutpunkten.
Kontrollera att dina val är korrekta och välj Skapa för att skapa slutpunkten.
Note
När du skapar källändpunkten provisionerar portalen automatiskt en systemtilldelad hanterad identitet. Denna identitet behöver rollen Key Vault Secrets User Role-Based Access Control (RBAC) på din Key Vault för att hämta autentiseringsuppgifterna under migreringen. Portalen försöker automatiskt tilldela denna roll. Om tilldelningen misslyckas på grund av otillräckliga behörigheter, tilldela den manuellt eller kontakta din Azure-administratör.
Konfigurera en Azure Blob Storage målslutpunkt
- Från resurshanteringsgruppen i det vänstra navigeringsfältet väljer du Lagringsslutpunkter. Välj fliken Målslutpunkter och välj sedan Lägg till slutpunkt för att öppna fönstret Skapa målslutpunkt .
- I panelen Skapa målslutpunkt:
- Välj ditt prenumerations- och lagringskonto i respektive listruta.
- Välj Blobcontainer i fältet Måltyp .
- Välj den blobcontainer som du vill migrera från i listrutan.
- Du kan också ange en beskrivning för slutpunkten.
- Kontrollera att dina val är korrekta och välj Skapa för att skapa slutpunkten.
Tilldela RBAC-roller
När du skapar endpoints via Azure-portalen tilldelar systemet automatiskt de nödvändiga RBAC-rollerna till de systemtilldelade hanterade identiteterna:
| Endpoint | Role | Målresurs |
|---|---|---|
| Källslutpunkt | Key Vault Secrets-användare | Din Key Vault |
| Målslutpunkt | Storage Blob Data-bidragsgivare | Din Azure Blob-container |
Om automatisk tilldelning misslyckas (till exempel på grund av otillräckliga behörigheter), tilldela dessa roller manuellt eller kontakta din Azure-administratör.
Skapa ett migreringsprojekt och en jobbdefinition
När du har definierat käll- och måländpunkter för din migrering skapar du ett Storage Mover-migreringsprojekt och en jobbdefinition.
Skapa ett projekt
- I din Storage Mover-instans, gå till avsnittet Projekt under Plan + kör migreringar. I fliken Projekt, välj Skapa projekt.
- Ange värden för följande fält:
- Namn: Ett beskrivande namn för migreringsprojektet.
- Projektbeskrivning: En användbar beskrivning för projektet.
- Välj Skapa för att skapa projektet.
Skapa en jobbdefinition
Välj projektet efter att det dykt upp och välj sedan Skapa ett jobb. Guiden för att skapa ett jobb har fyra flikar: Grundläggande, Schema, Inställningar, och Granska.
Grundläggande-fliken
Ange värden för följande fält:
Fält Value Migreringstyp Välj Multicloud-migrering Källtyp Välj S3-kompatibel objektlagring (Förhandsgranskning) typ av S3-bucket Välj Privat (förhandsgranskning) Name Ett beskrivande namn för jobbet beskrivning (Valfritt) En beskrivning av jobbet (max 1 024 tecken) Note
Tjänsten når lokala S3-endpoints via hybridanslutning, så välj Privat som bucket-typ och associera en godkänd privat anslutning. Se Konfigurera privat nätverksanslutning.
I avsnittet Källa :
- Källendpoint: Välj Lägg till källendpoint för att skapa en ny endpoint, eller välj en befintlig lokal S3-kompatibel källendpoint.
- Källsökväg för undermapp: (Valfritt) Ange en undermappssökväg om du bara vill migrera en del av din bucket. Om du lämnar detta fält tomt startar jobbet från roten av bucketen.
- Kontrollera att den fullständiga sökvägen som visas är korrekt.
I avsnittet Mål :
- Målslutpunkt: Välj Lägg till målslutpunkt för att skapa en ny slutpunkt eller välj en befintlig Azure Blob Storage målslutpunkt.
- Undersökväg för mål: (Valfritt) Ange en undermapp för målet. Om du lämnar detta fält tomt migreras allt innehåll till containerroten.
I avsnittet Privata anslutningar:
- Välj Lägg till för att associera godkända privata anslutningar med det här jobbet.
- Du kan bara lägga till anslutningar i statusen Godkänd.
- Du kan associera flera privata anslutningar för belastningsutjämning.
Note
Du måste ha minst en godkänd privat anslutning innan du kan starta ett jobb mot en S3-endpoint i en lokal miljö. Se Konfigurera privat nätverksanslutning för installationsanvisningar.
Klicka på Nästa när du vill fortsätta.
Schemaflik
Välj när du vill att migreringen ska köras:
| Option | Description |
|---|---|
| Inget schema | Starta migreringen manuellt |
| Engångsschema | Kör migreringen en gång vid en viss tidpunkt |
| Återkommande schema | Kör migreringen enligt ett dagligt, vecko- eller månadsschema |
Important
Schemaläggning är för närvarande inte tillgänglig för den S3-kompatibla källtypen. Du kan bara köra jobb manuellt. Välj Ingen schema och välj Nästa för att fortsätta.
Fliken Inställningar
Välj önskat kopieringsläge i listrutan:
Kopieringsläge Behavior Sammanfoga innehåll till målet Filer behålls i målet även om de inte finns i källan. Filer med matchande namn och sökvägar uppdateras för att matcha källan. Spegla källa till mål Gör målet till en exakt kopia av källan. Objekt som tas bort från källan tas också bort från målet. Gå igenom avsnittet om migrationsresultat för att förstå hur dina data är kartlagda. Tjänsten bevarar katalogstruktur, tidsstämplar och annan metadata som anpassad blobmetadata (max 4 KiB). Molnmigreringsprotokoll: Blob REST API.
Klicka på Nästa när du vill fortsätta.
Fliken Granskning
Granska sammanfattningen av konfigurationen:
- Grunderna: Jobbnamn, migreringstyp
- Källa: Källtyp, käll-URL med bucketnamn, källsökväg
- Mål: Lagringskonto, Azure Blob-behållare, målsökväg
- Schema: Migreringsfrekvens
- Inställningar: Kopieringsläge
Om alla inställningar är korrekta väljer du Skapa för att distribuera jobbet.
Kör en migreringsuppgift
Starta ett jobb
- Gå till fliken Projekt. Ditt nyskapade jobb visas i listan under ditt projekt.
- Välj din jobbdefinition för att visa dess information på fliken Egenskaper .
- Välj knappen Starta jobb .
- Bekräfta jobbinformationen i fönstret Startjobb och välj Starta för att påbörja migreringen.
Jobbet körs i bakgrunden. Du kan övervaka förloppet på fliken Migreringsöversikt .
Övervaka migreringsstatus
När du använder Storage Mover för att migrera dina data, övervaka kopieringsoperationerna för potentiella problem. Fliken Migreringsöversikt visar data om de operationer som utförs under din migrering.
När det är konfigurerat tillhandahåller Azure Storage Mover även kopieringsloggar och jobbkörningsloggar. Använd dessa loggar för att spåra migreringsresultatet av jobbkörningar och enskilda filers.
- Gå till fliken Migreringsjobb .
- Välj ditt jobb för att visa förlopp, hastighet och uppskattad slutförandetid.
- Välj Loggar för att söka efter eventuella fel eller varningar.
- När migreringen är klar kontrollerar du data i Azure Blob Storage.
För att lära dig mer, se Hur man aktiverar kopierings- och jobbloggar för Azure Storage Mover.
Validering efter migrering
Datavalidering efter migrering säkerställer att dina data är korrekta och att överföringen från din lokala S3-kompatibla källa till Azure Blob Storage är klar.
- Jämför källa och mål: Verifiera att alla förväntade objekt överförs genom att jämföra objektantal och total datastorlek mellan den lokala bucketen och Azure Blob-containern.
- Stickprovskontrollera dataintegriteten: Ladda ned ett representativt urval av objekt från både källa och mål och jämför kontrollsummor.
- Aktivera inkrementell synkronisering (om det behövs): Om du behöver hålla din lokala bucket och Azure Blob-container synkroniserade över tid, schemalägg återkommande jobbkörningar. (Finns för närvarande inte tillgängligt för den S3-kompatibla källtypen; kör jobb manuellt.)
- Avveckla källan: Radera de lokala åtkomstnycklarna efter att migreringen är helt slutförd och verifierad. Ta bort motsvarande hemligheter från Key Vault när de inte längre behövs.
Felsökning och support
Om du stöter på problem under migreringen börjar du felsöka genom att utföra följande steg.
| Issue | Åtgärd |
|---|---|
| Migreringsjobbet misslyckades | I loggarna Kopiera och Jobb finns detaljerade felmeddelanden. Vanliga orsaker inkluderar ogiltiga inloggningsuppgifter, fel på certifikatförtroende eller nätverksanslutningsproblem. |
| TLS- eller certifikatfel | Verifiera att S3-endpointen presenterar ett offentligt betrott, CA-signerat certifikat vars subjekt eller SAN matchar endpointens FQDN. Självsignerade och privat-CA-certifikat stöds inte. |
| Autentiseringsfel | Kontrollera att Access Key och Secret Key som finns lagrade i Key Vault är korrekta och inte har raderats. Se till att den hanterade identiteten för källslutpunkten har behörigheten Key Vault Secrets User för ditt Key Vault. |
| Behörighetsfel på målet | Verifiera att målslutpunktens hanterade identitet har rollen Storage Blob Data Contributor för målblobcontainern. |
| Ändpunkt otillgänglig | Bekräfta att ExpressRoute-kretsen eller site-to-site VPN är uppe, att routning når S3-slutpunkten och att Storage Mover-anslutningen är i tillståndet Godkänd. |
| Dataöverföringen är långsam | Se till att din hybridlänk (ExpressRoute eller VPN) har tillräcklig bandbredd. Lägg till fler privata anslutningar för lastbalansering och bekräfta att enheten inte hastighetsbegränsar S3 API-förfrågningar. |
| S3-klientens initialisering misslyckas / Käll-URL avvisas | Om ditt bucketnamn innehåller _ eller ., använd URL:er av sökvägstyp i stället för URL:er i virtuell värdbaserad stil. Se till att käll-URL:en använder HTTPS, löser till en giltig FQDN (inte en IP-adress) och inte innehåller frågeparametrar eller fragment. |
Om du inte kan lösa problemet skapar du en Azure support begäran.