Migreer gegevens van on-premises S3-compatibele objectopslag naar Azure Blob Storage met Azure Storage Mover (preview)

De S3 (Simple Storage Service) bronmigratiefunctie in Azure Storage Mover zet veilig gegevens over van S3-compatibele objectopslag die in uw eigen datacenter draait naar Azure Blob Storage. On-premises S3-compatibele systemen omvatten producten zoals MinIO, Dell ECS en andere.

Omdat de bron on-premises draait, is de migratie ook afhankelijk van hybride netwerkconnectiviteit tussen je datacenter en Azure. Storage Mover bereikt je S3-eindpunt via een ExpressRoute-circuit of een site-to-site VPN, met hetzelfde privé-verbindingmodel dat Storage Mover gebruikt voor andere cloud-naar-cloud scenario's.

Dit artikel begeleidt je door het volledige proces van het configureren van Storage Mover om je data te migreren van een on-premises S3-compatibele bron naar Azure Blob Storage. Het proces bestaat uit het voorbereiden van je S3-endpoint, het opslaan van bronreferenties in Azure Key Vault, het configureren van bron- en doelendpoints, en het aanmaken en uitvoeren van een migratietaak.

Prerequisites

Zorg voordat u begint dat u over het volgende beschikt:

  • Een actief Azure-abonnement met machtigingen voor het maken en beheren van Azure Storage Mover-resources.
  • Een on-premises S3-compatibel objectopslagsysteem dat een Amazon S3 API-eindpunt via HTTPS blootstelt.
  • Netwerkconnectiviteit tussen je on-premises datacenter en Azure (ExpressRoute of site-to-site VPN). Zie Privénetwerkconnectiviteit configureren.
  • Een publiek vertrouwd, door de CA ondertekend TLS-certificaat dat is geïnstalleerd op je S3-endpoint. Zelfondertekende certificaten en private/interne-CA-certificaten worden niet ondersteund.
  • Een Azure Storage-account dat moet worden gebruikt als bestemming.
  • Een Storage Mover-resource die is geïmplementeerd in uw Azure-abonnement.
  • Een Azure Key Vault om je brontoegangssleutelgegevens veilig op te slaan.
  • S3-toegangssleutels (Access Key ID en Secret Key) die op je lokale appliance worden gegenereerd. Zie Genereer S3-toegangssleutels op je appliance.

Limits

De S3-compatibele on-premises bronmigratiefunctie in Azure Storage Mover kent de volgende beperkingen:

  • Elke migratietaak ondersteunt de overdracht van 500 miljoen objecten.
  • Elk abonnement ondersteunt tot 10 gelijktijdige taken. Om meer dan 10 taken te draaien, maak je een supportverzoek aan.
  • Alleen HTTPS-toegang tot de S3-compatibele bron wordt ondersteund. Het protocol en de poort zijn HTTPS, TCP 443.
  • De Storage Mover-dataplane vertrouwt alleen openbaar vertrouwde door CA ondertekende certificaten voor S3-compatibele eindpunten. Zelfondertekende of private-CA-certificaten zorgen ervoor dat de verbinding faalt.
  • De S3-compatibele bron moet verificatie in de stijl AWS Signature Versie 4 (SigV4) ondersteunen.
  • Het bronpunt moet een volledig gekwalificeerde domeinnaam (FQDN) zijn die bereikbaar is via HTTPS. Ruwe IP-adres-endpoints worden niet ondersteund.
  • Je moet pad-achtige URL's gebruiken om buckets te bereiken met namen die tekens bevatten die niet DNS-compatibel zijn (bijvoorbeeld _ of .). Virtueel gehoste URL's worden niet ondersteund voor deze buckets, omdat S3-clientinitialisatie kan falen bij DNS-resolutie.

Wat u moet weten

Voordat je met je migratie begint, bekijk de volgende overwegingen die specifiek zijn voor on-premises S3-compatibele bronmigraties:

Verificatiemethode

On-premises S3-compatibele toegang gebruikt HMAC-toegangssleutels (een Access Key ID en een Secret Key) die je opslagapparaat uitgeeft. Deze sleutels stellen het apparaat in staat om te reageren op standaard S3 API-verzoeken door gebruik te maken van het AWS Signature Version 4-authenticatieproces. De exacte stappen om sleutels te maken verschillen per leverancier. Raadpleeg de documentatie van je leverancier.

TLS-certificaatvereiste

Het Storage Mover-dataplan maakt alleen verbinding met je S3-eindpunt via HTTPS (TCP 443) en controleert het TLS-certificaat van het eindpunt aan de hand van publiek vertrouwde certificaatautoriteiten.

Important

Je S3-eindpunt moet een publiek vertrouwd, door een CA ondertekend certificaat presenteren waarvan het subject of de subject alternatieve naam (SAN) overeenkomt met het FQDN van het eindpunt. Zelfondertekende certificaten, private/interne enterprise-CA-certificaten en certificaten met alleen een IP-adres worden niet ondersteund. Veel apparaten op locatie worden standaard geleverd met een zelfondertekend certificaat, dus plan om een CA-ondertekend certificaat te installeren voordat je migreert.

Netwerkconnectiviteitsvereiste

Omdat de bron on-premises is, bereikt Storage Mover deze via hybride connectiviteit in plaats van via het publieke internet. Je hebt een ExpressRoute-verbinding of een site-to-site VPN nodig tussen je datacenter en Azure, plus een Storage Mover-privéverbinding die je S3-endpoint target. Zie Privénetwerkconnectiviteit configureren voor configuratiestappen.

Genereer S3-toegangssleutels op je appliance

Om via de S3-compatibele interface toegang te krijgen tot je on-premises-bucket, genereer je een Access Key ID en een geheime sleutel op je opslagsysteem. De exacte procedure verschilt per leverancier; het algemene patroon is:

  1. Log in op de beheerconsole of CLI van je opslagsysteem.

  2. Zoek de identiteit of het account dat leestoegang heeft tot de doelbucket.

  3. Genereer een S3-achtig toegangssleutelpaar (Toegangssleutel-ID en Geheime Sleutel).

    Important

    Kopieer onmiddellijk de geheime sleutel . Veel systemen tonen het maar één keer en kunnen het later niet meer terughalen.

  4. Bevestig dat de identiteit minimaal lees- en lijstrechten heeft op de buckets en objecten die je wilt migreren.

Voor exacte stappen kun je de documentatie van je leverancier raadplegen (bijvoorbeeld MinIO, Dell ECS, NetApp StorageGRID, Cloudian, Scality of Pure Storage FlashBlade).

Bepaal de URL van je on-premises S3-endpoint

Voer je endpoint-URL in in padstijlformaat. De host moet een publiek oplosbare FQDN zijn die overeenkomt met het CA-ondertekende certificaat van het endpoint:

  • Padstijl: https://<s3-endpoint-fqdn>/<bucket>/
  • Virtueel gehoste stijl: https://<bucket>.<s3-endpoint-fqdn>/

Note

Gebruik pad-achtige URL's voor buckets waarvan de namen tekens bevatten (zoals _ of .) die niet DNS-compatibel zijn. Virtueel gehoste adressering vereist ook een wildcard DNS-record en een bijpassend wildcard- (of per-bucket) certificaat, wat veel on-premises implementaties niet bieden.

Bronreferenties opslaan in Azure Key Vault

Nadat je toegangssleutels op je apparaat hebt gegenereerd, sla ze dan als geheimen op in Key Vault zodat de Azure Storage Mover-service er veilig toegang toe heeft.

  1. Met het Azure-portaal ga je naar de Key Vault die binnen hetzelfde abonnement als je Storage Mover-resource zit.
  2. Vouw in de linker navigatie het menu Objecten uit en selecteer Secrets. Selecteer vervolgens Genereren/importeren.
  3. Maak een geheim aan voor de Toegangssleutel:
    • Naam: Voer een betekenisvolle naam in (bijvoorbeeld, onprem-s3-access-key).
    • Geheime waarde: plak de Access Key ID-waarde uit de vorige sectie.
    • Klik op Creëren.
  4. Maak een tweede geheim voor de Geheime Sleutel:
    • Naam: Voer een betekenisvolle naam in (bijvoorbeeld, onprem-s3-secret-key).
    • Geheime waarde: plak de Geheime Sleutel-waarde uit de vorige sectie.
    • Klik op Creëren.
  5. Noteer de volledige URI van de Geheime id van elk geheim. U hebt deze id's nodig bij het maken van het broneindpunt.

Note

Om optimale beveiliging te garanderen, schakel de publieke toegang uit op de Key Vault met de geheimen en voeg Storage Mover toe als een vertrouwde dienst.

Zie Een geheim instellen en ophalen uit Key Vault met behulp van Azure portal voor meer informatie.

Bron- en doeleindpunten configureren

Nadat je je inloggegevens in je Key Vault hebt opgeslagen, maak je de bron- en doelendpunten van je migratie aan.

In de context van de Azure Storage Mover-service is een eindpunt een resource die het pad naar een bron- of doellocatie en andere relevante informatie bevat. Opslagmover-taakdefinities maken gebruik van eindpunten om de bron- en doellocaties voor kopieerbewerkingen te definiëren.

Configureer een on-premises S3-compatibel broneindpunt

Broneindpunten identificeren locaties van waaruit uw gegevens worden gemigreerd. In de volgende stappen wordt het proces voor het maken van een broneindpunt beschreven.

  1. Ga naar je Storage Mover-instantie in het Azure-portaal.

  2. Selecteer opslageindpunten in de resourcebeheergroep in het linkernavigatievenster. Selecteer het tabblad Broneindpunten en selecteer vervolgens Eindpunt maken om het deelvenster Broneindpunt maken te openen.

  3. In het deelvenster Broneindpunt maken:

    • Selecteer Migratie met meerdere clouds als migratietype.
    • Selecteer S3-compatibele objectopslag als Brontype.
    • Bron-URL: Voer de volledige HTTPS-URL naar je bucket in S3-compatibel (pad-stijl) formaat in. Gebruik het formaat https://<s3-endpoint-fqdn>/<bucket-name>/, of voeg <prefix>/ toe om alleen een deelverzameling van objecten te migreren. Gebruik padstijl-adressering voor buckets waarvan de namen _ of . bevatten.
    • Access Key Vault Secret URI: Voer de volledige URI in van het geheim dat je Access Key Vault bevat.
    • Secret Key Vault Secret URI: Voer de volledige URI in van het geheim met je geheime sleutel van Key Vault.
    • Geef eventueel een beschrijving op voor het eindpunt.
  4. Controleer of uw selecties juist zijn en selecteer Maken om het eindpunt te maken.

    Note

    Wanneer je het bron-eindpunt aanmaakt, richt het portaal automatisch een door het systeem toegewezen beheerde identiteit in. Deze identiteit vereist de rol Key Vault Secrets User Role-Based Access Control (RBAC) op je Key Vault om de inloggegevens tijdens migratie op te halen. Het portaal probeert deze rol automatisch toe te wijzen. Als de toewijzing mislukt door onvoldoende rechten, wijs deze dan handmatig toe of neem contact op met je Azure-beheerder.

Een Azure Blob Storage doeleindpunt configureren

  1. Selecteer opslageindpunten in de resourcebeheergroep in het linkernavigatievenster. Selecteer het tabblad Doeleindpunten en selecteer vervolgens Eindpunt toevoegen om het deelvenster Doeleindpunt maken te openen.
  2. In het paneel Doeleindpunt aanmaken :
    • Selecteer uw abonnements - en opslagaccount in de desbetreffende vervolgkeuzelijsten.
    • Selecteer blobcontainer in het veld Doeltype .
    • Kies de Blob-container waarnaar u wilt migreren vanuit de vervolgkeuzelijst.
    • Geef eventueel een beschrijving op voor het eindpunt.
  3. Controleer of uw selecties juist zijn en selecteer Maken om het eindpunt te maken.

RBAC-rollen toewijzen

Wanneer je endpoints aanmaakt via het Azure-portaal, wijst het systeem automatisch de vereiste RBAC-rollen toe aan de door het systeem toegewezen beheerde identiteiten:

Endpoint Role Doelbron
Broneindpunt Key Vault Secrets-gebruiker Jouw Key Vault
Doeleindpunt Inzender voor Storage Blob-gegevens Uw Azure Blob-container

Als automatische toewijzing faalt (bijvoorbeeld door onvoldoende rechten), wijs je deze rollen handmatig toe of neem contact op met je Azure-beheerder.

Een migratieproject en taakdefinitie maken

Nadat je bron- en doel-endpoints voor je migratie hebt gedefinieerd, maak je een Storage Mover-migratieproject en taakdefinitie.

Een project maken

  1. Ga in je Storage Mover-instantie naar het Projecten-gedeelte onder Plan + run migrations. Selecteer in het tabblad Projecten en selecteer Project aanmaken.
  2. Voer waarden in voor de volgende velden:
    • Naam: Een betekenisvolle naam voor het migratieproject.
    • Projectbeschrijving: Een nuttige beschrijving voor het project.
  3. Selecteer Maken om het project te maken.

Een taakdefinitie maken

Selecteer het project nadat het verschijnt en selecteer vervolgens Een taak maken. De wizard voor het maken van de taak heeft vier tabbladen: Basisbeginselen, Planning, Instellingen en Controleren.

Tabblad Basis

  1. Voer waarden in de volgende velden in:

    Veld Value
    Migratietype Migratie met meerdere clouds selecteren
    Brontype Selecteer S3-compatibele objectopslag (Voorbeeldweergave)
    S3-buckettype Selecteer Privé (Voorbeeld)
    Name Een betekenisvolle naam voor de taak
    Beschrijving (Optioneel) Een beschrijving voor de taak (maximaal 1024 tekens)

    Note

    De dienst bereikt lokale S3-eindpunten via hybride connectiviteit, dus selecteer Private als bucket-type en koppel een goedgekeurde private verbinding. Zie Privénetwerkconnectiviteit configureren.

  2. In de sectie Bron :

    • Bron-endpoint: Selecteer Bron-endpoint toevoegen om een nieuw endpoint te maken, of selecteer een bestaand on-premises S3-compatibel source-endpoint.
    • Subpad van de bron: (Optioneel) Geef een pad naar een submap op om alleen een deel van uw bucket te migreren. Als je dit veld leeg laat, begint de taak bij de hoofdmap van de bucket.
    • Controleer of het weergegeven volledige pad juist is.
  3. In de sectie Target:

    • Doeleindpunt: selecteer Doeleindpunt toevoegen om een nieuw eindpunt te maken of selecteer een bestaand Azure Blob Storage doeleindpunt.
    • Doelsubpad: (Optioneel) Geef een doelsubmap op. Als je dit veld leeg laat, wordt alle inhoud gemigreerd naar de root van de container.
  4. In de sectie Privéverbindingen :

    • Selecteer Toevoegen om goedgekeurde privéverbindingen aan deze taak te koppelen.
    • Je kunt alleen verbindingen toevoegen in de staat Goedgekeurd.
    • U kunt meerdere privéverbindingen koppelen voor taakverdeling.

    Note

    Je moet minstens één goedgekeurde privéverbinding hebben voordat je een taak kunt starten tegen een on-premises S3-endpoint. Zie Configureren van privénetwerkconnectiviteit voor de setupstappen.

  5. Selecteer Volgende om door te gaan.

Het tabblad Schema

Kies wanneer u wilt dat de migratie wordt uitgevoerd:

Option Description
Geen schema De migratie handmatig starten
Eenmalig schema De migratie eenmaal op een bepaald tijdstip uitvoeren
Terugkerend schema De migratie uitvoeren volgens een dagelijks, wekelijks of maandelijks schema

Important

Planning is momenteel niet beschikbaar voor het S3-compatibele brontype. Je kunt alleen taken handmatig uitvoeren. Selecteer Geen schema en selecteer Volgende om door te gaan.

Tabblad Instellingen

  1. Selecteer de gewenste kopieermodus in de vervolgkeuzelijst:

    Kopieermodus Gedrag
    Inhoud samenvoegen in doel Bestanden worden opgeslagen in het doel, zelfs als ze niet bestaan in de bron. Bestanden met overeenkomende namen en paden worden bijgewerkt zodat deze overeenkomen met de bron.
    Bron naar doel spiegelen Hiermee wordt het doel een exacte replica van de bron. Objecten die uit de bron zijn verwijderd, worden ook verwijderd uit het doel.
  2. Bekijk de sectie Migratie-uitkomsten om te begrijpen hoe je data wordt gekoppeld. De dienst bewaart de directorystructuur, tijdstempels en andere metadata als aangepaste blob-metadata (maximaal 4 KiB). Cloudmigratieprotocol: Blob REST API.

  3. Selecteer Volgende om door te gaan.

Tabblad Controleren

Bekijk de samenvatting van uw configuratie:

  • Basisbeginselen: taaknaam, migratietype
  • Bron: Brontype, bron-URL met bucketnaam, bron-subpad
  • Doel: Opslagaccount, Azure blobcontainer, doelsubpad
  • Schema: Migratiefrequentie
  • Instellingen: kopieermodus

Als alle instellingen juist zijn, selecteert u Maken om de taak te implementeren.

Een migratietaak uitvoeren

Een taak starten

  1. Ga naar het tabblad Projecten. Je nieuw aangemaakte taak verschijnt in de lijst onder je project.
  2. Selecteer uw taakdefinitie om de details ervan weer te geven op het tabblad Eigenschappen .
  3. Selecteer de knop Taak starten.
  4. Bevestig in het deelvenster Taak starten de taakdetails en selecteer Start om de migratie te beginnen.

De taak wordt op de achtergrond uitgevoerd. U kunt de voortgang ervan controleren op het tabblad Migratieoverzicht .

Migratievoortgang bewaken

Terwijl je Storage Mover gebruikt om je data te migreren, houd dan de kopieeroperaties in de gaten op mogelijke problemen. Het tabblad Migratieoverzicht toont gegevens over de bewerkingen die tijdens uw migratie worden uitgevoerd.

Wanneer dit is geconfigureerd, biedt Azure Storage Mover ook logboeken kopiëren en taakuitvoeringslogboeken. Gebruik deze logs om het migratieresultaat van jobruns en individuele bestanden te traceren.

  1. Ga naar het tabblad Migratietaken .
  2. Selecteer uw taak om de voortgang, snelheid en geschatte voltooiingstijd weer te geven.
  3. Selecteer Logboeken om te controleren op eventuele fouten of waarschuwingen.
  4. Nadat de migratie is voltooid, controleert u de gegevens in Azure Blob Storage.

Voor meer informatie, zie Hoe je Azure Storage Mover-kopieer- en taaklogboeken inschakelt.

Validatie na migratie

Gegevensvalidatie na migratie zorgt ervoor dat uw gegevens accuraat zijn en dat de overdracht van uw on-premises S3-compatibele bron naar Azure Blob Storage voltooid is.

  1. Vergelijk bron en doel: Controleer dat alle verwachte objecten worden overgedragen door het aantal objecten en de totale datagrootte tussen de on-premises bucket en de Azure Blob-container te vergelijken.
  2. Integriteit van spot-checkgegevens: Download een representatief voorbeeld van objecten uit zowel de bron als het doel en vergelijk controlesommen.
  3. Schakel incrementele synchronisatie in (indien nodig): Als je je on-premises bucket en Azure Blob-container over tijd synchroon wilt houden, plan dan terugkerende taken in. (Momenteel niet beschikbaar voor het S3-compatibele brontype; voer taken handmatig uit.)
  4. Bron buiten gebruik stellen: Verwijder de on-premises toegangssleutels nadat de migratie volledig is voltooid en geverifieerd. Verwijder de bijbehorende geheimen uit Key Vault wanneer ze niet langer nodig zijn.

Probleemoplossing en ondersteuning

Als u problemen ondervindt tijdens uw migratie, begint u met het oplossen van problemen door de volgende stappen uit te voeren.

Issue Oplossing
Migratietaak is mislukt Controleer de kopieer- en taaklogboeken voor gedetailleerde foutmeldingen. Veelvoorkomende oorzaken zijn ongeldige inloggegevens, problemen met certificaatvertrouwen of netwerkconnectiviteitsproblemen.
TLS-fout of certificaatfout Controleer of het S3-eindpunt een publiek vertrouwd, door de CA ondertekend certificaat presenteert waarvan het onderwerp of SAN overeenkomt met het eindpunt FQDN. Zelfondertekende certificaten en certificaten van een private CA worden niet ondersteund.
Authenticatiefout Controleer of de Access Key en Secret Key die in Key Vault zijn opgeslagen correct zijn en niet verwijderd zijn. Zorg ervoor dat de beheerde identiteit van het broneindpunt Key Vault Geheimen-gebruikerstoegang heeft op uw Key Vault.
Machtigingsfout op doel Controleer dat de beheerde identiteit van het doel-eindpunt de rol Storage Blob Data Contributor heeft op de doel-Blob-container.
Eindpunt onbereikbaar Bevestig dat het ExpressRoute-circuit of site-to-site VPN actief is, dat routering het S3-eindpunt bereikt, en dat de privéverbinding van Storage Mover de status Approved heeft.
Gegevensoverdracht is traag Zorg ervoor dat je hybride verbinding (ExpressRoute of VPN) voldoende bandbreedte heeft. Voeg meer private verbindingen toe voor load balancing en bevestig dat de appliance geen snelheidsbeperking toepast op S3 API-verzoeken.
S3-clientinitialisatie mislukt / Bron-URL geweigerd Als uw bucketnaam . of _ bevat, gebruik dan URL's in padstijl in plaats van URL's in virtueel-gehoste stijl. Zorg ervoor dat de bron-URL HTTPS gebruikt, wordt opgelost naar een geldige FQDN (geen IP-adres), en geen queryparameters of fragmenten bevat.

Als u het probleem niet kunt oplossen, maakt u een ondersteuning voor Azure aanvraag.