Verwenden einer Stagingdatenbank in Parallel Data Warehouse (PDW)

SQL Server Parallel Data Warehouse (PDW) verwendet eine Stagingdatenbank, um Daten während des Ladevorgangs vorübergehend zu speichern. Standardmäßig verwendet SQL Server PDW die Zieldatenbank als Stagingdatenbank, was zu einer Tabellenfragmentierung führen kann. Um die Tabellenfragmentierung zu verringern, können Sie eine benutzerdefinierte Stagingdatenbank erstellen. Falls ein Zurücksetzen bei einem Ladefehler kein Problem darstellt, könnten Sie den Fastappend-Lademodus zur Leistungsverbesserung verwenden, indem Sie die temporäre Tabelle überspringen und direkt in die Zieltabelle laden.

Grundlagen der Stagingdatenbank

Eine Stagingdatenbank ist eine vom Benutzer erstellte PDW-Datenbank, die Daten vorübergehend speichert, während sie in die Appliance geladen wird. Wenn eine Stagingdatenbank für eine Last angegeben wird, kopiert die Appliance zunächst die Daten in die Stagingdatenbank und kopiert dann die Daten aus temporären Tabellen in der Stagingdatenbank in permanente Tabellen in der Zieldatenbank.

Wenn eine Stagingdatenbank für eine Last nicht angegeben wird, erstellt Analytics Platform System (PDW) die temporären Tabellen in der Zieldatenbank und verwendet sie, um die geladenen Daten zu speichern, bevor sie die geladenen Daten in die permanenten Zieltabellen einfügt.

Wenn eine Last den Fastappend-Modus verwendet, überspringt Analytics Platform System (PDW) die Verwendung temporärer Tabellen vollständig und fügt die Daten direkt an die Zieltabelle an. Der Fastappend-Modus verbessert die Ladeleistung für ELT-Szenarien, in denen Daten in eine Tabelle geladen werden, bei der es sich um eine temporäre Tabelle aus der Anwendungssicht handelt. Beispielsweise könnte ein ELT-Prozess Daten in eine temporäre Tabelle laden, die Daten durch Bereinigung und Entdüngung verarbeiten und dann die Daten in die Ziel-Faktentabelle einfügen. In diesem Fall ist es nicht erforderlich, dass PDW zuerst die Daten in eine interne temporäre Tabelle lädt, bevor die Daten in die temporäre Tabelle der Anwendung eingefügt werden. Der Fastappend-Modus vermeidet den zusätzlichen Ladeschritt, wodurch die Ladeleistung erheblich verbessert wird. Um den Fastappend-Modus zu verwenden, müssen Sie den Multitransaktionsmodus verwenden. Dies bedeutet, dass die Wiederherstellung von einem fehlgeschlagenen oder abgebrochenen Ladevorgang von Ihrem eigenen Ladevorgang übernommen werden muss.

Vorteile der Stagingdatenbank

Der Hauptvorteil einer Stagingdatenbank besteht darin, die Tabellenfragmentierung zu reduzieren. Wenn keine Stagingdatenbank verwendet wird, werden die Daten in temporäre Tabellen in der Zieldatenbank geladen. Wenn temporäre Tabellen in der Zieldatenbank erstellt und gelöscht werden, werden die Seiten für die temporären Tabellen und permanenten Tabellen ineinander verwoben. Im Laufe der Zeit tritt die Tabellenfragmentierung auf und beeinträchtigt die Leistung. Im Gegensatz dazu stellt eine Stagingdatenbank sicher, dass temporäre Tabellen in einem separaten Dateibereich erstellt und abgelegt werden als die permanenten Tabellen.

Staging von Datenbanktabellenstrukturen

Die Speicherstruktur für jede Datenbanktabelle hängt von der Zieltabelle ab.

  • Beim Laden in einen Heap- oder gruppierten Columnstore-Index ist die Stagingtabelle ein Heap.

  • Beim Laden in einen gruppierten Rowstore-Index ist die Stagingtabelle ein gruppierter Rowstore-Index.

Erlaubnisse

Erfordert eine CREATE-Berechtigung (zum Erstellen einer temporären Tabelle) in der Stagingdatenbank.

Bewährte Methoden zum Erstellen einer Stagingdatenbank

  1. Pro Appliance sollte nur eine Stagingdatenbank vorhanden sein. Die Stagingdatenbank kann von allen Ladeprozessen für alle Zieldatenbanken gemeinsam genutzt werden.

  2. Die Größe der Stagingdatenbank ist kundenspezifisch. Beim ersten Auffüllen der Appliance sollte die Stagingdatenbank groß genug sein, um die anfänglichen Ladeaufträge aufzunehmen. Diese Ladeaufträge sind tendenziell groß, da mehrere Lasten gleichzeitig auftreten können. Nachdem die anfänglichen Ladeaufträge abgeschlossen wurden und das System in der Produktion ist, ist die Größe jedes Lastauftrags wahrscheinlich kleiner. Wenn die Ladevorgänge klein sind, können Sie die Größe der Staging-Datenbank verringern, um die kleineren Lademengen aufzunehmen. Um die Größe zu verringern, können Sie die Stagingdatenbank löschen und sie mit kleineren Größenzuweisungen neu erstellen, oder Sie können die ALTER DATABASE Anweisung verwenden.

    Verwenden Sie beim Erstellen der Stagingdatenbank die folgenden Richtlinien.

    • Die replizierte Tabellengröße sollte die geschätzte Größe pro Computeknoten aller replizierten Tabellen sein, die gleichzeitig geladen werden. Die Größe beträgt in der Regel 25-30 GB.

    • Die Größe der verteilten Tabelle sollte die geschätzte Größe pro Appliance aller verteilten Tabellen sein, die gleichzeitig geladen werden.

    • Die Protokollgröße ähnelt normalerweise der replizierten Tabellengröße.

Examples

A. Erstellen einer Stagingdatenbank

Im folgenden Beispiel wird eine Stagingdatenbank (Stagedb) für die Verwendung mit allen Lasten der Appliance erstellt. Angenommen, Sie schätzen, dass fünf replizierte Tabellen mit einer Größe von 5 GB gleichzeitig geladen werden. Diese Parallelität führt zu einer Zuordnung von mindestens 25 GB für die replizierte Größe. Angenommen, Sie schätzen, dass sechs verteilte Tabellen mit größen 100, 200, 400, 500, 500 und 550 GB gleichzeitig geladen werden. Diese Parallelität führt zu einer Zuordnung von mindestens 2250 GB für die Größe der verteilten Tabelle.

CREATE DATABASE Stagedb  
WITH (  
  
    AUTOGROW = ON,  
  
    REPLICATED_SIZE = 25 GB,  
  
    DISTRIBUTED_SIZE = 2250 GB,  
  
    LOG_SIZE = 25 GB  
  
);