Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Gilt für:Analytics Platform System (PDW)
Erstellt eine externe Tabelle.
Verwenden Sie eine externe Tabelle, um:
- Daten in Hadoop oder in Azure Blob Storage mit Transact-SQL-Anweisungen abzufragen.
- Daten aus Hadoop oder Azure Blob Storage in Analytics Platform System zu importieren und zu speichern.
Siehe auch CREATE EXTERNAL DATA SOURCE und DROP EXTERNAL TABLE.
Syntax
CREATE EXTERNAL TABLE { database_name.schema_name.table_name | schema_name.table_name | table_name }
( <column_definition> [ , ...n ] )
WITH (
LOCATION = 'hdfs_folder_or_filepath' ,
DATA_SOURCE = external_data_source_name ,
FILE_FORMAT = external_file_format_name
[ , <reject_options> [ , ...n ] ]
)
[ ; ]
<column_definition> ::=
column_name <data_type>
[ COLLATE collation_name ]
[ NULL | NOT NULL ]
<reject_options> ::=
{
| REJECT_TYPE = { value | percentage },
| REJECT_VALUE = reject_value ,
| REJECT_SAMPLE_VALUE = reject_sample_value ,
}
Arguments
{ database_name.schema_name.table_name | schema_name.table_name | table_name }
Ein- bis dreiteiliger Name der Tabelle, die erstellt werden soll.
Für eine externe Tabelle speichert Analytics Platform System nur die Metadaten der Tabelle mit den grundlegenden Statistiken über die Datei oder den Ordner, auf die in Hadoop oder Azure Blob Storage verwiesen wird. Es werden keine tatsächlichen Daten verschoben oder in Analytics Platform System gespeichert.
Important
Wenn der externe Datenquellentreiber einen dreiteiligen Namen unterstützt, sollten Sie den dreiteiligen Namen angeben.
< > column_definition [ ,... n ]
CREATE EXTERNAL TABLE unterstützt die Möglichkeit zum Konfigurieren des Spaltennamens, des Datentyps, der Nullierbarkeit und der Sortierung. Sie können die DEFAULT CONSTRAINT externen Tabellen nicht verwenden.
Die Spaltendefinitionen, einschließlich der Datentypen und der Anzahl der Spalten, müssen mit den Daten in den externen Dateien übereinstimmen. Wenn eine Nichtübereinstimmung vorliegt, werden die Dateizeilen beim Abrufen der eigentlichen Daten abgelehnt.
STANDORT = 'folder_or_filepath'
Gibt den Ordner oder den Dateipfad und Dateinamen für die tatsächlichen Daten in Hadoop oder Azure Blob Storage an. Der Speicherort beginnt im Stammordner. Der Stammordner ist der in der externen Datenquelle angegebene Datenspeicherort.
Im Analytics Platform System erstellt die CREATE EXTERNAL TABLE AS SELECT (CETAS)- Anweisung den Pfad und den Ordner, falls sie nicht existieren.
CREATE EXTERNAL TABLE erstellt den Pfad und den Ordner nicht.
Wenn Sie angeben LOCATION , dass es sich um einen Ordner handelt, ruft eine PolyBase-Abfrage, die aus der externen Tabelle auswählt, Dateien aus dem Ordner und allen unterordnern ab. PolyBase gibt wie Hadoop keine ausgeblendeten Ordner zurück. Außerdem werden keine Dateien zurückgegeben, für die der Dateiname mit einer Unterstreichung (_) oder einem Punkt (.) beginnt.
Im folgenden Bildbeispiel LOCATION='/webdata/'gibt eine PolyBase-Abfrage Zeilen aus mydata.txt und mydata2.txtzurück. Sie wird nicht zurückgegeben mydata3.txt , da sie sich in einem Unterordner eines ausgeblendeten Ordners befindet und nicht zurückgegeben _hidden.txt wird, da es sich um eine ausgeblendete Datei ist.
Legen Sie das Attribut <polybase.recursive.traversal> in der Konfigurationsdatei core-site.xml auf „false“ fest, um den Standardordner zu ändern und nur aus dem Stammordner zu lesen. Diese Datei befindet sich unter <SqlBinRoot>\PolyBase\Hadoop\Conf\ unter dem bin-Stammverzeichnis von SQL Server. Beispiel: C:\Program Files\Microsoft SQL Server\MSSQL13.XD14\MSSQL\Binn\
DATA_SOURCE = external_data_source_name
Gibt den Namen der externen Datenquelle an, die den Speicherort der externen Daten enthält. Dieser Speicherort ist entweder ein Hadoop- oder Azure Blob Storage-Speicherort. Um eine externe Datenquelle zu erstellen, verwenden CREATE EXTERNAL DATA SOURCESie .
FILE_FORMAT = external_file_format_name
Gibt den Namen des externen Dateiformatobjekts an, das den Dateityp und die Komprimierungsmethode der externen Daten speichert. Um ein externes Dateiformat zu erstellen, verwenden CREATE EXTERNAL FILE FORMATSie .
REJECT-Optionen
Diese Option kann nur für externe Datenquellen verwendet werden, in denen TYPE = HADOOP.
Sie können die Reject-Parameter angeben, die bestimmen, wie PolyBase schmutzige Datensätze verarbeitet, die sie aus der externen Datenquelle abruft. Ein Datensatz gilt als „dirty“ (modifiziert), wenn die tatsächlichen Datentypen oder die Anzahl der Spalten nicht den Spaltendefinitionen der externen Tabelle entsprechen.
Wenn Sie die Reject-Werte nicht angeben oder ändern, verwendet PolyBase Standardwerte. Diese Informationen zu den Reject-Parametern werden als zusätzliche Metadaten gespeichert, wenn Sie eine externe Tabelle mit CREATE EXTERNAL TABLE Anweisung erstellen. Wenn eine zukünftige SELECT Anweisung oder SELECT INTO SELECT Anweisung Daten aus der externen Tabelle auswählt, verwendet PolyBase die Ablehnungsoptionen, um die Anzahl oder den Prozentsatz der Zeilen zu bestimmen, die abgelehnt werden können, bevor die tatsächliche Abfrage fehlschlägt. Die Abfrage gibt (teilweise) Ergebnisse zurück, bis der Ablehnungsschwellenwert überschritten wird. Daraufhin schlägt es mit der entsprechenden Fehlermeldung fehl.
REJECT_TYPE = { Wert | Prozentsatz }
Erläutert, ob die REJECT_VALUE Option als Literalwert oder Prozentwert angegeben wird.
value
REJECT_VALUEist ein Literalwert, kein Prozentsatz. Die PolyBase-Abfrage schlägt fehl, wenn die Anzahl der abgelehnten Zeilen reject_value überschreitet.Wenn und
REJECT_VALUE = 5, die PolyBase-AbfrageREJECT_TYPE = valuebeispielsweise fehlschlägt,SELECTnachdem fünf Zeilen abgelehnt wurden.Prozentsatz
REJECT_VALUEist ein Prozentsatz, kein Literalwert. Eine PolyBase-Abfrage schlägt fehl, wenn der Prozentsatz der fehlgeschlagenen Zeilen reject_value überschreitet. Der Prozentsatz der fehlerhaften Zeilen wird in Intervallen berechnet.
REJECT_VALUE = reject_value
Gibt den Wert oder den Prozentsatz der Zeilen an, die zurückgewiesen werden können, bevor die Abfrage fehlschlägt.
Für REJECT_TYPE = value, reject_value muss eine ganze Zahl zwischen 0 und 2.147.483.647 sein.
Für REJECT_TYPE = percentage, reject_value muss ein Gleitkomma zwischen 0 und 100 sein.
REJECT_SAMPLE_VALUE = reject_sample_value
Dieses Attribut ist erforderlich, wenn Sie angeben REJECT_TYPE = percentage. Bestimmt die Anzahl der Zeilen, bei denen versucht wird, sie abzurufen, bevor die PolyBase den Prozentsatz der abgelehnten Zeilen neu berechnet.
Der reject_sample_value-Parameter muss eine ganze Zahl zwischen 0 und 2.147.483.647 sein.
Wenn polyBase beispielsweise den Prozentsatz der fehlgeschlagenen Zeilen berechnet, REJECT_SAMPLE_VALUE = 1000nachdem versucht wurde, 1.000 Zeilen aus der externen Datendatei zu importieren. Wenn der Prozentsatz der fehlgeschlagenen Zeilen kleiner als reject_valueist, versucht PolyBase, weitere 1.000 Zeilen abzurufen. Der Prozentsatz der fehlgeschlagenen Zeilen wird weiterhin neu berechnet, nachdem versucht wurde, alle zusätzlichen 1.000 Zeilen zu importieren.
Note
Da die Berechnung des Prozentsatzes von fehlerhaften Zeilen durch PolyBase in Intervallen erfolgt, kann der tatsächliche Prozentsatz fehlerhafter Zeilen reject_value überschreiten.
Beispiel
In diesem Beispiel wird gezeigt, wie die drei REJECT Optionen miteinander interagieren. Wenn beispielsweise , REJECT_TYPE = percentageREJECT_VALUE = 30, und REJECT_SAMPLE_VALUE = 100, das folgende Szenario auftreten könnte:
- PolyBase versucht, die ersten 100 Zeilen abzurufen. Davon sind 25 fehlerhaft und 75 erfolgreich.
- Der berechnete Prozentsatz fehlerhafter Zeilen ist mit 25 % kleiner als der REJECT-Wert von 30 %. Daher ruft PolyBase weiterhin Daten aus der externen Datenquelle ab.
- PolyBase versucht, die nächsten 100 Zeilen zu laden. Dieses Mal sind 25 Zeilen erfolgreich und 75 Zeilen fehlerhaft.
- Der Prozentsatz fehlerhafter Zeilen wird mit 50 % neu berechnet. Der Prozentsatz fehlerhafter Zeilen hat den REJECT-Wert von 30 % überschritten.
- Die PolyBase-Abfrage schlägt fehl, da nach der Rückgabe der ersten 200 Zeilen 50 % der Zeilen abgelehnt werden. Übereinstimmende Zeilen werden zurückgegeben, bevor die PolyBase-Abfrage erkennt, dass der Ablehnungsschwellenwert überschritten wurde.
Erlaubnisse
Folgende Benutzerberechtigungen sind erforderlich:
CREATE TABLEALTER ANY SCHEMAALTER ANY EXTERNAL DATA SOURCEALTER ANY EXTERNAL FILE FORMATCONTROL DATABASE
Die Anmeldung, die die externe Datenquelle erstellt, muss über die Berechtigung zum Lesen und Schreiben in die externe Datenquelle verfügen, die sich in Hadoop oder Azure Blob Storage befindet.
Important
Die ALTER ANY EXTERNAL DATA SOURCE Berechtigung gewährt jedem Prinzipal die Möglichkeit, ein externes Datenquellenobjekt zu erstellen und zu ändern, und gewährt daher auch die Möglichkeit, auf alle Datenbankbereichsanmeldeinformationen für die Datenbank zuzugreifen. Da es sich hierbei um eine weitreichende Berechtigung handelt, darf sie nur vertrauenswürdigen Prinzipalen innerhalb des Systems erteilt werden.
Fehlerbehandlung
Beim Ausführen der CREATE EXTERNAL TABLE-Anweisung versucht PolyBase, eine Verbindung mit der externen Datenquelle herzustellen. Wenn der Versuch, eine Verbindung herzustellen, fehlschlägt, schlägt die Anweisung fehl, und die externe Tabelle wird nicht erstellt. Da PolyBase erneut versucht, die Verbindung aufzubauen, bevor die Abfrage endgültig fehlschlägt, kann es eine Minute oder länger dauern, bis der Befehl fehlschlägt.
Bemerkungen
In Ad-hoc-Abfrageszenarien, z SELECT FROM EXTERNAL TABLE. B. , speichert PolyBase die Zeilen, die aus der externen Datenquelle in einer temporären Tabelle abgerufen werden. Nachdem die Abfrage abgeschlossen ist, entfernt und löscht PolyBase die temporäre Tabelle. Es werden keine permanenten Daten in SQL-Tabellen gespeichert.
Im Gegensatz dazu speichert PolyBase im Importszenario die Zeilen, SELECT INTO FROM EXTERNAL TABLEdie aus der externen Datenquelle abgerufen werden, als dauerhafte Daten in der SQL-Tabelle. Die neue Tabelle wird beim Ausführen der Abfrage erstellt, wenn PolyBase die externen Daten abruft.
PolyBase kann einen Teil der Abfrageberechnung an Hadoop übertragen, um die Abfrageleistung zu verbessern. Diese Aktion wird als Prädikat-Pushdown bezeichnet. Um sie zu aktivieren, gib die Option Hadoop-Ressourcenmanager Standort in CREATE EXTERNAL DATA SOURCEan.
Sie können zahlreiche externe Tabellen erstellen, die auf die gleichen oder andere externe Datenquellen verweisen.
Limitations
Da die Daten für eine externe Tabelle nicht unter der direkten Verwaltungssteuerung der Appliance stehen, kann sie jederzeit von einem externen Prozess geändert oder entfernt werden. Aus diesem Grund sind Abfrageergebnisse für eine externe Tabelle nicht garantiert deterministisch. Die gleiche Abfrage kann bei jeder Ausführung für eine externe Tabelle unterschiedliche Ergebnisse zurückgeben. Auf ähnliche Weise kann eine Abfrage fehlschlagen, wenn die externen Daten verschoben oder entfernt werden.
Sie können zahlreiche externe Tabellen erstellen, die alle auf unterschiedliche externe Datenquellen verweisen. Wenn Sie Abfragen für verschiedene Hadoop-Datenquellen gleichzeitig ausführen, muss jede Hadoop-Datenquelle die gleiche „Hadoop Connectivity“-Serverkonfigurationseinstellung verwenden. Beispielsweise können Sie nicht gleichzeitig eine Abfrage für einen Cloudera Hadoop-Cluster und einen Hortonworks Hadoop-Cluster ausführen, da diese unterschiedliche Konfigurationseinstellungen verwenden. Informationen zu den Konfigurationseinstellungen und unterstützten Kombinationen finden Sie unter PolyBase-Konnektivitätskonfiguration.
Nur diese DDL-Anweisungen (Data Definition Language) sind in externen Tabellen zulässig:
-
CREATE TABLEundDROP TABLE -
CREATE STATISTICSundDROP STATISTICS -
CREATE VIEWundDROP VIEW
Nicht unterstützte Konstruktionen und Operationen:
- Eine
DEFAULTEinschränkung für externe Tabellenspalten - DML-Vorgänge (Data Manipulation Language): DELETE, INSERT und UPDATE
- Dynamische Datenformatierung in externen Tabellenspalten
Abfrageeinschränkungen
PolyBase kann bei 32 gleichzeitigen PolyBase-Abfragen maximal 33.000 Dateien pro Ordner verarbeiten. Diese maximale Anzahl schließt sowohl Dateien als auch Unterordner im jeweiligen HDFS-Ordner ein. Werden weniger als 32 Abfragen gleichzeitig ausgeführt, können auch PolyBase-Abfragen für Ordner in HDFS ausgeführt werden, die mehr als 33.000 Dateien enthalten. Es wird empfohlen, dass Sie externe Dateipfade kurz halten und nicht mehr als 30.000 Dateien pro HDFS-Ordner verwenden. Wenn auf zu viele Dateien verwiesen wird, kann eine Out-of-Memory-Ausnahme von Java Virtual Machine (JVM) auftreten.
Einschränkungen der Tabellenbreite
In SQL Server 2016 (13.x) hat PolyBase eine Zeilenbreitenbeschränkung von 32 KB basierend auf der maximalen Größe einer einzelnen gültigen Zeile nach Tabellendefinition. Wenn die Summe des Spaltenschemas größer als 32 KB ist, kann PolyBase die Daten nicht abfragen.
In Azure Synapse Analytics wurde diese Begrenzung auf 1 MB erhöht.
Einschränkungen für Datentypen
Die folgenden Datentypen können in externen PolyBase-Tabellen nicht verwendet werden:
- Geografie
- Geometrie
- hierarchyid
- image
- Text
- ntext
- xml
- Jeder benutzerdefinierte Typ
Sperren
Freigegebene Sperre für das SCHEMARESOLUTION Objekt.
Security
Die Datendateien für eine externe Tabelle werden in Hadoop oder Azure Blob Storage gespeichert. Diese Datendateien werden von Ihrem eigenen Prozess erstellt und verwaltet. Es liegt in Ihrer Verantwortung, die Sicherheit der externen Daten zu verwalten.
Beispiele
A. Verknüpfen von HDFS-Daten mit Analytics Platform System-Daten
SELECT cs.user_ip
FROM ClickStream AS cs
INNER JOIN [User] AS u
ON cs.user_ip = u.user_ip
WHERE cs.url = 'www.microsoft.com';
B. Importieren von Zeilendaten aus HDFS in eine verteilte Analytics Platform System-Tabelle
CREATE TABLE ClickStream_PDW
WITH (DISTRIBUTION = HASH(url)) AS
SELECT url,
event_date,
user_ip
FROM ClickStream;
C. Importieren von Zeilendaten aus HDFS in eine replizierte Analytics Platform System-Tabelle
CREATE TABLE ClickStream_PDW
WITH (DISTRIBUTION = REPLICATE) AS
SELECT url,
event_date,
user_ip
FROM ClickStream;