Konfigurowanie bazy danych PostgreSQL w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potokach do kopiowania danych z i do bazy danych PostgreSQL.

Obsługiwana konfiguracja

Aby skonfigurować każdą kartę w ramach zadania kopiowania, przejdź do odpowiednich poniższych sekcji.

Ogólne

Zapoznaj się z wskazówkami dotyczącymi konfigurowania karty ustawień w zakładce Ustawienia ogólne.

Źródło

Przejdź do karty Źródło, aby skonfigurować źródło działania kopiowania. Zobacz następującą zawartość, aby uzyskać szczegółową konfigurację.

Zrzut ekranu przedstawiający kartę źródłową i listę właściwości.

Następujące trzy właściwości są wymagane:

  • Połączenie: Wybierz połączenie PostgreSQL z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie PostgreSQL.
  • Typ połączenia: wybierz PostgreSQL.
  • Użyj zapytania: Wybierz z tabeli lub zapytania .
    • Jeśli wybierzesz Tabela:

      • Table: określ nazwę tabeli do odczytu danych. Wybierz tabelę z listy rozwijanej lub wybierz pozycję Wprowadź ręcznie, aby ją wprowadzić.

        Zrzut ekranu przedstawiający Użyj zapytania — tabela.

    • Jeśli wybierzesz zapytanie:

      • Zapytanie: określ niestandardowe zapytanie SQL do odczytu danych.

        Zrzut ekranu przedstawiający Użyj zapytania — Zapytanie.

        Notatka

        W nazwach schematów i tabel uwzględniana jest wielkość liter. Umieść je w " " (cudzysłowach) w zapytaniu.

W obszarze Advancedmożna określić następujące pola:

  • limit czasu zapytania (w minutach): określ czas oczekiwania przed zakończeniem próby wykonania polecenia i wygenerowanie błędu, wartość domyślna to 120 minut. Jeśli parametr jest ustawiony dla tej właściwości, dozwolone wartości są przedziałem czasu, takim jak "02:00:00" (120 minut). Aby uzyskać więcej informacji, zobacz CommandTimeout.
  • dodatkowe kolumny: Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tego ostatniego.

Destynacja

Następujące właściwości są obsługiwane dla bazy danych PostgreSQL na karcie Miejsce docelowe działania kopiowania.

Wymaganenastępujące właściwości:

  • Połączenie: Wybierz połączenie PostgreSQL z listy połączeń.
  • Typ połączenia: wybierz PostgreSQL.
  • Tabela: określ nazwę tabeli do zapisu danych. Wybierz tabelę z listy rozwijanej lub wybierz Wprowadź ręcznie, aby wprowadzić nazwę schematu i tabeli.

W obszarze Advancedmożna określić następujące pola:

  • Skrypt wstępny: określ zapytanie SQL dla działania kopiowania do wykonania przed zapisaniem danych w usłudze PostgreSQL w każdym uruchomieniu. Za pomocą tej właściwości można wyczyścić wstępnie załadowane dane.
  • Write batch timeout: Określa czas oczekiwania na ukończenie operacji wstawiania wsadowego przed osiągnięciem timeoutu. Dozwolona wartość to przedział czasu. Domyślna wartość to 00:02:00.
  • Rozmiar partii zapisu: określ liczbę wierszy do wstawienia do tabeli PostgreSQL na partię. Dozwolona wartość to liczba całkowita (liczba wierszy). Zostanie utworzona nowa partia, gdy bieżąca partia osiągnie rozmiar partii zapisu. Domyślna wartość to 50000.
  • Maksymalna liczba współbieżnych połączeń: Określ górny limit połączeń współbieżnych ustanowionych w magazynie danych w trakcie wykonywania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne. Dozwolona wartość to liczba całkowita.

Mapowanie

Aby uzyskać konfigurację karty Mapowania, zobacz Konfigurowanie mapowań na karcie mapowania.

Ustawienia

Aby uzyskać konfigurację karty Ustawienia, przejdź do Konfigurowanie innych ustawień na karcie ustawień.

Mapowanie typów danych dla bazy danych PostgreSQL

Podczas kopiowania danych z bazy danych PostgreSQL następujące mapowania są używane z typów danych PostgreSQL do tymczasowych typów danych używanych wewnętrznie przez usługę.

Typ danych PostgreSQL Typ danych usługi tymczasowej
smallint Int16
liczba całkowita Int32
bigint Int64
dziesiętne (precyzja <= 28) Decimal
liczba dziesiętna (precyzja > 28) Nieobsługiwane
numeryczny Decimal
real Single
Podwójne Double
mały rozmiar Int16
seryjny Int32
bigserial Int64
money Decimal
char(n) Sznurek
Varchar(n) Sznurek
SMS Sznurek
bytea Byte[]
sygnatura czasowa DateTime
sygnatura czasowa ze strefą czasową DateTime
date DateTime
time TimeSpan
czas ze strefą czasową DateTimeOffset
interwał TimeSpan
Boolean logiczny
punkt Sznurek
linia Sznurek
lseg Sznurek
pudełko Sznurek
ścieżka Sznurek
polygon Sznurek
koło Sznurek
CIDR Sznurek
Inet Sznurek
macaddr Sznurek
macaddr8 Sznurek
tsvector Sznurek
tsquery Sznurek
UUID (Uniwersalny Unikalny Identyfikator) Przewodnik
Json Sznurek
jsonb Sznurek
macierz Sznurek
bit Byte[]
bit zmienny Byte[]
xml Sznurek
liczba całkowita[] Sznurek
text[] Sznurek
numeryczne[] Sznurek
date[] Sznurek
zakres Sznurek
bpchar Sznurek

Podczas kopiowania danych do bazy danych PostgreSQL następujące mapowania są używane z tymczasowych typów danych używanych wewnętrznie przez usługę do typów danych PostgreSQL.

Typ danych tymczasowych Typ danych PostgreSQL
Int16 smallint
Int32 liczba całkowita
Int64 bigint
Single real
Double podwójna precyzja
Decimal liczbowy, pieniężny
logiczny Boolean
Sznurek text, char(n), varchar(n), name, citext, json,jsonb, xml, inet, cidr, macaddr, tsvector, tsquery, point, line, lseg, box, path, polygon, circle, int4range, int8range, numrange, daterange, tstzrange, integer[]
Tablica bajtów bytea, bit(n), varbit
Date date
TimeSpan czas, interwał
DateTimeOffset timetz, timestamptz
DateTime sygnatura czasowa
GUID UUID (Uniwersalny Unikalny Identyfikator)

Podsumowanie tabeli

Poniższa tabela zawiera więcej informacji o działaniu kopiowania w usłudze PostgreSQL.

Informacje o źródle

Nazwa Opis Wartość Wymagane Właściwość skryptu JSON
połączenie Twoja łączność z źródłowym magazynem danych. < Twoje połączenie z PostgreSQL > Tak połączenie
typ połączenia Typ połączenia źródłowego. PostgreSQL Tak /
Użyj zapytania Sposób odczytywania danych. Zastosuj table, aby odczytywać dane z określonej tabeli lub stosować Query do odczytywania danych przy użyciu zapytań SQL. Tabela
Zapytanie
Tak • typeProperties (w ramach typeProperties ->source)
  -schemat
  - stół
•zapytanie
limit czasu zapytania (w minutach) Czas oczekiwania przed zakończeniem próby wykonania polecenia i wygenerowaniem błędu wartość domyślna to 120 minut. Jeśli parametr jest ustawiony dla tej właściwości, dozwolone wartości są przedziałem czasu, takim jak "02:00:00" (120 minut). Aby uzyskać więcej informacji, zobacz CommandTimeout. przedział czasu Nie limit czasu zapytania
dodatkowe kolumny Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tego ostatniego. •Nazwa
•Wartość
Nie dodatkoweKolumny:
•nazwa
•wartość

Informacje o lokalizacji docelowej

Nazwa Opis Wartość Wymagane Właściwość skryptu JSON
połączenie Twoje połączenie z docelowym magazynem danych. < Twoje połączenie z PostgreSQL > Tak połączenie
tabela Nazwa tabeli do zapisu danych. Wybierz tabelę z listy rozwijanej lub wybierz Wprowadź ręcznie, aby wprowadzić nazwę schematu i tabeli. < nazwa tabeli > Tak typWłaściwości:
•schemat
•stół
Skrypt przed kopiowaniem Zapytanie SQL dotyczące działania kopiowania do wykonania przed zapisaniem danych w usłudze PostgreSQL w każdym uruchomieniu. Za pomocą tej właściwości można wyczyścić wstępnie załadowane dane. < twój skrypt wstępnego kopiowania > Nie preCopyScript
Zachowanie podczas zapisu Definiuje ustawienie zachowania zapisu. wstaw (ustawienie domyślne) Nie writeBehavior
rozmiar partii zapisu Liczba wierszy do wstawienia do tabeli PostgreSQL na partię. Dozwolona wartość to liczba całkowita (liczba wierszy). < Liczba całkowita >
50000 (ustawienie domyślne)
Nie writeBatchSize
Przekroczenie limitu czasu zapisu wsadowego Czas oczekiwania na zakończenie operacji wstawiania wsadowego przed upływem limitu czasu. Dozwolona wartość to przedział czasu. < okres czasu >
00:02:00 (ustawienie domyślne)
Nie writeBatchTimeout
Maksymalna liczba połączeń współbieżnych Górny limit nawiązywanych jednocześnie połączeń z magazynem danych podczas wykonywania działania. Dozwolona wartość to liczba całkowita. < Liczba całkowita > Nie maksymalnaLiczbaJednoczesnychPołączeń