Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
ORC (Optimized Row Columnar) to kolumnowy format przechowywania danych przeznaczony do wydajnego przetwarzania danych na dużą skalę w obciążeniach usługi Hadoop. W tym artykule opisano sposób konfigurowania formatu ORC w kanale kopiowania danych w usłudze Data Factory w Microsoft Fabric.
Obsługiwane możliwości
Format ORC jest obsługiwany w przypadku następujących działań i łączników zarówno jako źródło, jak i cel.
| Kategoria | Łącznik/działanie |
|---|---|
| Obsługiwany łącznik | Amazon S3 |
| Zgodność z usługą Amazon S3 | |
| Azure Blob Storage | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| System plików | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Pliki Lakehouse | |
| Oracle Cloud Storage | |
| SFTP | |
| Obsługiwane działanie | Działanie Kopiuj (źródło/cel) |
| Działanie Lookup | |
| Działanie GetMetadata | |
| Działanie usuwania danych |
Format ORC w działaniu kopiowania
Aby skonfigurować format ORC, wybierz połączenie w źródle lub miejscu docelowym działania kopiowania potoku, a następnie wybierz pozycję ORC z listy rozwijanej Format pliku. Wybierz pozycję Ustawienia , aby uzyskać dalszą konfigurację tego formatu.
Format ORC jako źródło
Po wybraniu pozycji Ustawienia w sekcji Format pliku w oknie dialogowym Ustawienia formatu pliku zostaną wyświetlone następujące właściwości.
- Typ kompresji: Wybierz kodek kompresji używany do odczytywania plików ORC z listy rozwijanej. Możesz wybrać opcję None, zlib lub snappy.
Format ORC jako miejsce docelowe
Po wybraniu pozycji Ustawienia zostaną wyświetlone następujące właściwości w wyskakującym oknie dialogowym Ustawienia formatu pliku.
- Typ kompresji: wybierz kodek kompresji używany do zapisywania plików ORC z listy rozwijanej. Możesz wybrać opcję None, zlib lub snappy.
W obszarze Ustawienia zaawansowane na karcie Miejsce docelowe zostaną wyświetlone następujące właściwości powiązane z formatem ORC.
- Maksymalna liczba wierszy na plik: podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik. Określ maksymalną liczbę wierszy, które mają być zapisywane dla każdego pliku.
-
Prefiks nazwy pliku: ma zastosowanie, gdy skonfigurowano maksymalną liczbę wierszy na plik . Określ prefiks nazwy pliku podczas zapisywania danych w wielu plikach, co spowodowało następujący wzorzec:
<fileNamePrefix>_00000.<fileExtension>. Jeśli nie zostanie określony, prefiks nazwy pliku jest generowany automatycznie. Ta właściwość nie ma zastosowania, gdy źródło jest magazynem opartym na plikach lub magazynem danych z włączoną opcją partycji.
Właściwości działania kopiowania ORC
ORC jako źródło
Poniższe właściwości są obsługiwane w sekcji Źródło działania kopiowania przy użyciu formatu ORC.
| Nazwa/nazwisko | Opis | Wartość | Wymagane | Właściwość skryptu JSON |
|---|---|---|---|---|
| Format pliku | Format pliku, którego chcesz użyć. | ORK | Tak | wpisz (w obszarze datasetSettings):Ork |
| Typ kompresji | Kodek kompresji używany do odczytywania plików ORC. |
Brak zlib Szybki |
Nie. | orcCompressionCodec: Brak zlib Żwawy |
ORC jako miejsce docelowe
Poniższe właściwości są obsługiwane w sekcji docelowej działania kopiowania w przypadku korzystania z formatu ORC.
| Nazwa/nazwisko | Opis | Wartość | Wymagane | Właściwość skryptu JSON |
|---|---|---|---|---|
| Format pliku | Format pliku, którego chcesz użyć. | ORK | Tak | wpisz (w obszarze datasetSettings):Ork |
| Typ kompresji | Koder kompresji używany do zapisu plików ORC. |
Brak zlib Szybki |
Nie. | orcCompressionCodec: Brak zlib Żwawy |
| Maksymalna liczba wierszy na plik | Podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik. Określ maksymalną liczbę wierszy, które mają być zapisywane dla każdego pliku. | <maksymalna liczba wierszy na plik> | Nie. | maxRowsPerFile (maksymalna liczba wierszy na plik) |
| Prefiks nazwy pliku | Ma zastosowanie w przypadku skonfigurowania maksymalnej liczby wierszy na plik . Określ prefiks nazwy pliku podczas zapisywania danych w wielu plikach, co spowodowało następujący wzorzec: <fileNamePrefix>_00000.<fileExtension>. Jeśli nie zostanie określony, prefiks nazwy pliku jest generowany automatycznie. Ta właściwość nie ma zastosowania, gdy źródło jest magazynem opartym na plikach lub magazynem danych z włączoną opcją partycji. |
<prefiks nazwy pliku> | Nie. | prefiksNazwyPliku |