Ingerir dados no seu Warehouse usando a instrução COPY

Aplica-se a:✅ Warehouse no Microsoft Fabric

A instrução COPY é a principal maneira de ingerir dados em tabelas do Warehouse. O COPY executa a ingestão de dados de alta taxa de transferência de uma conta de armazenamento de Azure externa. Você pode configurar opções de formato de arquivo de origem, especificar um local para armazenar linhas rejeitadas, ignorar linhas de cabeçalho e definir outras opções.

Este tutorial mostra exemplos de ingestão de dados para uma tabela do Warehouse usando a instrução T-SQL COPY .

Criar uma tabela

Antes de usar a instrução COPY, a tabela de destino precisa ser criada. Para criar a tabela de destino para este exemplo, use as seguintes etapas:

1. No seu workspace do Microsoft Fabric, localize e abra o warehouse.

2. Alterne para a guia Início e selecione Nova consulta SQL.

   

3. Para criar a tabela usada como destino nesse tutorial, execute o seguinte código:

       CREATE TABLE dbo.TaxiTrips
       (
           doLocationId            varchar(MAX)      NULL,
           endLat                  float             NULL,
           endLon                  float             NULL,
           extra                   float             NULL,
           fareAmount              float             NULL,
           improvementSurcharge    varchar(MAX)      NULL,
           mtaTax                  float             NULL,
           passengerCount          int               NULL,
           paymentType             varchar(MAX)      NULL,
           puLocationId            varchar(MAX)      NULL,
           puMonth                 int               NULL,
           puYear                  int               NULL,
           rateCodeId              int               NULL,
           startLat                float             NULL,
           startLon                float             NULL,
           storeAndFwdFlag         varchar(1)        NULL,
           tipAmount               float             NULL,
           tollsAmount             float             NULL,
           totalAmount             float             NULL,
           tpepDropoffDateTime     datetime2(6)      NULL,
           tpepPickupDateTime      datetime2(6)      NULL,
           tripDistance            float             NULL,
           vendorId_str            varchar(MAX)      NULL,
           vendorId_lpep           int               NULL
       );
   

Ingerir dados Parquet pela instrução COPY

Neste exemplo, carregamos dados usando uma fonte Parquet. Como esses dados está disponível publicamente e não requer autenticação, você pode copiar facilmente esses dados especificando a origem e o destino. Nenhum detalhe de autenticação é necessário. Você só precisará especificar o argumento FILE_TYPE.

Use o seguinte código para executar a instrução COPY com uma fonte Parquet:

COPY INTO dbo.TaxiTrips
FROM 'https://azureopendatastorage.blob.core.windows.net/nyctlc/yellow'
WITH (
    FILE_TYPE = 'PARQUET'
)

Verificar os resultados

A instrução COPY conclui-se ingerindo 1.571.671.152 linhas na sua nova tabela. Você pode confirmar se a operação foi executada com êxito executando uma consulta que retorna o número total de linhas em sua tabela:

SELECT COUNT_BIG(*) FROM dbo.TaxiTrips;

Opções de ingestão de dados

Outras maneiras de ingerir dados em seu warehouse incluem:

• Ingerir dados usando pipelines
• Ingerir dados usando Transact-SQL
• Ingerir dados usando um fluxo de dados

Conteúdo relacionado

• Como ingerir dados no Warehouse
• Solucionar erros de ingestão